Mínimos Cuadrados

Es un problema conocido ese de tener una nube de puntos $(x_i, y_i)$ y preguntarse por la mejor recta (o polinomio de grado 2, 3, etc.) que los ajusta. Pero a veces uno busca la mejor elipse. Un caso del que me acuerdo (aunque allí se buscaba un círculo, más bien), es en Calculando la redondez de una piedra con R. Yo me encontré con el problema al construir una pequeña herramienta que me ayudase a mejorar el trazo de mis elipses a mano alzada; se trata de una página web (para visitar idealmente desde una tableta con lápiz electrónico) que:

Sabemos y se sabe desde hace mucho que un sistema lineal de n ecuaciones con m incógnitas, cuando n > m (y especialmente cuando n » m), muy probablemente no tenga solución. No obstante, sistemas así ocurren naturalmente: ahí está el modelo lineal.

En tiempos, al cálculo de los mejores coeficientes para ajustar un conjunto de datos, cuando el número de observaciones excedía el de coeficientes se lo llamó combinación de observaciones. Desde muy pronto se observó que más observaciones conducían a mejores estimaciones. Pero se tardó mucho en establecer cómo.

Avisé en mi entrada del otro día: no me preguntéis por qué (imponer restricciones en un problema de mínimos cuadrados).

Pero cuanto más pienso sobre ello, menos claro lo tengo. ¿Por qué restricciones?

Primero, el contexto. O el casi contexto. Porque no es exactamente así. Pero sí parecido. Supongamos que queremos predecir algo y construimos, p.e., 4 modelos. Se nos ocurre (y hay buenas razones para ello) combinar los predictores.

Uno puede pensar en usar la media de las predicciones. O la mediana. O tratar de usar un peso revelado por los datos.

He encontrado una página que será, seguro, del gusto de mis lectores. Contiene animaciones en R tales desarrolladas con el paquete animation tales como ésta sobre la optimización por mínimos cuadrados o esta otra sobre k-medias.

¡A disfrutar!