Un resultado contraintuitivo

[Esta entrada recoge la pregunta y la duda que motivó una conversación con Javier Nogales en Twitter hace unos días.]

Citaba (él) un resultado de Theobald de 1974 (¿tanto lleva ridge entre nosotros? ¡habría jurado que menos!) que viene a decir que siempre existe un peso $latex \lambda$ para el que ridge es mejor que OLS.

Ves el álgebra y piensas: verdad será.

Pero te fías de tu propia intuición y piensas: ¡vaya un resultado contraintuitivo si no contradictorio! Porque:

• Ridge equivale a una regresión lineal cierto tipo de priori informativa en 0.
• OLS es la regresión lineal con una priori no informativa.
• Si los coeficientes reales son distintos de cero, una priori informativa en 0 es una priori mentirosa (¿sesgada?).

En resumen, el teorema viene a decir un modelo puede mejorar si se le añade cierta dosis de información mendaz. O que es mejor cierta dosis de información, aunque sea sesgada, que no información. ¿Paradójico?

Reflexiones:

• Una priori en cero aumenta el sesgo del modelo (salvo que los coeficientes sean todos cero).
• Pero a la vez penaliza que los coeficientes se alejen demasiado, por lo que se reduciría su varianza potencial.

De todos modos modos, tal y como lo he planteado, el resultado es bien contraintuitivo.