Estadística

I.

Ni que decirse tiene que a partir de las probabilidades conjuntas pueden construirse las marginales: se integra (o suma) y ya.

II.

El problema inverso es irresoluble: es imposible reconstruir las conjuntas a partir de las marginales. Las conjuntas, condicionadas a las marginales, pueden tener muchos grados de libertad.

Sin embargo, a petición de los usuarios finales, los comerciales de la estadística se han comprometido históricamente a resolver ese problema de manera científica. Así que los curritos de la estadística, supongo que muy a su pesar, han tenido que desarrollar cosas como las cópulas —esas sí que son verdaderas weapons of math destruction— y el raking, que es lo que nos ocupa hoy.

Es innegable que el rótulo ley del estadístico inconsciente llama la atención. Trata sobre lo siguiente: si la variable aleatoria es $X$ y la medida es $P_X$, entonces, su esperanza se define como

$$E[X] = \int x dP_X(x).$$

Supongamos ahora que $Y = f(X)$ es otra variable aleatoria. Entonces

$$E[Y] = \int y dP_Y(y)$$

para cierta medida (de probabilidad) $P_Y$. Pero es natural, fuerza de la costumbre, dar por hecho que

Tiene Google (o una parte de él) un vídeo en Youtube,

sobre el que me resulta imposible no comentar nada. Trata, esencialmente, de cómo operacionalizar a la hora de poner en marcha modelos esos principios de justicia, igualdad de oportunidades, etc. de los que tanto se habla últimamente.

2022 es un mal año para recordar un asunto sobre el que tenía anotado hablar desde los inicios del blog, allá por 2010: la llamada African dummy. Mentiría, sin embargo, si dijese que no es oportuno: está relacionado con temas que hoy se consideran importantes, aunque tratado al estilo de los noventa. Es decir, de una manera inaceptablemente —para el paladar de hogaño— distinta.

La cosa es más o menos así: en el 91, a R. Barro, macroeconomista de pro, se le ocurrió publicar Growth in a cross section of countries. En el usó métodos de regresión clásica —recuérdese: macroeconomista en los 90— para estudiar qué variables explicaban el desigual crecimiento económico de los países. Se cuenta que el hombre torturó y torturó los datos para que aquello ajustase sin éxito… hasta que introdujo una singular y, por un tiempo, famosa variable: la African dummy , i.e., estar o no estar en África.

En esta entrada propongo y no resuelvo un problema que puede considerarse o estadístico o, más ampliamente, de ajuste de funciones —sujeto a innumerables ruidos—: determinar qué hora debería ser.

Eso de la hora —y me refiero a los horarios de invierno, verano, etc. y más en general, la desviación de la hora nominal con respecto a la solar— se parece un poco a la economía. En economía tienes cantidades nominales y reales. Pareciere que las nominales son irrelevantes: tanto da llamar a una moneda 1 euro o 166.386 pesetas. Las cifras que asociamos a los objetos son, en principio, arbitrarias. Pero es bien sabido que existe una sutil interrelación entre cantidades nominales y reales sobre la que se ha escrito mucho pero yo sé poco.

Estaba repasando cosas sobre reducción de la dimensionalidad y, en concreto, UMAP y tSNE. Me ha parecido conveniente replantear las cosas sobre primeros principios para que todo se entienda mejor.

El problema es el siguiente:

• Tenemos $K$ puntos $x_i$ en un espacio de dimensión $N$.
• Buscamos su correspondencia con otros $K$ puntos $y_i$ en un espacio de dimensión $n « N$.
• De manera que las configuraciones de los $x_i$ y los $y_i$ sean similares en el sentido de que la matriz de distancias $(d(x_i,x_j))$ sea parecida a la $(d(y_i, y_j))$. Eso quiere decir que parejas de puntos próximos en el primer espacio deberían mapearse en parejas de puntos próximos en el segundo; parejas de puntos alejados en parejas de puntos alejados, etc.

En concreto, se buscaría minimizar algo así como, en primera aproximación,

A veces toca comparar dos variables aleatorias: ¿cuál de dos juegos preferirías? Hay muchas maneras de resolver ese problema, de una larga historia, con mejor o peor fortuna. En el fondo, hay que crear un orden en el conjunto de las variables aleatorias y, en el fondo —y perdónenme mis excolegas matemáticos—, proyectarlas de alguna manera sobre los números reales.

Si este número real se elige de alguna manera razonable (p.e., fijando las variables aleatorias constantes), bien puede recibir el nombre de equivalente cierto. Que es el nombre que recibe en algunas disciplinas, pero que me parece particularmente afortunado.

[Esta es la cuarta y última (por el momento) de una serie de entradas sobre el tema que se anuncia en el título.]

En la tercera entrega de la serie se introdujo el frecuentismo como una particular manera de resolver el problema de minimización asociado a la expresión

$$L(\hat{\theta}) = \int_\theta \int_X L(\theta, \hat{\theta}) p(X | \theta) p(\theta) dX d\theta.$$

En esta entrada se introducirá el bayesianismo de manera análoga con el concurso del teorema de Fubini (que, recuérdese, permite conmutar las integrales):

[Esta es la tercera de una serie de cuatro o cinco entradas sobre el tema que se anuncia en el título.]

Terminó la segunda entrada de anunciando cómo la manera de operar con la expresión

$$L(\hat{\theta}) = \int_\theta \int_X L(\theta, \hat{\theta}) p(X | \theta) p(\theta) dX d\theta$$

determina las dos grandes corrientes dentro de la estadística. Para entender la primera, el frecuentismo, se debe reescribir la expresión anterior como

$$L(\hat{\theta}) = \int_\theta \left[\int_X L(\theta, \hat{\theta}) p(X | \theta) dX \right] p(\theta)d\theta$$

[Esta es la segunda de una serie de tres o cuatro entradas sobre el tema que se anuncia en el título.]

Terminó la primera entrada de la serie reconociendo que aún no se había entrado en materia estadística, que para ello habría que hablar de datos. Y, en efecto, la estadística principia cuando, por decirlo de manera sugerente aunque breve e imprecisa, $\theta$ genera unos datos $X$ que proporcionan pistas sobre su naturaleza.