Estadística

El primero,

In God we trust. All others must bring data.

de W. E. Deming, es pura estadística pop. El segundo, con el que tropecé releyendo unas presentaciones de Brian Ripley, dice

No one trusts a model except the person who wrote it; everyone trusts an observation, except the person who made it.

y parece ser que se la debemos a un tal H. Shapley.

Efectivamente, hoy en día desconfiamos de los modelos pero depositamos una gran confianza en los datos. Pero de eso se sale: basta con hablar un rato con la gente encargada de recopilarlos.

He leído —consecuencia del aburrimiento y la inercia— en diagonal el artículo Explorando las narrativas locales: claves para entender el apoyo político a VOX que no recomiendo salvo que tengas un rato que matar y ninguna otra cosa que hacer pero del que rescato esta pequeña gema:

Sobre estos datos utilizo un algoritmo de aprendizaje automático (muy similar al que emplea el correo electrónico para determinar qué mensajes deberían ir a la carpeta de correo no deseado) para clasificar los tweets por tema.

Richard K. Guy tiene un artículo, [The Strong Law of Small Numbers], bastante ameno en el que se encuentran cosas como

que, hay que admitirlo, tienen su público. Pero para el de este blog, será mucho más provechoso este otro extracto:

Desafortunadamente, los civiles (i.e., los no matemáticos) no suelen dar por buenas demostraciones por intimidación. Pero no le falta razón al decir que, en presencia de desinformación, mirar no basta.

I.

A veces hay que tomar decisiones (p.e., ¿quién asciende?, ¿hay que hacer una radiografía?, ¿se concede esta hipoteca?, etc.). Esas decisiones, simplificando mucho, se pueden tomar de dos maneras:

• Mediante procesos clínicos, donde un experto o conjunto de expertos realiza una evaluación.
• Mediante procesos actuariales, donde a un algoritmo adecuadamente entrenado y calibrado se le facilitan unos datos para que calcule un scoring.

Nota 1: Aquí estoy utilizando nomenclatura (clínico, actuarial) usada por Paul Meehl (véase esto, esto o esto), aunque a los segundos tal vez cabría llamarlos, con más propiedad, estadísticos. Y sí, se refiere a los que el vulgo llama algoritmos.

El otro día, al hablar de las encuestas electorales y su relación con la predicción electoral, me referí tangencialmente —y, ahora que lo pienso, un tanto confusamente— a los promedios de encuestas. Vine a decir que los promedios de encuestas como

de la Wikipedia constituyen una primera aproximación —burda— al problema de la predicción electoral cuando, realmente, deberían considerarse otro nowcast.

Estos promedios de encuestas deberían ser más fiables que las encuestas particulares, aunque solo sea porque utilizan más información. Sin embargo, están expuestas a una serie de problemas como los que se anuncian/denuncian aquí.

I.

Imaginemos que estamos viendo un partido de fútbol en la tele. Arriba, a la izquierda, hay un par de cifras: es el marcador que nos dice cómo va el partido.

En un mundo paralelo, en lugar del resultado provisional (p.e., 0-0 al comenzar el partido), el marcador podría mostrar la predicción del resultado al acabar el encuentro. Podría suceder que en el minuto cero indicase algo así como 3-2 si tal fuese la mejor estimación posible del resultado final.

El IMCV es esto. (Brevemente: un indicador experimental del INE que combina datos de varias encuestas, las agrega con unos pesos y produce unos números que permiten comparar CCAA entre sí y a lo largo del tiempo).

Una característica muy amena del IMCV es que permite recalcular en índice con pesos ad hoc aquí.

Con los pesos originales, el indicador (de 2021) queda así:

Por probar algo, he puesto a cero todos los pesos menos el que se refiere, nada menos, que a Ocio y relaciones sociales por ver qué pasa:

Mirad que trato de abstraerme del mundanal ruido y de las marcianadas de tirios y troyanos. Me he comprado una segunda EPS32, le he instalado Micropython y solo aspiro a que se me deje en paz.

Pero como me ronda en la cabeza escribir algún día cosas en serio sobre sofística estadística, no he podido dejar de lado mis otros entretenimientos un rato para comentar esto:

Los dos gráficos que lo acompañan son:

La extrapolación problemática. Que es la manera erudita de decir que ni de coña.

La extrapolación —lineal, en este caso— tiene dos problemas:

1. No sabemos si el fenómeno va a seguir comportándose de manera lineal fuera del rango de las observaciones.
2. Aunque lo sea, el error cometido al ajustar una recta usando solo datos de un extremo es muy grande. Lo ideal, de hecho, es tener datos en ambos extremos del intervalo de interés.

[De hecho, creo que lo anterior se puede convertir en un teorema: si tenemos datos $(x_i, y_i)$, el mejor modelo lineal se obtiene cuando la mitad de los $x_i$ son iguales al mínimo de los $x_i$ y la otra mitad, al máximo de los $x_i$.]

Hoy, cuatro maneras distintas de realizar un test A/B. Comienzo con unos datos simulados que tienen este aspecto:

set.seed(1)
n <- 1000
test <- c(rep(0, n/2), rep(1, n/2))
y0 <- rnorm(n)
y1 <- y0 + test + rnorm(n)

Ahí:

• n es el número de sujetos, 1000.
• test es un vector que indica el tratamiento: 500 en un grupo, 500 en otro.
• y0 es el valor de/asociado a los sujetos en un periodo anterior al tratamiento.
• y1 es el valor de los sujetos después del tratamiento. Como se puede ver, está relacionado con el tratamiento en sí y con el valor anterior. Se le ha añadido, además, cierta cantidad de ruido estadístico.

Hay varias maneras de estimar el efecto del tratamiento (o de, como dicen algunos, realizar un test A/B). Voy a mencionar cuatro.