Estadística

En el vídeo se hace referencia a una serie de materiales. Sus coordenadas son:

• El hilo de Twitter donde se da cuenta de la situación actual de Zillow.
• El libro The People’s Republic of Walmart
• El artículo de Jesús Fernández Villaverde Simple Rules for a Complex World with Artificial Intelligence
• El libro de Paul Meehl Clinical vs statistical prediction
• El artículo de Akerlof The_Market_for_Lemons
• Yo sobre el efecto “pierna rota”

Los manuales de estadística al uso introducen los conceptos de universo y muestra y tienden a ilustrarlos con ejemplos buenos. Pero los ejemplos buenos son útiles solo hasta cierto punto: ilustran, como digo, pero ni caracterizan ni delimitan. Los ejemplos malos, sin embargo, son muy útiles porque ayudan a trazar una frontera entre lo que es y lo que no es permisible.

Pero, ¿de dónde sacar buenos ejemplos malos? Aunque no es fácil, nuestros colegas de La Caixa Research han tenido la gentileza de ponernos uno a huevo: es Los precios de la luz están por las nubes, ¿y el importe de su recibo? (que ha sido recogido y glosado por el inefable elDiario.es aquí).

Dicen algunos —bueno, más bien, lo suelo decir yo— que la intersección de lo nuevo, lo interesante y lo cierto es el conjunto vacío. Ahora, N. Taleb nos regala una página en el que trata novedosamente un tema que lleva siendo intereante desde, al menos, lo puso encima de la mesa el reverendo (Bayes) hace 250 años. Ergo…

Veamos qué nos cuenta. Se plantea el problema de unos experimentos (independientes) de Bernoulli con probabilidad de ocurrencia desconocida $p$. Hay $n$ ensayos y $m$ éxitos. Y afirma que el mejor estimador es

[Nota: esta entrada está indirectamente motivada por mi asistencia a la presentación (y posterior adquisición) del libro “Los peligros de la moralidad” de Pablo Malo hoy día 3 de diciembre de 2021.]

Desde Freud hasta Pablo Malo son muchos los siquiatras que han intervenido en el debate público aportando su visión sobre distintos temas.

Desde ¿quién? hasta ¡tantos! son innumerables los estadísticos que han intervenido (generalmente, de modo implícito) en el debate público aportando su visión sobre distintos temas.

El vídeo es este:

Se refiere indirectamente a un libro del que hablé hace un tiempo y a esta discusión. También me refiero una antigua entrada en mi blog que no he sabido ubicar y que sería la entrada (1/n) de la serie.

En esta entrada abundo en una que escribí hace ocho años: Conceptos estadísticos que desaprender: la suficiencia. Lo hago porque casualmente he tropezado con su origen y justificación primera, el afamado artículo On the Mathematical Foundations of Theoretical Statistics del nunca suficientemente encarecido R.A. Fisher.

Criticaba en su día lo inútil del concepto. Al menos, en la práctica moderna de la estadística: para ninguno de los conjuntos de datos para los que trabajo existe un estadístico suficiente que no sea la totalidad de los datos.

I.

A Treatise on Probability, la obra de Keynes (sí, el famoso) de 1921, es un libro muy extraño que se puede leer de muchas maneras. Puede servir, si se hace poco caritativamente, para denunciar el lastimoso estado en el que se encontraba la probabilidad antes de la axiomatización de Kolmogorov, 12 años depués de su publicación. O también, si se hace más cuidadosamente, para rescatar una serie de consideraciones que aun hoy muchos hacen mal en ignorar.

No sé desde cuándo tengo abierta en una pestaña del navegador la página del operacionalismo de la Enciclopedia de Filosofía de Stanford. Porque aunque se trate de un cadáver filosófico desde hace más de ochenta años, goza —como ponen en evidencia ciertos acontecimientos recientes— de la más envidiable salud en algunos círculos.

Según el operacionalismo, los conceptos teóricos de la ciencia se agotan en aquellas operaciones que utilizamos para medirlos. ¿La temperatura? Es lo que marca un termómetro. ¿La inteligencia? El resultado de un determinado test. Etc.

Ayer estuve disfrutando como un enano leyendo On the Mathematical Foundations of Theoretical Statistics del nunca suficientemente encarecido Sir Ronald Fisher. Y me fijé que fue publicado en 1922. En él se cita —y nada elogiosamente, hay que decirlo— el A Treatise on Probability de Keynes, que fue, a su vez, publicado en 1921.

Aquellas cosas que constituyen el temario de las oposiciones al INE se estaban escribiendo hace cien años. Solo que de una manera muy amena, con pullas, con reconocimientos explícitos de que, bueno, se hacen las cosas así porque no tenemos potencial de cálculo suficiente para hacerlas de otra manera —esas cosas que hoy hacemos como en 1922 no porque ya no podamos hacerlas de otra manera sino porque se dejaron así escritas entonces—, que usamos tales distribuciones y no otras porque están tabuladas, etc.

Son muy infrecuentes, lo admito. Pero cuando ocurren, le dan a uno ganas de poner los pies encima la mesa y fumarse un puro.

¿Qué son? Imagina que te pasan unos datos con el objetivo de realizar determinadas predicciones. Creas un modelo razonable —hasta bueno, dirías—, basado en primeros principios y que funciona bastante bien… excepto en unos cuantos casos irreductibles (sí, como aquellos galos de su aldea). Compruebas el modelo una y mil veces y no le ves problemas significativos; revisas los datos de nuevo, especialmente en esos casos en los que el modelo falla, y parecen tener sentido.