En esta entrada abundo en una que escribí hace ocho años: Conceptos estadísticos que desaprender: la suficiencia. Lo hago porque casualmente he tropezado con su origen y justificación primera, el afamado artículo On the Mathematical Foundations of Theoretical Statistics del nunca suficientemente encarecido R.A. Fisher.

Criticaba en su día lo inútil del concepto. Al menos, en la práctica moderna de la estadística: para ninguno de los conjuntos de datos para los que trabajo existe un estadístico suficiente que no sea la totalidad de los datos.

1. Considérese el siguiente juego:
   1. Hay tres sobres indistinguibles sobre una mesa.
   2. Uno de ellos contiene un premio.
   3. Puedes elegir o bien uno de ellos o bien dos de ellos al azar.
2. Convénzase uno de que es mejor elegir dos sobres que uno: tienes una probabilidad de ganar el premio de 2/3 contra la de 1/3 si eliges solo uno.
3. Convénzase uno de que el problema de Monty Hall en su formulación habitual es solo una reformulación artificiosa y engañosa del juego anterior.

I.

A Treatise on Probability, la obra de Keynes (sí, el famoso) de 1921, es un libro muy extraño que se puede leer de muchas maneras. Puede servir, si se hace poco caritativamente, para denunciar el lastimoso estado en el que se encontraba la probabilidad antes de la axiomatización de Kolmogorov, 12 años depués de su publicación. O también, si se hace más cuidadosamente, para rescatar una serie de consideraciones que aun hoy muchos hacen mal en ignorar.

Hace unos meses escribí una entrada en defensa (parcial) de una regresión lineal con una R² pequeña. He vuelto a pensar sobre ella y retomo la discusión para esclarecer —sobre todo, para profanos— qué mide la R² y cómo interpretarla según el contexto.

Comienzo por un experimento físico mental. En un laboratorio se realiza un experimento para medir la relación entre dos magnitudes físicas, un efecto $latex y$ y una causa $latex x$. La teoría especifica una relación del tipo $y = a + b x$ y experimentalmente (y en condiciones de laboratorio ideales) se obtienen una serie de datos $latex (x_i, y_i)$. La relación entre ambos es de la consabida forma

No sé desde cuándo tengo abierta en una pestaña del navegador la página del operacionalismo de la Enciclopedia de Filosofía de Stanford. Porque aunque se trate de un cadáver filosófico desde hace más de ochenta años, goza —como ponen en evidencia ciertos acontecimientos recientes— de la más envidiable salud en algunos círculos.

Según el operacionalismo, los conceptos teóricos de la ciencia se agotan en aquellas operaciones que utilizamos para medirlos. ¿La temperatura? Es lo que marca un termómetro. ¿La inteligencia? El resultado de un determinado test. Etc.

Escribí el otro día sobre los llamados momentos Le Verrier. Que, siguiendo la nomenclatura de Why ask why? Forward causal inference and reverse causal questions no son otra cosa que ejercicios de causalidad inversa con final feliz.

Efectivamente, según el artículo, las cuestiones de índole causal son de dos tipos: prospectivas y retrospectivas (o inversas), en una traducción muy libre. Las primeras, más habituales, se refieren a cuáles serán los efectos de una causa. ¿Qué pasará si aumento mi presupuesto de publicidad? ¿Qué pasará con la temperatura de un dispositivo si aumento la potencia? Etc. Son preguntas a las que responden los modelos, sea a través del estudio de una serie de coeficientes, realizando predicciones, etc.

Ayer estuve disfrutando como un enano leyendo On the Mathematical Foundations of Theoretical Statistics del nunca suficientemente encarecido Sir Ronald Fisher. Y me fijé que fue publicado en 1922. En él se cita —y nada elogiosamente, hay que decirlo— el A Treatise on Probability de Keynes, que fue, a su vez, publicado en 1921.

Aquellas cosas que constituyen el temario de las oposiciones al INE se estaban escribiendo hace cien años. Solo que de una manera muy amena, con pullas, con reconocimientos explícitos de que, bueno, se hacen las cosas así porque no tenemos potencial de cálculo suficiente para hacerlas de otra manera —esas cosas que hoy hacemos como en 1922 no porque ya no podamos hacerlas de otra manera sino porque se dejaron así escritas entonces—, que usamos tales distribuciones y no otras porque están tabuladas, etc.

I. El experimento mental

Tienes una variable binaria y y 100 variables predictoras de las cuales 99 son puro ruido y la última es igual a y. En código,

n <- 1000
y <- as.factor(rbinom(n, 1, .4))
x <- matrix(rnorm(n*100), n, 100)
x[,100] <- y

El objetivo consiste, obviamente, en predecir y en función de x.

II. RRFF

Los RRFF, como es bien sabido, son conjuntos de n árboles construidos sobre los mismos datos. La predicción final se realiza por consenso. Obviamente, si todos los árboles se construyen sobre las mismas filas y las mismas columnas, el resultado es equivalente a construir un único árbol. Por eso, aleatorizan. Aleatorizan filas y columnas. Voy a obviar el asunto de las filas y me voy a concentrar en el de las columnas.

IBM ha desarrollado una iniciativa, Uncertainty Quantification 360, que describe así:

Uncertainty quantification (UQ) gives AI the ability to express that it is unsure, adding critical transparency for the safe deployment and use of AI. This extensible open source toolkit can help you estimate, communicate and use uncertainty in machine learning model predictions through an AI application lifecyle. We invite you to use it and improve it.

En la página del proyecto hay documentación abundante pero recomiendo comenzar por la demo.

Son muy infrecuentes, lo admito. Pero cuando ocurren, le dan a uno ganas de poner los pies encima la mesa y fumarse un puro.

¿Qué son? Imagina que te pasan unos datos con el objetivo de realizar determinadas predicciones. Creas un modelo razonable —hasta bueno, dirías—, basado en primeros principios y que funciona bastante bien… excepto en unos cuantos casos irreductibles (sí, como aquellos galos de su aldea). Compruebas el modelo una y mil veces y no le ves problemas significativos; revisas los datos de nuevo, especialmente en esos casos en los que el modelo falla, y parecen tener sentido.

No suelo recomendar cursos de estadística de otros en estas páginas, pero haré una excepción con el de Antonio José Pou y Ordinas por varias razones, siendo la de más peso entre todas ellas que fue publicado en 1889.

Puede consultarse aquí.

Previo:

• Hoy he oído el término dudacionista (de la vacuna) por primera vez. Me parece, por lo que contaré después, mucho más apropiado —y en otros que también aclararé, mucho menos— que negacionista para muchos de los casos que conozco.
• Varios dudacionistas me han preguntado sobre mi opinión sobre su postura. Por referencia (mía y suya) y para poder contestar a los que vengan con una url, escribo lo que sigue.
• Escribí una entrada hace un tiempo, esta, en el que esbozaba una postura comprensiva hacia los dudacionistas en las primeras fases de la vacunación en el que argumentaba alrededor del principio de precaución (esencialmente).
• Entonces no, pero ahora ya sí tengo mis dos dosis preceptivas de la vacuna.

Tras lo cual, comienzo.

[Menos mal que se me ha ocurrido buscar en mi propio blog sobre el asunto y descubrir —no lo recordaba— que ya había tratado el asunto previamente en entradas como esta, esta o esta.]

El problema de la propagación de errores lo cuentan muy bien Iñaki Úcar y sus coautores aquí. Por resumirlo: tienes una cantidad, $latex X$ conocida solo aproximadamente —en concreto, con cierto error— e interesa conocer y acotar el error de una expresión $latex f(X)$.