Estadística

En esta entrada voy a tratar de reconstruir históricamente el concepto de intervalo de confianza (IC) para tratar de explicar por qué el concepto ha llegado a tener una definición e interpretación tan precisa como confusa (e inútil). La interpretación de lo que realmente son los IC son el coco —el que se lleva a los diletantes que saben poco— con el que amenazar a quienes tienen inseguridades metodológicas y una marca de erudición incontestable para quienes son capaces de enunciarla sin que se les trabe la lengua.

Esta es una entrada breve no tanto para comentar el vídeo

como para dejar constancia de algunas notas y referencias a vuelapluma que me sugirió. A saber:

• La diferencia entre riesgo e incertidumbre, ya tratada (no sé si de una manera que hoy en día revisaría) en estas páginas.
• La crítica del uso de las matemáticas para la gestión de la incertidumbre.
• Abundando en lo anterior, el famoso artículo de Hayek The Use of Knowledge in Society, que, sí, incluso menciona la ley de los grandes números.
• La creciente literatura sobre el cuidado que hay que tener con los grandes agregados, como este artículo o este otro.
• Mi propio vídeo sobre el teorema de la imposibilidad de JR Rallo.

Cierro con una nota personal:

Se hablará mucho de Nutri-Score y de cómo es pernicioso dejar en manos de un algoritmo la decisión sobre la conveniencia o no de ciertos alimentos. Nutri-Score se convertirá en otra de esas malévolas encarnaciones de las matemáticas con vocación de destrucción masiva.

Pero que conste que Nutri-Score es, como algoritmo, solamente esto (fuente):

Al menos, esta vez no se lo podrá tachar de opaco.

La falacia, para aquellos que no la conozcan, está descrita aquí. El ejemplo más citado al respecto es el de Linda:

Linda tiene 31 años de edad, soltera, inteligente y muy brillante. Se especializó en filosofía. Como estudiante, estaba profundamente preocupada por los problemas de discriminación y justicia social, participando también en manifestaciones anti-nucleares. ¿Que es más probable?

1. Linda es una cajera de banco.

2. Linda es una cajera de banco y es activista de movimientos feministas.

Este artículo (sobre si los estadísticos se autoaplican el mismo rigor metodológico a la hora de seleccionar herramientas de análisis que luego exigen a otros) me llevó a este otro artículo donde se menciona una técnica, la inferencia basada en magnitudes, MBI en lo que sigue, por sus siglas en inglés, de la que trata lo que sigue.

Buscaban las autoras del segundo artículo un ejemplo de una técnica de esas que se publican en revistas de metodología estadística que acabara no teniéndose de pie. La encontraron en la MBI, que es una técnica:

[Del que ya hablé hace un tiempo desde una perspectiva diferente.]

Prioris

A y B (dos personas) tienen la misma priori Beta(1, 1) —que es uniforme en [0, 1]— sobre la probabilidad de cara de una moneda.

Datos

Entonces A presencia una tirada de la moneda (a la que no asiste B) y es cara. Su priori se actualiza a una Beta(1, 2).

Luego B presencia una tirada de la moneda (a la que no asiste A) y es cruz. Su priori se actualiza a una Beta(2, 1).

Esta es una cosa bastante contraintituiva. Uno diría que en la moda, pero no es exactamente así.

Veamos qué pasa con la distribución normal conforme aumenta la dimensión.

En una dimensión son más frecuentes los valores próximos al centro:

hist(abs(rnorm(10000)), breaks = 100,
    main = "distribución de la distancia al centro")

Pero en dimensiones más altas (p.e., 10), la cosa cambia:

library(mvtnorm)
muestra <- rmvnorm(10000, rep(0, 10),
    diag(rep(1, 10)))
distancias <- apply(muestra, 1,
    function(x) sqrt(sum(x^2)))
hist(distancias, breaks = 100,
     main = "distribución de la distancia al centro")

Todo esto arranca con el tuit:

En conjunto, como digo, los países con Estados grandes tienden a ser poco progresivos pic.twitter.com/oeI6hkUZwd

— Juan Ramón Rallo (@juanrallo) February 1, 2021

Esa gráfica, extraída de un documento de la OCDE, creo, fue uno de los argumentos esgrimidos por JR Rallo para defender cierta postura que no viene al caso. Lo relevante para estas páginas es que fue contestado y protestado por muchos —de algunos de los cuales, dada su autoproclamada condición de divulgadores científicos, cabría esperar más— en términos exclusivamente de lo pequeño de la R².

El asunto de la separación perfecta en el modelo logístico es sobradamente conocido. Solo quiero añadir al respecto dos cosas que no se suelen decir:

• Es un dolor que solo duele a los frecuentistas que no usan regularización (y van quedando cada vez menos de esos).
• Que no es malo sino bueno: ¿qué cosa mejor que tus datos puedan responder categóricamente las preguntas que les planteas (supuesto, claro, está, un N suficientemente grande).

Lo que es menos conocido es que el problema de la separación perfecta también puede afectar a la regresión de Poisson.

Simpson, un viejo amigo de estas páginas, nos enseña, por ejemplo, cómo es posible que los salarios desciendan a lo largo de todas sus subcategorías y que, a la vez, crezcan en promedio en el tiempo. Basta para ello que se reduzca el peso la proporción de los trabajos peor pagados en la economía.

Los institutos estadísticos, a la hora de estimar el índice de precios, son conscientes del problema y elaboran cestas de la compra más o menos ideales (a lo Quetelet) y calculan su precio a lo largo del tiempo.