De cómo la estadística bayesiana ha descompuesto la solución a un problema que la estadística clásica tenía plusquamsolucionado

I.

Voy a plantear el problema del día en el contexto más simple y familiar para la mayoría que se me ocurre: una ANOVA para comparar dos tratamientos. Se puede representar de la forma

$$y_i \sim \alpha + \beta_{T(i)} + \epsilon$$

donde $T(i)$ es el tratamiento, $A$ o $B$, que recibe el sujeto $i$. Parecería que el modelo estuviese sugiriendo determinar tres parámetros, $\alpha$, $\beta_A$ y $\beta_B$, correspondientes al efecto sin tratamiento y los efectos adicionales de los tratamientos $A$ y $B$. Sin embargo, si $\hat{\alpha}$, $\hat{\beta}_A$ y $\hat{\beta}_B$ es una solución, también lo es $\hat{\alpha} + \lambda$, $\hat{\beta}_A - \lambda$ y $\hat{\beta}_B - \lambda$ para cualquier $\lambda$. ¡No hay solución única (sino, más bien, una recta entera de soluciones)!

[Super]forecasting

I.

Dedicarse a hacer predicciones —es decir, estimar las probabilidades de ocurrencia de eventos futuros— por hobby es un entretenimiento tan digno como cualquier otro. Además, hoy en día existen plataformas (como esta, esta, esta, esta o esta) donde poner a prueba las habilidades propias e, incluso, llegar a monetizarlas. Es un mundo en el que ponderé introducirme en su día para hacer más llevaderas las pesadumbres de la existencia; al fin y al cabo, las habilidades que exige —un conocimiento somero de la teoría de la probabilidad, sentido común y curiosidad y diligencia para documentarse sobre temas variopintos— no me son del todo ajenos. Lo descarté finalmente por tres motivos:

Desigualdad de Schwarz y su aplicación al consumo eléctrico doméstico

Como saben los viejos del sitio, instalé un dispositivo en el cuadro que mide mi consumo eléctrico en tiempo real. Lo que hace el dispositivo es muy simple. Por un lado, mide las funciones $i(t)$ y $v(t)$ (intensidad y voltaje); por el otro lado, calcula las integrales

$$\int_0^T i(t) v(t) dt,$$

$$\int_0^T i^2(t) dt$$

y

$$\int_0^T v^2(t) dt.$$

Con un $T$ pequeño (unos segundos), muestra en una app los valores

$$\frac{1}{T}\int_0^T i(t) v(t) dt,$$

Tutorial de numpyro (I): modelos probabilísticos

I.

Las distintas disciplinas estudian aspectos diferentes de la realidad. Para ello crean modelos. Un modelo es una representación teórica y simplificada de un fenómeno real. Por un lado, el territorio; por el otro, el mapa.

Los físicos modelan cómo oscila un péndulo y se permiten obviar cosas como el rozamiento del aire. Los economistas, la evolución del PIB o la inflación. Los biólogos, la absorción de una determinada sustancia por un tejido. Los ingenieros, el comportamiento aerodinámico de un prototipo. Etc.

Coeficientes "no identificables": un ejemplo y sus consecuencias

Hoy voy a abundar sobre el modelo 3PL que ya traté el otro día. En particular voy a contrastar críticamente varios modelos alternativos sobre los mismos datos.

I.

El modelo que implementé (aquí) puede describirse así:

$$r_{ij} \sim \text{Bernoulli}(p_{ij})$$ $$p_{ij} = p(a_i, d_j, …)$$ $$a_i \sim N(0, 1)$$ $$d_j \sim N(0, 1)$$ $$\dots$$

donde

$$p = p(a, d, \delta, g) = g + \frac{1 - g}{1 + \exp(-\delta(a- d))}$$

y $a_i$ y $d_j$ son la habilidad del alumno $i$ y la dificultad de la pregunta $j$ respectivamente. Nótese además cómo en $f$ estas dos variables intervienen solo a través de su diferencia, $a - d$.

La energía nuclear, ¿salvará el mundo?

La energía nuclear tiene varios problemas:

  1. Seguridad
  2. Aprovisionamiento de combustible
  3. Gestión de residuos
  4. Precio
  5. Otros: relaciones públicas, etc.

La casi totalidad de la literatura seria al respecto se puede resumir en lo siguiente: cómo solucionar 1, 2 y 3 exacerbando 4.

[Luego, claro, hay otra literatura seudocientífica que viene a decir cómo 1, 2 y 3 son irresolubles por mucho que se agrave 4. Pero este es un blog serio y sin tiempo para tonterías.]

Subversión de convenciones gráficas: un ejemplo

Un gráfico estadístico —salvo error u omisión— representa fielmente los datos sobre los que se construye: podríamos programar una máquina para que recompusiera la tabla original a partir de cualquier gráfica independientemente de la estética utilizada: sean longitudes, ángulos, tonos de color, etc.

El problema es que los humanos —particularmente, pensando rápido a lo Kahneman— tendemos a fabricar connotaciones que tuercen su sentido. Estas connotaciones —como tantas otras cosas en la vida— pueden tener origen biológico o cultural. Culturales son las convenciones, como que el tiempo fluye de izquierda a derecha o que lo grande va arriba y lo pequeño, abajo.

Números aleatorios, estado interno y su relación con el paralelismo

I.

En primer lugar, no voy a hablar de números aleatorios sino seudoaleatorios. Resumiéndolo todo mucho, un generador de números seudoaleatorios (PRNG en lo que sigue) es una función que a partir de una secuencia fácilmente adivinable (p.e., 0, 1, 2,…) genera otra de números con apariencia aleatoria.

Los números de la secuencia adivinable constituirían los distintos estados del PRNG. En R, Python y otros lenguajes populares, el generador de números aleatorios hace dos cosas: generar un número aleatorio y actualizar el estado.

Un gráfico con dos lecturas muy distintas

Hoy voy a discutir el siguiente gráfico:

Está extraído del libro Order without Design: How Markets Shape Cities, de Alain Bertaud, que no recomiendo en absoluto a quienes alberguen la inamovible certeza de que los urbanistas municipales son seres justos y omniscientes y los mercados, fuerzas ciegas y malévolas que solo merecen burla, desprecio y, por encima de todo, represión. Tampoco voy a aburrir al lector con las referencias de los números que representa. Están en el libro. Me bastará advertirle que pueden haber cambiado: hacen referencia al periodo 2016-2017.

El modelo 3PL, ajustado con numpyro

Tenía ganas de meterle mano al modelo 3PL de la teoría de respuesta al ítem. Había un par de motivos para no hacerlo: que viene del mundo de la sicometría, que es un rollo macabeo, y que sirve —en primera aproximación— para evaluar evaluaciones (preguntas de examen, vamos), un asunto muy alejado de mis intereses. Pero acabaron pesando más:

  • Que se trata de un modelo generativo en el que los coeficientes tienen una función —y por tanto, interpretación— determinada y prefijada. Es decir, un modelo ad hoc construido desde primeros principios y no usando herramientas genéricas —piénsese en las anovas o similares—.
  • Que exige métodos de ajuste específicos. Por ahí usan MV vía EM.
  • Que pide a gritos una aproximación bayesiana, sobre todo a la hora de prefijar la distribución de las habilidades de los alumnos.
  • Que, finalmente, puede aplicarse fuera del estrecho ámbito de la teoría de la respuesta al ítem.
  • Y, además, que es fácilmente generalizable.

El problema en el que el modelo 3PL se propone como solución es sencillo: