Crps

A veces hay en el mundo una variable aleatoria $X$ que distintos agentes tratan de predecir. Pero en otras ocasiones hay una variable aleatoria $X$, ciertos agentes crean predicciones $Y$ de $X$ y otros están interesados en la predicción de $Y$, tal como describe Matt Levine en Weather Prediction Prediction. The Economist describe los esfuerzos de la India por recuperar la credibilidad de sus estadísticas nacionales tras años de interferencia política. ...

Hoy toca hablar del CRPS, o continuous ranked probability score, que es un tipo particular de scoring y que se usa para lo que se usan los scorings: comparar modelos y predicciones. Imaginemos que alguien quiere predecir un determinado valor y que como no es un patán, tiene la gentileza de proporcionar la distribución del valor esperado (p.e., una $N(a, b)$). Resulta que el valor observado es $x_o$. ¿Cómo de buena es esa predicción? En principio, cuando más probable sea $x$ en términos de la función de probabilidad de la predicción, mejor será dicha predicción. Así que $p(x_o)$ —donde $p$ es la función de densidad de la predicción— podría ser un buen scoring. En la práctica se usa una versión de la anterior, $\log(p(x_o))$, pero viene a ser lo mismo. ...