El z-score es una medida inadecuada de la perplejidad

Tenemos un dato y un valor de referencia. Por ejemplo, el valor predicho por un modelo y el observado. Queremos medir la distancia entre ambos. ¿En qué unidades? Antes de eso, incluso, ¿para qué queremos medir esa distancia? Esta es la pregunta fácil: para ver cómo encaja en el modelo propuesto, para ver cómo lo sorprende, para cuantificar la perplejidad. Los estadísticos están acostumbrados a medir la perplejidad en unas unidades que solo ellos entienden, si es que las entienden: desviaciones estándar. El z-score de un residuo es el número de desviaciones estándar que lo separan de su estimación. Si es una, exclaman ¡bah!; si es dos, ¡oh!; si es tres, ¡oooh!; si es cuatro, ¡ooooooh, válgame Dios!, etc. ...

18 de diciembre de 2017 · Carlos J. Gil Bellosta

Martingalas, tiempos de parada y tuits cuasivirales

El otro día publiqué en Twitter un problema que copié de algún sitio (sinceramente, no recuerdo cuál), En un país hipotético, las familias tienen críos hasta que nace el primer varón. En un año, en promedio, nacen: — Carlos Gil Bellosta (@gilbellosta) December 10, 2017 que resultó megaviral en mi humilde tuitescala. A ver si mañana tengo tiempo de ocuparme de lo triste que resulta que mi entorno de Twitter sea tan cafre como para haber desacertado tanto. ...

13 de diciembre de 2017 · Carlos J. Gil Bellosta

Estadística(s) y el dedo de Dios

He usado el vídeo en un curso de estadística básica para ilustrar cómo a través de experimentos se construyen histogramas y estos convergen a y, en última instancia, justifican el uso de distribuciones de probabilidad. Es decir, experimentos -> histogramas -> funciones de distribución. Y de ahí, el resto. ...

10 de noviembre de 2017 · Carlos J. Gil Bellosta

Sentir números, sentir probabilidades

En El hombre anúmerico, J.A. Paulos discute el problema de la visualización (e italizo para indicar que ver no es el fin sino el medio para interiorizar y sentir) números, particularmente, grandes números. Sobre los no excesivamente grandes escribe, p.e., To cite some happier illustrations for smaller numbers, the standard I use for the lowly thousand is a section of Veterans Stadium in Philadelphia which I know contains 1,008 seats and which is easy to picture. The north wall of a garage near my house contains almost exactly ten thousand narrow bricks. For one hundred thousand, I generally think of the number of words in a good-sized novel. ...

22 de mayo de 2017 · Carlos J. Gil Bellosta

Calibración de probabilidades vía apuestas

Después de la remontada del F.C. Barcelona es muy de agradecer ver la publicación de artículos como Cómo de improbable era la remontada del Barcelona de Kiko Llaneras. En la misma entradilla, indica que [u]n modelo estadístico y las apuestas le daban el 7% de opciones. Un 7% viene a ser más o menos, dice correctamente, como sacar un 11 o un 12 en una tirada de dos dados. La pregunta que podemos hacernos, de todos modos, es si las probabilidades estimadas por esos modelos estadísticos o las casas de apuestas están o no bien calibradas. Es decir, si, por ejemplo, el número de aciertos para eventos con una probabilidad asignada del alrededor del 0.25 es o no próximo al 25%. ...

13 de marzo de 2017 · Carlos J. Gil Bellosta

Reducción de la dimensionalidad con t-SNE

Voy a explicar aquí lo que he aprendido recientemente sobre t-SNE, una técnica para reducir la dimensionalidad de conjuntos de datos. Es una alternativa moderna a MDS o PCA. Partimos de puntos $x_1, \dots, x_n$ y buscamos otros $y_1, \dots, y_n$ en un espacio de menor dimensión. Para ello construiremos primero $n$ distribuciones de probabilidad, $p_i$ sobre los enteros $1, \dots, n$ de forma que $$ p_i(j) \propto d_x(x_i, x_j),$$ donde $d_x$ es una determinada distancia entre puntos en el espacio original. De la misma manera, construimos sendas distribuciones de probabilidad, $q_i$, ...

8 de marzo de 2017 · Carlos J. Gil Bellosta

Otro ejemplo de infradispersión de conteos

Estimados señores: Llevo 10 años revisando sus "CAJAS DE 100 CERILLAS" En 3409 ocasiones he contado 99 o 101 😨 ¿ESTÁN USTEDES LOCOS? 😠 pic.twitter.com/hyqI9Ncxqg — ☢️ 𝙍𝙖𝙙𝙞𝙖𝙘𝙩𝙞𝙫𝙤𝙈𝙖𝙣 ☢️ (@RadiactivoMan) February 16, 2017 Esta entrada, obviamente, remite a esta otra.

23 de febrero de 2017 · Carlos J. Gil Bellosta

La inesperada correlación de los ratios

Tomemos dos variables aleatorias independientes y positivas, set.seed(123) n <- 100 x <- runif(n) + 0.5 y <- runif(n) + 0.5 No tengo ni que decir que su correlación es prácticamente cero, cor(x,y) #-0.0872707 y que en su diagrama de dispersión tampoco vamos a poder leer otra cosa: Ahora generamos otra variable independiente de las anteriores, z <- runif(n) + 0.5 y calculamos el cociente de las primeras con respecto a esta: xz <- x / z yz <- y / z ¿Independientes? Hummmm… cor(xz, yz) # 0.5277787 Parece que no. Porque valores grandes del cociente aplastan a la vez a los valores de x e y y a la inversa. La correlación entre las nuevas variables crece con la del denominador, de hecho. ...

9 de febrero de 2017 · Carlos J. Gil Bellosta

1/e por doquier

Leía ¿Es muy difícil (estadísticamente) no dar ni una?, donde se discute la probabilidad de que $s(i) \neq i$ $\forall i$ cuando $s$ es una permutación. El problema está relacionado, como podrá ver quien visite el enlace, con la probabilidad de repetición del sorteo en el juego del amigo invisible. Esta probabilidad converge, al crecer $n$, a $1/e \approx 0.367879$. ¡0.367879! Eso es… eso es… ¡1 - .632…! Pero .632 es un número como de la familia y relacionado (consúltese el enlace) con el bootstrap. ...

6 de febrero de 2017 · Carlos J. Gil Bellosta

La regla del tres (para estimar la probabilidad de un evento todavía no observado)

Me acusan (quien lo hizo, si me lee, sabrá identificarse) de repetirme, de contar una historia dos, y sino me paran los pies, tres y más veces. Ya me pasó una vez por aquí. Espero que no me esté volviendo a suceder hoy porque habría jurado haber mencionado este asunto antes. Es el de la estimación de la probabilidad de eventos todavía no observados. Traduzco y (como no rectoreo universidad pública alguna y, por ende, no puedo permitirme el lujo de copiar sin citar) luego diré de donde: ...

30 de noviembre de 2016 · Carlos J. Gil Bellosta