Calibración de probabilidades vía apuestas

Después de la remontada del F.C. Barcelona es muy de agradecer ver la publicación de artículos como Cómo de improbable era la remontada del Barcelona de Kiko Llaneras. En la misma entradilla, indica que [u]n modelo estadístico y las apuestas le daban el 7% de opciones. Un 7% viene a ser más o menos, dice correctamente, como sacar un 11 o un 12 en una tirada de dos dados. La pregunta que podemos hacernos, de todos modos, es si las probabilidades estimadas por esos modelos estadísticos o las casas de apuestas están o no bien calibradas. Es decir, si, por ejemplo, el número de aciertos para eventos con una probabilidad asignada del alrededor del 0.25 es o no próximo al 25%. ...

13 de marzo de 2017 · Carlos J. Gil Bellosta

Reducción de la dimensionalidad con t-SNE

Voy a explicar aquí lo que he aprendido recientemente sobre t-SNE, una técnica para reducir la dimensionalidad de conjuntos de datos. Es una alternativa moderna a MDS o PCA. Partimos de puntos $x_1, \dots, x_n$ y buscamos otros $y_1, \dots, y_n$ en un espacio de menor dimensión. Para ello construiremos primero $n$ distribuciones de probabilidad, $p_i$ sobre los enteros $1, \dots, n$ de forma que $$ p_i(j) \propto d_x(x_i, x_j),$$ donde $d_x$ es una determinada distancia entre puntos en el espacio original. De la misma manera, construimos sendas distribuciones de probabilidad, $q_i$, ...

8 de marzo de 2017 · Carlos J. Gil Bellosta

Otro ejemplo de infradispersión de conteos

Estimados señores: Llevo 10 años revisando sus "CAJAS DE 100 CERILLAS" En 3409 ocasiones he contado 99 o 101 😨 ¿ESTÁN USTEDES LOCOS? 😠 pic.twitter.com/hyqI9Ncxqg — ☢️ 𝙍𝙖𝙙𝙞𝙖𝙘𝙩𝙞𝙫𝙤𝙈𝙖𝙣 ☢️ (@RadiactivoMan) February 16, 2017 Esta entrada, obviamente, viene a cuento de esta otra.

23 de febrero de 2017 · Carlos J. Gil Bellosta

La inesperada correlación de los ratios

Tomemos dos variables aleatorias independientes y positivas, set.seed(123) n <- 100 x <- runif(n) + 0.5 y <- runif(n) + 0.5 No tengo ni que decir que su correlación es prácticamente cero, cor(x,y) #-0.0872707 y que en su diagrama de dispersión tampoco vamos a poder leer otra cosa: Ahora generamos otra variable independiente de las anteriores, z <- runif(n) + 0.5 y calculamos el cociente de las primeras con respecto a esta: xz <- x / z yz <- y / z ¿Independientes? Hummmm… cor(xz, yz) # 0.5277787 Parece que no. Porque valores grandes del cociente aplastan a la vez a los valores de x e y y a la inversa. La correlación entre las nuevas variables crece con la del denominador, de hecho. ...

9 de febrero de 2017 · Carlos J. Gil Bellosta

1/e por doquier

Leía ¿Es muy difícil (estadísticamente) no dar ni una?, donde se discute la probabilidad de que $s(i) \neq i$ $\forall i$ cuando $s$ es una permutación. El problema está relacionado, como podrá ver quien visite el enlace, con la probabilidad de repetición del sorteo en el juego del amigo invisible. Esta probabilidad converge, al crecer $n$, a $1/e \approx 0.367879$. ¡0.367879! Eso es… eso es… ¡1 - .632…! Pero .632 es un número como de la familia y relacionado (consúltese el enlace) con el bootstrap. ...

6 de febrero de 2017 · Carlos J. Gil Bellosta

La regla del tres (para estimar la probabilidad de un evento todavía no observado)

Me acusan (quien lo hizo, si me lee, sabrá identificarse) de repetirme, de contar una historia dos, y sino me paran los pies, tres y más veces. Ya me pasó una vez por aquí. Espero que no me esté volviendo a suceder hoy porque habría jurado haber mencionado este asunto antes. Es el de la estimación de la probabilidad de eventos todavía no observados. Traduzco y (como no rectoreo universidad pública alguna y, por ende, no puedo permitirme el lujo de copiar sin citar) luego diré de donde: ...

30 de noviembre de 2016 · Carlos J. Gil Bellosta

Probabilidades de empates en elecciones

Dichoso me tenía por no acordarme siquiera de las CUP, cuando una nota me ha hecho volver a lo de su otrora famoso pero ahora arrumbado por el constante devenir de otras noticias más enjundiosas (pausa) asunto: el de su empate. La noticia en cuestión es esta, que conduce a esto y en definitiva a esto otro, que es donde reside lo enjundioso. En realidad, el caso que explica el artículo es algo más complicado del que aplicaría en el caso de las CUP, pero exigiría igualmente, como ya indiqué en su día, especificar una serie de apriorismos no siempre a mano.

29 de noviembre de 2016 · Carlos J. Gil Bellosta

Modelos gráficos probabilísticos en Coursera

Acabo de terminar el primero de los tres cursos sobre modelos gráficos probabilísticos de Coursera. El curso sigue una sinuosa senda a través del libro (¡1200 páginas!) Probabilistic Graphical Models de D. Koller y N. Friedman. Aunque cueste un potosí, es posible hojearlo gratis para ver si vale la pena o no comprarlo gracias a nuestros amigos de LibGen. Tiene mucho de bueno. Lo mejor, sin duda alguna, el universo de problemas que plantea y a los que se aplican los modelos gráficos. No son el sota, caballo y rey de los manuales de métodos de clasificación, regresión, etc. Las correlaciones entre variables se explicitan y se modelan usando criterios (p.e., de expertos humanos), en lugar de fiarlo todo al descenso de un gradiente. ...

31 de octubre de 2016 · Carlos J. Gil Bellosta

Probabilidades y probabilidades

Leo hoy que La probabilidad de que gane Trump es del ~13%. Más o menos la probabilidad de que Cristiano Ronaldo falle un penalti. — Kiko Llaneras (@kikollan) October 16, 2016 Pero: Hemos visto a Cristiano Ronaldo chutar muchos penaltis y hemos podido calcular el cociente entre los anotados y los tirados. Es la primera vez en la vida que Trump se presenta a las elecciones de EE.UU. ¿A nadie le intriga cuál es ese misterioso mecanismo por el que se pueden comparar ambas probabilidades? [Voy a usar ontológicamente] ¿Nadie las ve ontológicamente distintas?

17 de octubre de 2016 · Carlos J. Gil Bellosta

Hamilton al rescate de Metropolis-Hastings

El algoritmo de Metropolis-Hastings se usa para muestrear una variable aleatoria con función de densidad $p$. Permite crear una sucesión de puntos $x_i$ que se distribuye según $p$. Funciona de al siguiente manera: a partir de un punto $x_i$ se buscan candidatos a $x_{i+1}$ de la forma $x_i + \epsilon$, donde $\epsilon$ es, muy habitualmente, $N(0, \delta)$ y $\delta$ es pequeño. De otra manera, puntos próximos a $x_i$. Un candidato se acepta (y se convierte en $x_{i+1}$) o se rechaza (y toca probar con otro) según los valores de $p(x_i)$ y $p(x_i + \epsilon)$: ...

16 de septiembre de 2016 · Carlos J. Gil Bellosta