Un argumento para usar la normal: la maximización de la entropía

Llegaré a la normal. Antes, algo sobre la entropía. Nos interesa saber y medir el grado de concentración de una distribución. Por ejemplo, si X es una variable aleatoria con función de densidad $f(x)$ y $x_1, \dots, x_n$ es una muestra de X, entonces, la expresión $$ \frac{1}{n} \sum_i f(x_i)$$ da una idea de la concentración vs dispersión de X: Si es grande, muchos de los $x_i$ procederán de lugares donde $f$ es grande; en un caso discreto, que tal vez ayude a mejorar la intuición sobre la cosa, habría muchos valores repetidos. Si es pequeño, muchos de los $x_i$ procederán de puntos de baja probabilidad; en un caso discreto, aparecerían muchos valores $x_i$ diversos y de probabilidad baja. La expresión anterior converge a ...

2 de marzo de 2021 · Carlos J. Gil Bellosta

Nuevo vídeo en YouTube: sobre mi "filosofía" de modelización de datos

El vídeo es y si habéis seguido este blog en los últimos tiempos, no hace falta que lo veáis: trata de asuntos la mar de manidos aquí, solo que esta vez en formato audiovisual y dramatizado.

28 de febrero de 2021 · Carlos J. Gil Bellosta

Sobre sumas de cuadrados de normales con varianzas desiguales

En mi entrada anterior mencioné cómo la suma de cuadrados de normales, aun cuando tengan varianzas desiguales, sigue siendo aproximadamente $\chi^2$. Es el resultado que subyace, por ejemplo, a la aproximación de Welch que usa R por defecto en t.test. Puede verse una discusión teórica sobre el asunto así como enlaces a la literatura relevante aquí. Esta entrada es un complemento a la anterior que tiene lo que a la otra le faltan: gráficos. Al fin y al cabo, es un resultado que se prueba a ojo: efectivamente, la suma de […] tiene aspecto de $\chi^2$, determinemos su parámetro. ...

25 de febrero de 2021 · Carlos J. Gil Bellosta

Tres "teoremas" que son casi ciertos

I. Si $X_1, \dots, X_{12}$ son uniformes en [0,1] e independientes, entonces $X_1 + \dots + X_{12} - 6$ es una variable aleatoria normal. Puede entenderse como un corolario práctico del teorema central del límite habida cuenta de que la varianza de $X_i$ es 1/12 y su media es 1/2. Es útil porque, se ve, en algunos dispositivos embebidos no se dispone de una librería matemática extensa y, se ve, a veces hace falta muestrear la normal. Más, aquí. ...

23 de febrero de 2021 · Carlos J. Gil Bellosta

Nuevo vídeo en mi canal de YouTube: conversación con Luz Frías

No hay mucho más que decir.

22 de febrero de 2021 · Carlos J. Gil Bellosta

¿Dónde son más frecuentes las muestras de una distribución en dimensiones altas?

Esta es una cosa bastante contraintituiva. Uno diría que en la moda, pero no es exactamente así. Veamos qué pasa con la distribución normal conforme aumenta la dimensión. En una dimensión son más frecuentes los valores próximos al centro: hist(abs(rnorm(10000)), breaks = 100, main = "distribución de la distancia al centro") Pero en dimensiones más altas (p.e., 10), la cosa cambia: library(mvtnorm) muestra <- rmvnorm(10000, rep(0, 10), diag(rep(1, 10))) distancias <- apply(muestra, 1, function(x) sqrt(sum(x^2))) hist(distancias, breaks = 100, main = "distribución de la distancia al centro") ...

18 de febrero de 2021 · Carlos J. Gil Bellosta

Hay mil motivos para criticar una regresión "trucha", pero una R² baja no es uno de ellos

Todo esto arranca con el tuit: En conjunto, como digo, los países con Estados grandes tienden a ser poco progresivos pic.twitter.com/oeI6hkUZwd — Juan Ramón Rallo (@juanrallo) February 1, 2021 Esa gráfica, extraída de un documento de la OCDE, creo, fue uno de los argumentos esgrimidos por JR Rallo para defender cierta postura que no viene al caso. Lo relevante para estas páginas es que fue contestado y protestado por muchos —de algunos de los cuales, dada su autoproclamada condición de divulgadores científicos, cabría esperar más— en términos exclusivamente de lo pequeño de la R². ...

16 de febrero de 2021 · Carlos J. Gil Bellosta

Solo el modelo vacío pasa todos los "checks"

Cuando uno crea uno de esos modelos que tanta mala fama tienen hoy en día —y sí, me refiero a esos de los que dependen las concesiones de hipotecas, etc.— solo tiene dos fuentes de datos: La llamada información _estadística _acerca de los sujetos: donde vive, sexo, edad, etc. Información personal sobre el sujeto: cómo se ha comportado en el pasado. Sin embargo, aquí se nos informa de cómo ha sido multado un banco finlandés por ...

11 de febrero de 2021 · Carlos J. Gil Bellosta

El teorema de Bayes como la versión modal del modus tollens

El otro día alguien argumentaba (de una manera que no voy a adjetivar): La lógica (proposiciona, de primer orden) es importante (si lo que se pretende es actuar racionalment), la probabilidad no tanto. El teorema de Bayes es solo un resultado trivial dentro de una disciplina mucho menos relevante que la lógica. Ergo, ¿por qué tanto coñacito con el dichoso teorema de Bayes? Como había alguien equivocado en internet, sonaron todas las alarmas que tengo colocadas en casa y tuve que acudir a enderezar el tuerto. Así, respondí algo así como que: ...

8 de febrero de 2021 · Carlos J. Gil Bellosta

Separación perfecta en el modelo de Poisson

El asunto de la separación perfecta en el modelo logístico es sobradamente conocido. Solo quiero añadir al respecto dos cosas que no se suelen decir: Es un dolor que solo duele a los frecuentistas que no usan regularización (y van quedando cada vez menos de esos). Que no es malo sino bueno: ¿qué cosa mejor que tus datos puedan responder categóricamente las preguntas que les planteas (supuesto, claro, está, un N suficientemente grande). Lo que es menos conocido es que el problema de la separación perfecta también puede afectar a la regresión de Poisson. ...

5 de febrero de 2021 · Carlos J. Gil Bellosta