Estadística

Por eso, en la práctica, el RMSE y similares son irrelevantes. Aunque eso, desgraciadamente, no quiere decir que no sean utilizados. Pero en muchas ocasiones no es el error medio la medida importante. A menudo, uno quiere detectar outliers: una variable de interés tiene un comportamiento normal la mayor parte del tiempo; pero en ocasiones, en raras ocasiones, cuando supera determinado umbral, produce catástrofes. Dejarse guiar por el RMSE (o similares) generaría una peligrosa sensación de seguridad: detectaría la normalidad; pero la anormalidad, lo verdaderamente interesante, le resultaría inasequible. ...

Este es el número (por año) de condenados por provocar incendios forestales en España (según Civio): Según la misma página, en esos años ha habido 223.783 incendios forestales, de los cuales el 55% fueron intencionados. Pero a nadie se le ocurre criticar a Civio y acusarlo de [incluye aquí tu acusación de incorrección política favorita] por publicar esas cifras bajo la premisa de que solo pueden catalogarse como intencionados el 0.369% de ellos (número de condenados entre número total de incendios). ...

En ocasiones, el conjunto de datos sobre el que se ajusta una regresión logística está desequilibrado con respecto a la población subyacente. Por ejemplo, puede suceder que la tasa de casos positivos en los datos sea del 20% mientras que en la población general es del 5%. Esto puede suceder por varios motivos. El sobremuestreo es uno de ellos: se sobremuestrea cuando se toman, por ejemplo, todos los casos positivos y solo un subconjunto de los negativos. ...

Este artículo comienza así: En los inicios de su carrera estadística, John Tukey se unió a la Sociedad para la Eliminación del Coeficiente de Correlación de Charlie Winsor. ¿No os intriga el resto?

Hay una convocatoria abierta en Medialab-Prado para proponer (primero) y desarrollar (más tarde) proyectos que exploren la desigualdad. Los detalles están en el enlace anterior, pero traslado aquí los más urgentes: Los talleres se desarrollarán del 23 al 25 de octubre y del 11 al 13 de diciembre de 2015. La convocatoria está abierta del 15 de julio al 15 de septiembre. Supongo que conocéis el chiste del estadístico y el pollo: que si una persona se come uno y otra ninguno, vendrá aquel y dirá que ambos comieron (en promedio) medio. Esta es una ocasión en que podemos reivindicar lo contrario y aportar nuestra experiencia al respecto. ...

El problema de hoy viene sugerido por la manera de encontrar un valor central —una medida de centralidad— en una serie de números $x_1,\dots, x_n$. A uno se le viene a la mente la media de dichos puntos, por supuesto. Pero la media no es sino el valor $\theta$ que minimiza $$ \sum_i (x_i - \theta)^2.$$ En lugar de minimizar la distancia al cuadrado entre ese punto central y los de la serie, podríamos usar otras funciones. Es sabido que si tratamos de minimizar ...

Andrew Gelman nos invita a no usar más el test de Wilcoxon. El test de Wilcoxon reemplaza las observaciones obtenidas por sus rangos y construye un estadístico basado en estos últimos. Eso implica descartar información pero puede ayudar a ganar robustez en situaciones en que los datos se desvíen de la normalidad. ¿Qué sugiere Gelman? Que si realmente estamos dispuestos a descartar información, en lugar de reemplazar las observaciones originales por sus rangos, usemos z-scores —los cuantiles de la normal estándar correspondientes a los cuantiles muestrales—, y usemos la teoría normal (en su doble acepción). ...

Las entradas de esta semana han girado alrededor de un tema: la comparación bajo incertidumbre. La remato recomendando un artículo de Stephen Few, Variation and Its Discontents, que tiene un subtítulo de lo más oportuno: Funnel Plots for Fair Comparisons. Nota: Los lectores más fieles de estas páginas recordarán entradas viejas, como esta, que también sugerían el uso de gráficos de embudo (o trompeta).

Vuelvo a lo de Casillas inspirándome en el primer ejemplo de este artículo de Gelman et al. El planteamiento es el siguiente: el número de paradas, $n_i$, que realiza el $i$-ésimo portero tiene una distribución binomial $$ n_i \sim B(N_i, p_i)$$ donde $N_i$ es el número de disparos entre los palos y $p_i$ es la habilidad innata del portero. Estas habilidades innatas siguen una distribución dada, la de habilidades innatas de los porteros de primera división, que podemos suponer que sigue una distribución beta ...

Rescato y reconvierto un comentario de mi buen amigo José Luis Cañadas en una entrada mía reciente en la de hoy. Sugiere José Luis el uso del paquete effects de R para estudiar el efecto de (que el caso concreto de interés, aunque hay otros) las variables de un modelo logístico. Nos copia el código library(effects) mod.cowles <- glm(volunteer ~ sex + neuroticism*extraversion, data = Cowles, family = binomial) eff.cowles <- allEffects(mod.cowles, xlevels = list(extraversion = seq(0, 24, 6)), given.values = c(sexmale = 0.5)) plot(eff.cowles, type = "response") que genera un gráfico en el que se aprecia el efecto de las variables en la probabilidad de volunteer. Entre otras cosas, nos indica el efecto de sex, que coincide con el que podemos obtener haciendo ...