El cincuenta en raya (y el tres en raya)

Supongo que todos conocéis el tres en raya. El cincuenta en (casi) raya, sin embargo, es esto: Hay dos variables, (pluviosidad y ratio hombres/mujeres) y los cincuenta punticos casi en raya corresponden a los estados de EE.UU. ¿Asombrosa correlación? No tanto. Aquí se discute cómo, en realidad, por su cercanía sociocultural y climática cada uno de los estados del gráfico es manifestación de tres grupos de ellos que, estos sí, están en raya (¿casualmente?). ...

21 de abril de 2016 · Carlos J. Gil Bellosta

Y viene del español, tú

Cada día soy más inculto. He dejado de escuchar música; en el último concierto al que fui maté el tiempo con un jueguito del móvil; la taquillera del teatro de mi barrio se niega a venderme entradas por cuestiones formales (que si son las 18:01 y la taquilla cierra a las 18:00); hace años que no leo ficción; en el Reina Sofía, donde otros ven arte yo encuentro desgana y mis gustos cinematográficos son de lo más estragado. ...

11 de abril de 2016 · Carlos J. Gil Bellosta

¿Un libro recomendable de estadística básica?

Me piden bibliografía para unos cursos de ciencia de datos. En particular, de estadística básica. Un texto que reúna los conceptos fundamentales de la cosa para quienes o no los aprendieron en su día o los olvidaron por el camino. Tiene que cumplir algunos requisitos mínimos: Que presente los gráficos estadísticos básicos y que no estén construidos con Excel (en 3D). Que, a lo más, incluya un único gráfico de tarta. Que no sea muy pesado matemáticamente. Que sea breve, pero no demasiado. Que esté accesible, idealmente en internet, gratuita y legalmente. Finalmente, si está escrito en español y usa R, mejor aún. ...

7 de abril de 2016 · Carlos J. Gil Bellosta

El AUC es la probabilidad de que...

Voy a construir unos datos artificiales y un modelo de clasificación binaria, library(mgcv) library(ggplot2) library(pROC) n <- 10000 dat <- gamSim(1, n=n, dist="binary", scale=.33) lr.fit <- gam(y ~ s(x0, bs="cr") + s(x1, bs="cr") + s(x2, bs="cr") + s(x3, bs="cr"), family=binomial, data=dat, method="REML") y luego (mal hecho: debería hacerlo sobre un conjunto de validación distinto) a obtener las predicciones para las observaciones res <- data.frame(real = factor(dat$y), prob = predict(lr.fit, type = "response")) que ggplot(res, aes(x=prob, fill=real)) + geom_density(alpha=.3) representa así: Me pregunto si el clasificador construido es bueno. Para lo cual voy a construir la curva ROC con sies <- res[res$real == "1",] noes <- res[res$real == "0",] scores <- 0:100 / 100 q.si <- ecdf(sies$prob)(scores) q.no <- ecdf(noes$prob)(scores) plot(q.si, q.no, type = "l") que produce ...

29 de marzo de 2016 · Carlos J. Gil Bellosta

Dime qué muestreas y te diré cuál es tu sesgo

El talón de Aquiles del big data es el sesgo. Me gustaría hablar más de ello, pero me agarra de la pluma uno de esos NDAs. Así que hablaré de otra cosa. Si le preguntas a la gente cuántos hermanos son en la familia, el promedio del resultado tenderá a ser superior al número medio de hijos por familia. Esencialmente, porque no estás muestreando familias sino hijos. El tautológico hecho de que las familias con más hijos tengan más hijos hace que estén sobrerrepresentadas en la muestra. ...

14 de marzo de 2016 · Carlos J. Gil Bellosta

GBM sintetizado en una línea

Es $$ \sum_i \Phi(y_i, f_1(x_i)) > \sum_i \Phi(y_i, f_1(x_i) - \lambda \nabla \Phi(y_i, f_1(x_i)) \sim$$ $$ \sim \sum_i \Phi(y_i, f_1(x_i) - \lambda f_2(x_i))$$ Por supuesto, el lector se preguntará muchas cosas, entre las que destaco: ¿Qué representa cada uno de los elementos que aparecen en la línea anterior? ¿Qué parte de ella es solo casi siempre cierta? ¿Qué tiene todo eso que ver con GBM?

11 de marzo de 2016 · Carlos J. Gil Bellosta

Los tres contraargumentos habituales

Hago pública por su interés (parte de) una respuesta de Ramón Díaz Uriarte a un correo mío en el que yo sugería que una vez que sabes especificar un modelo probabilístico para unos datos, p.e., para la regresión lineal, y ~ N(a0 + a1 x1 +..., sigma)), para el test de Student, y0 ~ N(mu, sigma); y1 ~ N(mu + delta, sigma), etc. no hace falta saber qué es lm, ni el test de Student, ni nada. Cero teoría; sobre todo, de teoría tipo recetario. Se especifica el modelo (con una determinada sintaxis), se deja correr la cosa y a interpretar. Su respuesta: ...

29 de febrero de 2016 · Carlos J. Gil Bellosta

¿Hay una epidemia en mi grafo?

Tengo un grafo, g cuyos vértices pueden ser cosas susceptibles de contaminarse. Me pregunto si la contaminación puede contagiarse a través del grafo. Es decir, si A y B están unidos por una arista y A está contaminado, la probabilidad de que B también lo esté es superior a la normal. Se me ocurre probar esa hipótesis así: library(igraph) # mi grafo g <- erdos.renyi.game(10000, p.or.m = 0.001, type="gnp") min.mean.dist <- function(n){ # contaminación al azar contaminados <- sample(V(g), n) # distancias entre nodos contaminados res <- shortest.paths(g, v = contaminados, to = contaminados) diag(res) <- Inf # distancia al contaminado más próximo min.dist <- apply(res, 1, min, na.rm = T) # y su media mean(min.dist) } # histograma bajo la hipótesis nula res <- replicate(100, min.mean.dist(100)) El resto son detalles que el lector atento sabrá completar por su cuenta.

26 de febrero de 2016 · Carlos J. Gil Bellosta

La democracia no representativa no es representativa

En estadística, una muestra representativa tiene que contener las características relevantes de la población en las mismas proporciones en que están incluidas en tal población (referencia). En estos tiempos, se están poniendo de moda alternativas a la muy tradicional democracia representativa que, en contraposición a ella, no aspiran a serlo. Y su principal problema radica, precisamente, en que no lo son. Lo anterior no es más que una opinión: es la constatación de un hecho. Esta semana pasada, en aras de una versión más directa y asamblearia de la democracia, ha habido en mi barrio un par de eventos en los que en presencia de la alcaldesa de Madrid el uno y del concejal de mi distrito el otro, se han tratado temas que me interesan directamente. Pero, oh, fatalidad, a la hora en que yo (y muchos otros) estamos lejos y ocupados ganándonos el pan. ...

22 de febrero de 2016 · Carlos J. Gil Bellosta

Clases sociales y clústering

El clústering (o análisis de conglomerados, o como se le quiera llamar) es un atajo intelectual. En lugar de estudiar individuos (no necesariamente personas), estos se agrupan de manera más o menos cuestionable, se eligen representantes en cada uno de ellos, cuyas características se atribuyen a continuación a todos sus miembros. No puedo evitar escribir párrafos como el anterior sin que me venga a la nariz ese olor a naftalina de cuando era crío y abría los armarios de mi abuela. ...

16 de febrero de 2016 · Carlos J. Gil Bellosta