Incrementalidad via particionamiento recursivo basado en modelos

Planteas un modelo tal como resp ~ treat y no encuentras diferencia significativa. O incluso puede ser negativa. Globalmente. La pregunta es, con el permiso del Sr. Simpson (o tal vez inspirados por él), ¿existirá alguna región del espacio en la que el tratamiento tiene un efecto beneficioso? Puede que sí. Y de haberla, ¿cómo identificarla? De eso hablo hoy aquí. E incluyo una protorespuesta. Primero, genero datos: n <- 20000 v1 <- sample(0:1, n, replace = T) v2 <- sample(0:1, n, replace = T) v3 <- sample(0:1, n, replace = T) treat <- sample(0:1, n, replace = T) y <- v1 + treat * v1 * v2 y <- exp(y) / (1 + exp(y)) y <- sapply(y, function(x) rbinom(1,1,x)) dat <- data.frame( y = y, treat = factor(treat), v1 = v1, v2 = v2, v3 = v3) Como puede apreciarse, solo las variables v1 y v2 (y no v3) interaccionan con el tratamiento: solo en la región donde v1 = v1 = 1 el efecto del tratamiento es positivo. ...

30 de julio de 2014 · Carlos J. Gil Bellosta

60 generaciones

Tú eres un conjunto de cardinalidad 1. Tú y tus padres conformáis un conjunto de cardinalidad 3. Añade a tus abuelos y tendrás un conjunto de cardinalidad 7. Aplica la inducción y tendrás conjuntos de cardinalidad $2^n -1$. Esto viene a cuenta de lo que me contó un colega el otro día: que en Corea tiene un libro en el que aparecen sus ancestros desde 54 generaciones atrás. Yo le pregunté cómo almacenaba esos 18014398509481983 nombres. A razón de 20 caracteres por nombre, eso son unos 350 millones de GB. ...

28 de julio de 2014 · Carlos J. Gil Bellosta

Datos antes y después del PCA

El autor de una entrada que casi fusilo hoy no pudo resistirse. Me ha parecido tan estupenda que yo tampoco. Con una imagen simboliza el aspecto de un conjunto de datos antes y después de aplicar una técnica de reducción de la dimensionalidad (PCA, pero podría ser otra). Es esta: A la izquierda, los datos originales. Con sus detalles y sus imperfecciones. A la derecha, los transformados, limpios de impurezas, con colores sólidos y trazos gruesos. ...

24 de julio de 2014 · Carlos J. Gil Bellosta

Si participase en MadData...

El otro día ayudé a divulgar por aquí MadData, el datatón de datos abiertos del ayuntamiento de Madrid. Algunos me habéis preguntado si participaré. Pero estoy lejos (y, muy, muy ocupado). Eso sí, os voy a contar dónde me gustaría meter la cuchara. En datos del ayuntamiento de Madrid, claro. Pero no los abiertos, ni los públicos, ni los conocidos. Sino los otros. Os pongo en precedentes. Sabréis —si habéis seguido estas páginas— que soy el copropietario de MartinaCocina, un local que no sé si clasificar como cafetería o restaurante, en el centro de Madrid. En él hemos celebrado, incluso, algún evento del interés de mis lectores. ...

23 de julio de 2014 · Carlos J. Gil Bellosta

Ni-nis y estados transitorios

Imaginemos un país feliz en el que mucha gente trabaja durante dos años y luego se toma un mes para buscar otro trabajo mejor. ¿Cuál sería su tasa de paro? Del 4 %: la gente pasaría en el paro uno de cada 25 meses. Ese estado transitorio de un mes se manifestaría así en la EPA de dicho país, como un stock de desempleados. Descrita como flujo, la situación parecería propicia. Descrita como stock, habría quien le pusiera pegas. ...

22 de julio de 2014 · Carlos J. Gil Bellosta

MadData: datatón de datos abiertos

Copio (adaptándolo) de aquí: _everis y MadridEmprende organizan el primer Open Datathon de Madrid. La competición consiste en crear soluciones innovadoras a partir del uso de datos abiertos. MADdata pondrá a disposición de cada participante datos de la ciudad de Madrid, procedentes del portal de datos abiertos del Ayuntamiento, de servicios públicos, de transporte y movilidad y de redes sociales._ La inscripción está abierta hasta el 25 de julio de 2014. Finalmente, he aquí una frase del anuncio que me hace mucha gracia: ...

21 de julio de 2014 · Carlos J. Gil Bellosta

En serio con Spark: instalación

Me he puesto en modo estoy serio con Spark. Lo instalé en mi ya manida máquina virtual (voy a subir una nueva versión de ella pronto), pero hoy la voy a instalar en mi portátil. Y con la idea de, en los próximos días, montar un clúster en condiciones. Los pasos son los siguientes: Ir a la página de descargas y seleccionar una versión ya precompilada. Hay varias porque Spark se enlaza con librerías relacionadas con Hadoop (aunque uno puede utilizar Spark perfectamente sin él) y hay varias versiones mutuamente incompatibles de Hadoop. Como no tengo ninguna instalada en el portátil, cualquiera me vale. Descomprimir, mover el directorio a /opt y, opcionalmente, cambiar propietarios y grupos (a root). Crear un enlace blando para vagos: sudo ln -s /opt/spark-1.0.1-bin-hadoop1/ /opt/spark Arrancarlo (usando la interfaz para Python): /opt/spark/bin/pyspark En la consola, ahora, se puede ejecutar: ...

18 de julio de 2014 · Carlos J. Gil Bellosta

Facetas para entender, tal vez, la evolución del paro

La verdad, no sé de dónde los sacan porque la EPA es trimestral. Pero el INE publica datos mensuales de la tasa de desempleo y las cuelga de una de esas URLs que tienen pinta de cambiar con cualquier soplo (es decir, aviso de que en cualquier momento el enlace deja de funcionar). Por ssi acaso, estos son los datos a día de hoy. También aparecen publicados regularmente en prensa. Y los expertos opinan sobre si la cifra es buena y o mala. Pero, ¿buena o mala con respecto a qué? Así que hoy voy a ensayar un marco en el que plantear la pregunta: ...

17 de julio de 2014 · Carlos J. Gil Bellosta

Dos descomposiciones positivas de tablas de contingencia

Voy a seguir poco a poco con este tema mío tan recurrente de las factorizaciones (aproximadas) positivas de matrices (también positivas). No escribo más porque, como casi todo lo que llamamos trabajo es, simplemente ruido, las cosas que llevan a otras nunca pasan por el asunto en cuestión. Pero hay dos descomposiciones positivas de matrices positivas bien conocidas de todos. La primera es esta: $X=IX$, donde $X$ es una matriz de dimensión nxm e $I$ es la cosa más parecida a la matriz identidad de dicha dimensión. No aporta gran cosa. En particular, no compresión y no comprensión de la estructura de la matriz. ...

16 de julio de 2014 · Carlos J. Gil Bellosta

El Partido de la Media Ponderada

Hoy he hecho limpieza de mi directorio de descargas. En él he encontrado unos cuantos PDFs de Eurostat, las habituales notas de prensa que resumen indicadores europeos por país (p.e., este o este). Hojeando unos cuantos por encima no he podido dejar de advertir la excentricidad de España. Somos casi un outlier, se nos mire por donde se nos mire. Y cuando nos parecemos a algún otro país, es el equivocado. Pensando sobre estas cosas me ha venido a la cabeza una idea sobre la que edificar una carrera política en otra vida: crear el Partido de la Media Ponderada. O el de la Media Ponderada y Windosorizada. Que tendría un único punto programático (y mandato): sea cual sea el asunto entre manos, acudir a Eurostat, bajar la tabla en cuestión, calcular la media (del tipo que sea) y convertir ese numerito en el objetivo de toda política. Más menos épsilon, claro. ...

15 de julio de 2014 · Carlos J. Gil Bellosta