Han aparecido dos artículos publicados en prensa hoy, en el mismo día:
Tengo más comentarios que hacer que tiempo para escribirlos, así que dejo que cada cual saque su propia conclusión.
Tengo por ahí leído y encolado el artículo League Tables and Their Limitations: Statistical Issues in Comparisons of Institutional Performance del perínclito Spiegelhalter que toma una serie de ránkings (de colegios, de hospitales) y trata de medir cuánto tienen de sustancia y cuánto de ruido.
Hace cosas muy similares a las que escribí aquí. Mi entrada, además, cuenta con la ventaja (que lo será solo para algunos) de usar la sintaxis y código de lme4 en lugar de la nomenclatura que más odio para describir los modelos mixtos utilizados.
Es una pregunta legítima —en el sentido de que ignoro la respuesta— que tengo. Para plantearla en sus debidos términos:
Contexto:
Tenemos modelos y queremos compararlos. Queremos que funcionen en el universo, pero solo disponemos de él una muestra.
Acto 1:
Para desatascar el nudo lógico, recurrimos a técnicas como:
Todas ellas bien sabidas y discutidas en todos los manuales.
Para muchos, el futuro de la llamada ciencia de datos seguirá la estela dejada por
y sus continuadores usando cosas deep. Pero a la vez, sin tanto estruendo y con una mucho menor cobertura mediática, otros están trazando una ruta alternativa que ilustran artículos como Bayes and Big Data: The Consensus Monte Carlo Algorithm (atención todos a lo que hace uno de sus coautores, Steven L. Scott, que convierte en oro todo lo que toca). Como abrebocas, su resumen (con mi subrayado):
suppressWarnings(set.seed(exp(pi * complex(imaginary = 1))))
runif(1)
#[1] 0.4866672
set.seed(-1)
runif(1)
#[1] 0.4866672Coda: ¿De qué si no creéis que iba esto?
Esta entrada viene a cuento de una conversación que tuve el otro día con un economista clásico que me preguntaba mi opinión sobre los métodos del ML aplicados en su disciplina (y no solo en ella). Le causaba cierto desasosiego, muy razonable, el hecho de que le pusieran delante cajas negras que presuntamente, y eso era artículo de fe, predecían ciertos fenómenos macroeconómicos. ¿Qué —decía— si los modelos están recogiendo las correlaciones erróneas? (Y sí, el mundo del ML está plagado de casos de ese tipo; por ejemplo, léase la motivación de Intelligible Models for HealthCare: Predicting Pneumonia Risk and Hospital 30-day Readmission).
Para el normativista (economista o no), lo importante no es como son las cosas sino cómo deberían ser.
En Temporalidad: ¿buenas intenciones con malos resultados? viene a decirse que:
Normativismo at its best. Yo no sé cómo son las cosas. De hecho, siempre espero que gente como los autores del artículo me las expliquen, que describan antes identificar problemas y proponer soluciones. Pero aun sin saber cómo son las cosas, sé cómo son mis cosas.
Nuestro producto aumenta el X de las empresas en un Y%.
¿Cuántas veces hemos oído eso?
Esa afirmación presupone una fe ciega en la posibilidad de aplicar el principio del ceteris paribus en situaciones reales. Pues lo siento: el ceteris paribus es un concepto irreal, una aspiración a la que la realidad de las cosas se opone tozudamente.
¿Y Heráclito? Heráclito nos observa desde donde esté y se fuma un puro.
Uno de mis proyectos permanentemente pospuestos es el del análisis de textos muy cortos. Se citarán Twitter y similares, aunque el € está en otros sitios, como los mensajes asociados a transferencias bancarias, reseñas o keywords.
Pero parece que no soy el único interesado en el tema. Otros con más tiempo y talento han desarrollado BTM, que parece ser una versión modificada de LDA para el análisis de textos cortos.
El artículo en el que está basado el paquete también es una buena referencia de técnicas y trucos cuando toca analizar este tipo de conjuntos de datos.
La nota de prensa que acompaña a los resultados definitivos de la EES de 2014 reza:
El salario bruto medio anual fue de 22.858,17 euros por trabajador en el año 2014, un 0,7% superior al del año anterior.
Para poder replicar esa cifra y poder comparar manzanas con manzanas hay que preprocesar los datos crudos de la EES así:
library(MicroDatosEs)
dat <- ees2010("md_EES_2014.txt")
# Días año
dat$DIASRELABA <- dat$DRELABAM * 30.42 +
dat$DRELABAD
dat$DIASRELABA[dat$DIASRELABA > 365]<- 365
dat$DIASANO <- dat$DIASRELABA -
dat$DSIESPA2 - dat$DSIESPA4
# Salario bruto anual
dat$SALANUAL = (365/dat$DIASANO) *
(dat$SALBRUTO + dat$VESP)Ahora sí que se puede definir, por ejemplo,
Quieres saber dónde está el escorpión,
Ni ayer ni antes vos sos corona dorada.
Ya os ves más tal cual tortuga pintada,
A él nos gusta andar con cola marrón.
Ella es quién son las alas de algún gorrión.
Si al fin podés ver tu imagen manchada,
O hoy vas bajo un cielo azul plateada,
Por qué estás tan lejos del aguijón.
No hay luz que al sol se enreda en tus palmera.
En una circunscripción un partido obtiene $latex N$ votos. Si manda al congreso $latex n$ diputados, cada uno de ellos representaría a $latex N/n$ votantes.
En una circunscripción, una serie de partidos obtienen $latex N_i$ votos. Los primeros $latex j$ diputados del partido $latex i$ representarían a $latex N_i / j$ votantes.
Si la circunscripción manda al parlamento a $latex n$ diputados, tiene sentido enviar a aquellos que representan a más votantes. Si das la regla por buena, enhorabuena, estás usando el sistema d’Hondt.
En Circiter estamos negociando con unos clientes potenciales acerca de, tal como nos dijeron inicialmente, construir un modelo. Todo bien.
En la última reunión surgió la pregunta (¡qué vergüenza por mi parte no haberla planteado mucho antes!): ¿cómo habría que usarlo para dar soporte al negocio? La discusión subsiguiente dejó claro que habría que cambiar sustancialmente la aproximación al modelo. Por ejemplo:
En definitiva, la necesidad de uso cambiaba la estrategia de modelación de arriba a abajo.
