Los códigos postales, por ejemplo, son un problema a la hora de crear modelos predictivos: son variables categóricas con demasiados niveles. Así, por ejemplo, los bosques aleatorios de R solo admiten variables categóricas con no más de 32 niveles. Hay trucos de todo tipo para mitigar el problema. Hace un año, Jorge Ayuso me puso sobre la pista de uno de los que tiene más recorrido. Consiste en [su versión más simplificada en]: ...
En el año 2013 hubo 54 muertes de mujeres por violencia de género. Eso da una tasa nacional de poco más de dos por millón (de mujeres). El Mundo nos lo ha querido mostrar su distribución provincial así: Diríase que la tasa palentina es enorme, cinco veces la nacional. Pero en Palencia viven del orden de cien mil mujeres y hubo un único caso en 2013 (además, ni la mujer ni el agresor, se ve, eran de la provincia sino de un pueblo limítrofe de Cantabria; solo que el cadáver apareció en al sur de la linde). ...
Hacía tiempo que no hablaba de este tema. Pero han salido de mi LIFO de artículos potencialmente interesantes dos a los que merece la pena echar un ojo. El primero, este, arranca con Los organismos estadísticos gubernamentales suelen publicar los estimdores puntuales de las estadísticas económicas oficiales. La documentación metodológica de dichos organismos puede hacer constar que estas estimaciones están sujetas a incertidumbre, pero no suelen cuantificarla. Las notas de prensa raramente discuten el error potencial. ...
Esto es, según Andrew Gelman, la correlación entre dos variables en una muestra ni siquiera implica su “correlación” (entre comillas, por distinguirlas) en la población de interés. El enlace anterior también discute otras variantes del archiconocido “la correlación no implica causalidad”, tales como la causalidad está correlacionada con la correlación, la falta de correlación está correlacionada con la falta de causalidad, etc. que, si yo fuera tú, me apresuraría a consultar en el enlace anterior. ...
Cayó en mis manos que son los resultados de una encuesta en la que la misma pregunta (en puridad, una pregunta sobre una cuestión global y otra sobre un asunto particular de la anterior) reciben respuestas manifiestamente contrarias y contradictorias por parte de una muestra del ostentador de la soberanía. Lo cual me recordó que hacía tiempo había dado con https://www.youtube.com/watch?v=G0ZZJXw4MTA extraído de Yes, Minister y que en inglés no subtitulado ilustra muy amenamente los efectos que sobre el público tiene la manera en que se plantean las cuestiones.
Como no tengo tiempo, voy a publicar una chorrada. Voy a coger unos datos que encuentre por ahí, voy a tomar alguna variable, voy a pintarla (en un mapa, si puede ser) y luego voy a construir una narrativa. Espero que no os deis cuenta y me lo creáis todo. Comienzo. Los datos del World Values Survey (aquí podéis obtenerlos) son mú importantes y mú guays. De todas las variables que contiene, voy a extraer una, la variable mú importante (VMI). ...
Esta entrada viene a cuento de una pregunta en r-help-es con, por referencia, este contexto: Tengo un dataset con 4505 observaciones en el que la variable dependiente son presencias (n=97 y clasificadas como 1) y ausencias (n=4408 y clasificadas como 0). Y la cuestión tiene que ver con la conveniencia de utilizar una muestra equilibrada o no de los datos al ajustar una regresión logística y si procede o no utilizar pesos. ...
¿Os acordáis de lo de las proyecciones de población a largo plazo del INE? Atentos a lo que dice el instituto sobre ellas aquí (en la sección de acuracidad): La elaboración de esta operación no está basada en una estimación estocástica de la evolución demográfica futura. En rigor, sus resultados no deben considerarse como una estimación del futuro, ni siquiera como una previsión. No cabe, por tanto, hablar de precisión o acuracidad de los mismos. ...
Supongamos que los habitantes de un país tienen una probabilidad determinada (y no necesariamente igual) $p_i$ de comprar un determinado producto. Supongamos que se lanza una campaña publicitaria que incrementa en una cantidad fija $\epsilon$, p.e., 5%, esa probabilidad. Supongamos, finalmente, que se trata de una cantidad que se desea estimar. Unos individuos reciben la campaña publicitaria. Otros no. ¿Cuál es la diferencia entre las proporciones de individuos que compran el producto en uno y otro grupo? ¿$\epsilon$? ¿Es esa nuestra mejor estimación? ...
No sé si visteis el vídeo que colgué el otro día. Trataba el problema de determinar si dos poblaciones beer <- c(27, 20, 21, 26, 27, 31, 24, 21, 20, 19, 23, 24, 18, 19, 24, 29, 18, 20, 17, 31, 20, 25, 28, 21, 27) water <- c(21, 22, 15, 12, 21, 16, 19, 15, 22, 24, 19, 23, 13, 22, 20, 24, 18, 20) tienen o no la misma media. Más concretamente, si la población beer tiene una media superior a la de water como en efecto sucede: mean(beer) #[1] 23.2 mean(water) #[1] 19.22222 ¿Pero es esta diferencia significativa? Muchos plantearían un t-test: t.test(beer, water, alternative = "greater") # Welch Two Sample t-test # # data: beer and water # t = 3.3086, df = 39.271, p-value = 0.001007 # alternative hypothesis: true difference in means is greater than 0 # 95 percent confidence interval: # 1.952483 Inf # sample estimates: # mean of x mean of y # 23.20000 19.22222 Pero en el vídeo se propone una alternativa basada en remuestreos: ...