Estadística

Tras leer el otro día Visualizando la matriz de acuerdo legislativo, pensé que esta bitácora no podía quedarse atrás. Casi desisto. Pero cerrando ya casi el navegador vi que en la página de las votaciones del Congreso de los Diputados había dos enlaces aprovechables: en uno ponía XML y en el otro, “histórico”. He aquí pues el código concomitante que fue apareciendo en mi sesión de RStudio: library(XML) library(reshape) library(corrgram) library(psych) # descarga y manipulación de datos dia.votacion <- function( n.votacion ){ dir.create("tmp") url <- paste( "http://www.congreso.es/votaciones/OpenData?sesion=", n.votacion, "&completa=1&legislatura=10", sep = "" ) download.file(url, destfile = "./tmp/votos.zip") try(unzip("./tmp/votos.zip", exdir = "./tmp"), TRUE) ficheros <- dir("./tmp", pattern = ".*xml", full.names = T ) if ( length(ficheros ) == 0) return(NULL) res <- sapply(ficheros, function(fichero){ datos <- xmlTreeParse(fichero) datos <- xmlToList(datos)$Votaciones if( is.null(datos) ) return(NULL) datos <- as.data.frame(t(datos)) datos <- as.data.frame(lapply( datos, unlist)) }, simplify = F ) unlink( "./tmp", recursive = T) # borra el directorio temporal res } res <- list() for ( i in 1:54 ) res <- c( res, dia.votacion(i) ) # la 32, 33 está trucha for ( i in 34:54 ) res <- c( res, dia.votacion(i) ) Con él se pueden bajar unas docenas de ficheros XML correspondientes a ciertos plenos de la X Legislatura, procesarlos mínimamente y guardarlos en la lista res. No estoy seguro de la profundidad histórica de los datos (aparentemente,solo están disponibles los del 2012, aunque la X Legislatura arrancó, creo, antes). Además, falla la descarga de los ficheros correspondientes a las sesiones 32 y 33. Ese es el motivo por el que he tenido que recurrir a for, como los gañanes, en lugar de utiliza sapply, como era mi natural inclinación. ...

He estado buscando estos días material relacionado con algo que se ha dado en llamar estadística moderna, que enfatiza el cálculo (asistido por ordenador) y la simulación a la hora de afrontar problemas estadísticos. La estadística clásica, por el contrario, tiende a hacer uso de hipótesis acerca de la distribución de los datos y a utilizar mecanismos más analíticos. La estadística moderna es moderna porque los ordenadores que la hicieron posible llegaron antes que la teoría subyacente a la teoría clásica. ...

Estoy limpiando mi cartera y antes de mandar unos cuantos legajos al archivador (o al contenedor de reciclaje) quiero dejar nota de sus contenidos para referencia mía y, quién sabe, si inspiración de otros. El primer artículo es Tackling the Poor Assumptions of Naive Bayes Text Classifiers. Tiene esencialmente dos partes. La primera analiza críticamente el método de clasificación bayesiano ingenuo (naive Bayes) en el contexto de la minería de textos identificando una serie de deficiencias. En la segunda parte, los autores proponen una serie de modificaciones ad hoc para crear un algoritmo de clasificación mejorado. ...

Llevo unos días mostrando bastante poca diligencia en lo que a mi bitácora concierne. El calor con el que agosto ha maltratado los montes también ha contribuido a disipar mis ideas. También a enflaquecer la ya de por sí no muy robusta voluntad. Y como todavía no ando recuperado del todo, voy a aprovechar el estupendo trabajo previo de Gregorio Serrano (y véase también este otro relacionado con el anterior) para facilitar a mis lectores una tarea en la que como ciudadanos probos es probable que estén interesados y que, tal vez sin mi concurso, resultaría excesivamente enojosa. ...

Eso he visto que se preguntaban algunos en Twitter estos días. Lo particular del caso es que, a diferencia de muchos otros ministros que tenemos y hemos tenido (salvo algunas notables excepciones, como Borrell), el ministro Wert tiene una relativamente extensa colección de artículos publicados. De entre todos ellos, destaco el ahora relevantísimo La sociedad civil ante el gasto público escrito por él hace ya once años, mucho antes de que pudiese siquiera imaginar encontrarse algún día en su actual coyuntura. En este trabajo se plantea con datos del CIS en mano, ...

Publicaba el otro día El Correo cómo Las mujeres vascas son las más longevas de Europa. El artículo, realmente chirriante, mereció la réplica de Josu Mezo en Malaprensa. Vaya por delante —y es lo menos importante de todo— que el titular es un puro abuso del lenguaje: las mujeres más longevas de Europa son, exactamente, las más longevas de Europa: algunas ancianitas centenarias que vivirán cada una en su casa. Incluso puede que alguna de ellas resida en el País Vasco. Pero concedo que el periodista quiso decir que las vascas son las mujeres con mayor esperanza de vida. ...

David Cabo me hizo llegar el otro día este artículo, To what degree is the ECB flying blind? Y con buen criterio, porque, como veremos, toca temas ya conocidos de los lectores de estas páginas. El artículo se resume en lo siguiente: si un día el Banco Central Europeo va a sumar a sus funciones la de la supervisión bancaria, va a encontrarse los dos problemas siguientes: La confidencialidad de los datos Sus niveles de desglose (y agregación) Son dos problemas, además, interrelacionados. Por un lado, la supervisión bancaria exige un conocimiento íntimo de la cartera crediticia de las entidades. De hecho, son lo que el columnista llama tail risks, riesgos grandes que afectan a un número pequeño de préstamos, los que pueden tumbar al banco más pintado (véase esto y esto otro). Y estos riesgos en la cola quedan opacados tras las agregaciones. ...

Imagina que trabajas en lo que Ionnidis, en su artículo Why Most Published Research Findings Are False, llama un null field; es decir, un área de investigación (tipo homeopatía o percepción extrasensorial) en la que no hay resultados ciertos, en la que las relaciones causa-efecto no pasan de ser presuntas. O tienes un conjunto de datos en un campo no nulo pero que, por algún motivo, no recoge las variables necesarias para explicar un cierto fenómeno. ...

Hoy traigo a colación dos artículos que dicen, en esencia, lo contrario. El primero, No Adjustments Are Needed for Multiple Comparisons dice… lo que su título indica. Su resumen plantea el asunto un tanto menos sucintamente: Se recomienda realizar ajustes al realizar múltiples tests sobre grandes conjuntos de datos para evitar rechazar la hipótesis nula demasiado fácilmente. Desafortunadamente, al reducir el error de tipo I se incrementa el error de tipo II. La hipótesis subyacente para realizar el ajuste es la de la hipótesis nula universal, según la cual, el azar es la explicación primera para todo fenómeno. Esta hipótesis está en contradicción con las premisas básicas de la investigación empírica, según la cual la naturaleza obedece leyes regulares que pueden ser estudiadas a través de su observación. Es preferible no aplicar ajustes al realizar múltiples tests porque da lugar a menos errores de interpretación cuando los datos no son números aleatorios sino observaciones extraídas de fenómenos naturales. Además, los científicos no deberían rehuir la exploración de hipótesis que pueden resultar ser falsas dada la posibilidad de no advertir fenómenos potencialmente importantes. ...

Quienes siguen de antiguo estas páginas recordarán que ya me ocupé de la cuestión de los incendios forestales hace un tiempo. Después han pasado cosas. Por un lado, vía Alberto González Paje di con esta página, que utiliza datos del informe estadístico que publica el Ministerio de Medio Ambiente (y de otras cosas más, según la legislatura en cuestión). También asistí hace un tiempo a una reunión de MediaLab Prado en la que Juan Elosúa nos contó cómo había conseguido acceso a la base de datos completa de incendios del Ministerio a fuerza de insistir y amparado por ciertas normas que garantizan el derecho de los ciudadanos a cualquier tipo de información de tipo medioambiental. Nos mostró, además, algunas visualizaciones que había hecho con ellos. ...