Estadística

Vaya por delante que: monto y me traslado en bici por Madrid siempre que razonablemente puedo (que son las menos de las veces) siempre uso casco (más que por la improbable protección que pueda darme, por poder reforzar el alegato, en caso de incidente, de que soy un ciudadano responsable) tengo en el cuerpo dos cicatrices de más y otros tantos dientes de menos a resultas de diversos accidentes no tengo tiempo de discurrir cuál sería mi postura sobre la prohibición de circular en bici sin casco: es asunto que no me afecta en absoluto por lo arriba indicado. Sentado lo cual, entro en materia. Y es la del aburridor y artificial debate que se crea siempre que ...

Las circunstancias —frente a las que soy dócil como el que más— me conducen a escribir de nuevo sobre la Ley de Benford. En concreto, voy a traer a la atención de mis lectores una condición suficiente para que se cumpla. Y de ella extraeremos conclusiones tal vez sorprendentes en sucesivas entradas de la serie que con esta inicio. Dado un número (p.e., 1234), lo podemos descomponer en dos: una potencia de 10 y otro entre 0 y 10: ...

Ya es un poco viejo: tiene 12 años. Pero su contenido es de lo más actual. Se trata de un artículo de Cleveland titulado Data Science: An Action Plan for Expanding the Technical Areas of the Field of Statistics que se plantea extender el ámbito de acción de la estadística (tradicional) a nuevas áreas (emergentes entonces) y cuyo objetivo es definir un conjunto de contenidos que deberían conformar el bagaje del analista de datos (hoy lo llamaríamos científico de datos o data scientist). ...

Escribiré hoy sobre las leyes de Benford. Así, en plural. Porque cuando escribí sobre la Ley de Benford hace un tiempo, indiqué cómo la frecuencia de cada primer dígito es decreciente (del 1 al 9) siempre que la función de densidad de la serie de los números que se investigue sea ella misma decreciente. Este resultado trivial bien podría llamarse Ley Débil de Benford. Sin embargo, las probabilidades de ocurrencia de cada dígito dependen de la distribución de la serie, como bien podrá comprobar quien visite esa antigua entrada mía. ...

La gente vota de muchas maneras. A bote pronto, uno diría que lo hace cada cuatro años con papeletas y en medio de la parafernalia de listas cerradas, mítines y similares aditamentos. Pero hay otros que opinan que hay mecanismos alternativos de voto. La gente puede votar en Twitter, por ejemplo. Y algunos conceden a esos votos una relativa potestad para adivinar o, incluso, influir en fenómenos de importancia económica, política o social. ...

Hoy he cogido medio millón de números correspondientes a cuantías de dinero, en diversas monedas y he mirado a ver si cumplían la Ley de Benford utilizando código de Gregorio Serrano (véase también esto). El resultado ha sido donde se aprecia cómo, efectivamente, dichas cifras parecen adecuarse a la Ley de Benford. (Hay que hacer notar, sin embargo, que el test implementado por Gregorio, el de la chi-cuadrado, arroja un p-valor de 2.2e-16, que podría llevar a algunos a cuestionar si lo que ven sus ojos es cierto y a otros a divagar sobre la aplicabilidad de pruebas de este tipo a conjuntos de datos tan grandes). ...

Ben Goldacre es un médico inglés algo friqui. No se conforma con lo que le cuentan los vademécum al uso. Y mucho menos, los visitadores médicos, es decir, los representantes comerciales de las compañías farmacéuticas. Le gusta navegar por la literatura científica y ver qué se ha publicado sobre los diversos tratamientos. E incluso, lo que no ha llegado a publicarse (ya sabéis, el sesgo de publicación). Publicó en 2008 un libro muy recomendable, Bad Science (traducido al español), gracias al cual he venido a enterarme de cuál pudiera haber sido el primer análisis clínico de la historia: ...

¿Por qué usamos p=0.05 como umbral de significancia? ¿Cuáles son los motivos históricos detrás de dicha decisión? ¿Tiene ventajas? ¿Inconvenientes? Quien quiera conocer en qué contexto dijo R.A. Fisher que […] pues, de hecho, ningún investigador científico tiene un nivel de significación fijo según el cual, año tras año y en cualquier circunstancia, rechace hipótesis; más bien, dedica su atención a cada caso particular a la luz de su evidencia y de sus ideas. Además, el cálculo se basa únicamente en una hipótesis que, a la luz de la evidencia, a menudo no se cree en absoluto que sea cierta, de modo que la probabilidad real de una decisión errónea —suponiendo que tal frase tenga algún sentido— puede ser mucho menor que la frecuencia que especifica el nivel de significación. ...

Rob Tibshirani ha seleccionado recientemente una lista de nueve artículos de estadística publicados desde 1970. Son estos: Regression models and life tables (with discussion) (Cox 1972). Según Tibshirani, David Cox merece el Nobel de Medicina por él. Generalized linear models (Nelder and Wedderburn 1972). Es la base del paquete glm de R. Maximum Likelihood from Incomplete Data via the {EM} Algorithm (with discussion) (Dempster, Laird, and Rubin 1977). Bootstrap methods: another look at the jackknife (Efron 1979). Classification and regression trees (Breiman, Friedman, Olshen and Stone 1984). How biased is the error rate of a prediction rule? (Efron 1986). Sampling based approaches to calculating marginal densities (Gelfand and Smith 1990). Controlling the false discovery rate: a practical and powerful approach to multiple testing (Benjamini and Hochberg 1995). A decision-theoretic generalization of online learning and an application to boosting (Freund and Schapire 1995).

Guardaba en la cartera un artículo que ya pronto cumple sus cinco años. Sirve de contrapunto a toda esa literatura que describe la minería de datos como una suerte de panacea, la cómoda senda hacia un futuro de armonía y color. Se trata de una entrevista a Peter Fader sobre a lo que la minería de datos alcanza y no alcanza. Los estadísticos se sienten relativamente cómodos ascendiendo de lo particular a lo general (por ejemplo, calculando una media). En contraposición, la promesa de la minería de datos consiste en la predicción del comportamiento de los individuos, de cada individuo, a partir de modelos construidos sobre repositorios de datos cada vez más extensos y perfiles más detallados de cada sujeto. ...