Estadística

Debiera comenzar asumiendo y reconociendo mis deficiencias pedagógicas a la hora de elegir y presentar el problema sobre la media de la semana pasada. Espero que quienes hicieron comentarios al respecto —y quienes los pensaron sin escribirlos— no reciban esta entrada con el “buuuuu” que tal vez merezco.

El problema de la media es más bien un problema con la media. No es en él tan interesante la solución —y nadie debería pensar que en estas páginas planteamos problemas rancios como aquellos sobre cuadernos, lapiceros y pesetas con que entretuvimos alguna tarde de la infancia— como su discusión.

Como esta semana se me están agotando las ideas antes que los días de blog, en lugar de discurrir una entrada, propongo un problema para que sean mis lectores quienes lo hagan por mí.

Que se imaginen dueños de un pozo petrolífero cuyos costes de explotación son de 75 dpb (dólares por barril). El precio del petróleo no es fijo: puede tomar aleatoriamente los valores 50, 100 o 150 dpb, aunque se sabe que todos son equiprobables.

Sin ir más lejos, cojamos el primer ejemplo que aparece en ?ls, es decir,

ctl <- c(4.17,5.58,5.18,6.11,4.50,4.61,5.17,4.53,5.33,5.14)
trt <- c(4.81,4.17,4.41,3.59,5.87,3.83,6.03,4.89,4.32,4.69)
group <- gl(2,10,20, labels=c("Ctl","Trt"))
weight <- c(ctl, trt)
lm.D9 <- lm(weight ~ group)
summary( lm.D9 )

y hagamos

cor( weight, predict( lm.D9 ) )**2

¿Qué obtenemos? Precisamente la R2 del modelo lm.D9. Esta relación abre la puerta a varias extensiones de esta medida de la bondad de ajuste a contextos en los que las expresiones suma de cuadrados de… carecen de sentido.

Recomiendo encarecidamente la lectura del artículo Judgment under Uncertainty: Heuristics and Biases de D. Kahneman y A. Tversky. En pocas palabras, trata sobre dos cosas:

• los atajos mentales que utiliza el ser humano para asociar probabilidades subjetivas a eventos y, sobre todo,
• los sesgos y errores a los que conducen dichos atajos.

A través de una serie de experimentos, los autores revelan cómo individuos —incluso con una sólida formación cuantitativa— yerran sistemáticamente al enfrentarse con determinado tipo de problemas.

Distinguir adecuadamente causalidad de asociación es un tema sobre el que se han vertido ríos de tinta. Parte de la formación de un estadístico consiste en reconfigurar su arquitectura neuronal de manera que sienta infinito recelo ante proclamas de causalidad de una manera tan instintiva como la del perro de Paulov.

Esta cautela es sin duda necesaria y ha liberado al mundo de infinidad de resultados espurios. Sin embargo, ha incrementado notablemente los que podríamos llamar errores de tipo II.

¿Qué tienen que ver minería de datos y estadística? Podría opinar personalmente sobre el asunto, pero serviré en esta ocasión de pregonero de las ideas que Jerome H. Friedman dejó escritas al respecto. Aunque el artículo tiene ya sus casi quince años, las ideas que contiene están todavía en plena vigencia.

Comienza el artículo Friedman con un ejercicio irónico acerca de la fiebre del oro que generó (y sigue generando muchos años después) esa disciplina que se dio en llamar minería de datos. Así, se plantea hasta qué punto se trata más de una actividad comercial que propiamente académica; y al respecto comenta cómo, al igual que en casi todas las fiebres del oro que han existido la verdadera rentabilidad está en mining the miners. En plata, sacarles la ídem a los mineros; en particular, vendiéndoles herramientas taumatúrgicas a precios aúricos.

Los pocos usuarios de SAS que lo utilizan para hacer propiamente estadística con él cuentan con un chuletario muy útil que relaciona temas de estadística con funciones, código y documentación relativa al asunto (dentro del universo SAS, por supuesto). Por ejemplo, para el llamado Bivariate Tobit model remite al procedimiento SAS/ETS PROC QLIM.

¿Conocerá alguno de mis lectores un recurso similar para R? Más aún, ¿se animaría alguno a emprenderlo?

En navegaciones sin rumbo por internet di con una asociación con un proyecto muy prometedor, Pro Bono Público. Aunque no he tenido la ocasión —todavía— de contactar con ellos, creo que los lectores de esta bitácora compartirán conmigo el interés por esta iniciativa.

Además, aquellos de mis lectores que tengan más tiempo y arte que yo —y estoy pensando en concreto en una muy fiel seguidora que tiene buena mano para estas cosas— puede que quieran participar en el Desafío Abredatos 2011, que se celebrará próximamente bajo su patrocinio.

Se ha hablado mucho de la avalancha de la información, de la web semántica, del gobierno abierto, del acceso libre a los datos, de compartirlos, etc. Pero a la hora de la verdad, ¿dónde puedo obtener los datos que necesito aquí y ahora para un fin concreto?

La respuesta no es sencilla. Por supuesto, tienes los buscadores. Hay información que uno sabe que consta en el INE o tal vez en las páginas de un determinado ministerio u organismo público. Tal vez puedes llamar a ese amigo tuyo que tal vez lo sepa.

Hace tiempo, mucho ya, decidí que no me interesaba desarrollar una carrera dentro de la academia. Pesó en la decisión el hecho de que entre las cosas punteras, entre el estado del arte a cuyo progreso se dedican nuestras universidades y lo que de ellas absorbe la sociedad (léase: empresas, instituciones oficiales, la prensa, el vulgo) mediaba una extensa tierra de nadie en la que poder plantar mi alegórica tienda.