Estadística

Hace unos meses escribí una entrada en defensa (parcial) de una regresión lineal con una R² pequeña. He vuelto a pensar sobre ella y retomo la discusión para esclarecer —sobre todo, para profanos— qué mide la R² y cómo interpretarla según el contexto.

Comienzo por un experimento físico mental. En un laboratorio se realiza un experimento para medir la relación entre dos magnitudes físicas, un efecto $latex y$ y una causa $latex x$. La teoría especifica una relación del tipo $y = a + b x$ y experimentalmente (y en condiciones de laboratorio ideales) se obtienen una serie de datos $latex (x_i, y_i)$. La relación entre ambos es de la consabida forma

No sé desde cuándo tengo abierta en una pestaña del navegador la página del operacionalismo de la Enciclopedia de Filosofía de Stanford. Porque aunque se trate de un cadáver filosófico desde hace más de ochenta años, goza —como ponen en evidencia ciertos acontecimientos recientes— de la más envidiable salud en algunos círculos.

Según el operacionalismo, los conceptos teóricos de la ciencia se agotan en aquellas operaciones que utilizamos para medirlos. ¿La temperatura? Es lo que marca un termómetro. ¿La inteligencia? El resultado de un determinado test. Etc.

Escribí el otro día sobre los llamados momentos Le Verrier. Que, siguiendo la nomenclatura de Why ask why? Forward causal inference and reverse causal questions no son otra cosa que ejercicios de causalidad inversa con final feliz.

Efectivamente, según el artículo, las cuestiones de índole causal son de dos tipos: prospectivas y retrospectivas (o inversas), en una traducción muy libre. Las primeras, más habituales, se refieren a cuáles serán los efectos de una causa. ¿Qué pasará si aumento mi presupuesto de publicidad? ¿Qué pasará con la temperatura de un dispositivo si aumento la potencia? Etc. Son preguntas a las que responden los modelos, sea a través del estudio de una serie de coeficientes, realizando predicciones, etc.

Ayer estuve disfrutando como un enano leyendo On the Mathematical Foundations of Theoretical Statistics del nunca suficientemente encarecido Sir Ronald Fisher. Y me fijé que fue publicado en 1922. En él se cita —y nada elogiosamente, hay que decirlo— el A Treatise on Probability de Keynes, que fue, a su vez, publicado en 1921.

Aquellas cosas que constituyen el temario de las oposiciones al INE se estaban escribiendo hace cien años. Solo que de una manera muy amena, con pullas, con reconocimientos explícitos de que, bueno, se hacen las cosas así porque no tenemos potencial de cálculo suficiente para hacerlas de otra manera —esas cosas que hoy hacemos como en 1922 no porque ya no podamos hacerlas de otra manera sino porque se dejaron así escritas entonces—, que usamos tales distribuciones y no otras porque están tabuladas, etc.

Son muy infrecuentes, lo admito. Pero cuando ocurren, le dan a uno ganas de poner los pies encima la mesa y fumarse un puro.

¿Qué son? Imagina que te pasan unos datos con el objetivo de realizar determinadas predicciones. Creas un modelo razonable —hasta bueno, dirías—, basado en primeros principios y que funciona bastante bien… excepto en unos cuantos casos irreductibles (sí, como aquellos galos de su aldea). Compruebas el modelo una y mil veces y no le ves problemas significativos; revisas los datos de nuevo, especialmente en esos casos en los que el modelo falla, y parecen tener sentido.

No suelo recomendar cursos de estadística de otros en estas páginas, pero haré una excepción con el de Antonio José Pou y Ordinas por varias razones, siendo la de más peso entre todas ellas que fue publicado en 1889.

Puede consultarse aquí.

He publicado esto en Youtube:

Igual no lo debería haber hecho. Trata del manido tema “alguien ha publicado un artículo científico con serios errores metodológicos”. Que es una versión del más popular

(No hace falta que indique la fuente, ¿verdad? Sabéis que sé que sabéis de dónde lo he sacado, ¿no?)

El vídeo es

y abunda sobre el archiconocido correlación no implica causalidad. El artículo de Chris Anderson que se menciona es_ The End of Theory_.

Este vídeo está motivado por un comentario muy entrañable y fácil de pasar por alto que me llamó la atención en este artículo de ElDiario.es. En el fondo, los autores, se dan cuenta de que pueden estar incurriendo en la falacia ecológica, término que dudo que conozcan siquiera, y admirablemente, se percatan de que pisan terreno pantanoso y se curan en salud.

Eso me conduce a reflexionar sobre cómo y cuándo se conformó esa ideología (¿o liturgia?) de lo cuantitativo sobre la que no quiero decir nada más que lo que cuento en el vídeo:

Esta entrada abunda sobre una de la semana pasada sobre el llamado efecto Roseto. El Cournot al que alude el titulo es el Cournot famoso (1801-1877) al que, a pesar de ser más conocido por sus aportaciones a la economía, debemos una Exposition de la théorie des chances et des probabilités de 1843.

En su párrafo 114 critica explícitamente el tipo de conclusiones a las que llegan los descuidados exégetas del asunto Roseto y que Stigler comenta así:

La respuesta es sí. Al menos, si haces caso a las principales cuñadofuentes que puedes encontrar buscando en Google sobre el asunto o el cuñadolibro que critiqué el otro día (y que, dicho sea de paso, ilustra el nivel de los sujetos a los que encomendamos la educación de las futuras generaciones patrias).

Pero la respuesta es no. Un estudio de esas características tiene un serio riesgo de selección —efectivamente, para ganar un Óscar tienes que haber sobrevivido lo suficiente— que el primer y descuidado estudio sobre el asunto no tuvo la precaución de corregir.

Escribí ya hace tiempo (aquí):

Relata lo ocurrido en un pueblo inglés en el que una noche, unos vecinos (presuntamente), descendientes sin duda de aquellos campesinos búlgaros que huían de la vacuna, echaron abajo una antena de telefonía móvil que tenía al pueblo en vilo (la historia, aquí). Porque, resulta, alrededor de ella se habían dado recientemente n casos de cáncer: aquello era un clúster de cáncer. Y puestos a buscar culpables, ¿por qué no el electromagnetismo?

Esta semana he descubierto el PCA robusto. En la frase anterior he conjugado el verbo en cursiva porque lo he pretendido usar con un significado que matiza el habitual: no es que haya tropezado con él fortuitamente, sino que el PCA robusto forma parte de esa inmensa masa de conocimiento estadístico que ignoro pero que, llegado el caso, con un par de clicks, una lectura en diagonal y la descarga del software adecuado, puedo incorporarlo y usarlo a voluntad.