Mala Ciencia

[Una entrada más bien especulativa acerca de esbozos de ideas ocurridas durante un paseo vespertino por Madrid y que apunto aquí por no tener una servilleta a mano.]

El artítulo War, Socialism and the Rise of Fascism: An Empirical Exploration me ha hecho volver a reflexionar sobre el asunto de la causalidad (al que, además, debo un apartado en siempre inacabado libro de estadística para los mal llamados científicos de datos).

Voy a guardar el extracto

de The Art of Statitstics para usarlo con la misma malísima baba que su autor en coyunturas tales como esta:

Recordad las sabias palabras de Spiegelhalter: https://t.co/mne7xhMN3W pic.twitter.com/x8YZxiMvgp

— Carlos Gil Bellosta (@gilbellosta) September 30, 2020

[Iba a guardar un enlace a este artículo entre mis notas, pero, qué demonios, lo dejo aquí, público, porque así lo encuentro yo y lo encontramos todos.]

¿Qué pasa/puede llegar a pasar si muchos científicos de datos analizan los mismos datos en busca de una respuesta a la misma cuestión? Una de las posibles respuestas está en Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results. Y por evitaros un click,

El otro día, una remesa de nuevos datos rompió un modelo (no mío) en producción. El modelo suponía que la forma de los datos era muy concreta y estos se rebelaron.

Un amigo me preguntó por qué se usaba un modelo paramétrico tan simple. El motivo no es otro que la búsqueda de hechos estilizados, resúmenes a muy alto nivel de la realidad que quepan y queden bien en un tuit. Aunque luego, su parecido con la realidad sea nulo.

No he podido evitar darle vueltas al artículo que comenté el otro día aquí, Bayesian Estimation with Informative Priors is Indistinguishable from Data Falsification, de la manera más caritativa posible. En particular, me he preguntado:

• ¿Por qué se escribió (en lugar de no haberse escrito)?
• ¿Por qué se escribió en esos términos (en lugar de en otros)?

Obviamente, el artículo no enseña nada desde el punto de vista técnico. Desde el metodológico, tampoco: recuerda más que a otra cosa, a esos físicos que muchos años después aún despotricaban contra la teoría de la relatividad.

Viene a cuenta de este tuit,

Desde el @CSIC, Diego Ramiro sugiere que la producción de estadísticas de salud recaiga en un organismo especializado similar al INE: “Centrado en la producción y no en la investigación, lo que agilizaría que los datos estén disponibles”.
https://t.co/mB0axlvMbz vía @el_pais

— Demografía (CSIC) (@Demografia_CSIC) July 11, 2020

que hace referencia a este parrafito en el artículo enlazado:

Quizás lo más grave es que el acceso a los datos está siendo restringido incluso entre científicos. “Desde el principio solicitamos información desagregada por municipio y franjas de edad al Instituto Carlos III —explica Manrubia—. Recibimos la respuesta de que se estaban revisando y que pronto se harían públicos. Todavía no lo son. La opacidad en los datos sonaba a ocultismo”. También Diego Ramiro, del Instituto de Economía, Geografía y Demografía del CSIC, describe una experiencia similar después de haber solicitado datos al ISCIII sin éxito: “No podrán dar respuesta por el poco personal que tienen”.

Hoy voy a comentar un artículo muy raro que me ha llegado recientemente y que se titula nada menos que Bayesian Estimation with Informative Priors is Indistinguishable from Data Falsification.

Argumenta el artículo alrededor de lo siguiente (que creo que ya sabemos todos: son ejercicios matemáticos básicos de un curso introductorio de probabilidad):

• Que la inferencia bayesiana con prioris planas (degeneradas, de ser necesario) es equivalente a la inferencia frecuentista.
• Que para tres ejemplos concretos (binomial, Poisson y normal), de usarse prioris a través de las distribuciones conjugadas, el resultado de la inferencia bayesiana es equivalente a haber añadido datos (problemas de redondeo aparte) a los originales.

Luego añade unos experimentos numéricos para dejar constancia de que no se ha equivocado en las cuentas y mostrar que, efectivamente, sustituyendo las letras por números y operando se obtienen los resultados que anuncian las matemáticas con su árido simbolismo.

Para un observador externo objetivo, eso que llaman ciencia es un conjunto de tinglados absolutamente intrascendente en para su día a día que opera de acuerdo con un sistema torcido de incentivos orquestados alrededor de una suerte de moneda ficticia que se llama paper que permite acumular avatares de todo tipo.

Esa economía ficticia mantiene nexos con la real. Por ejemplo, una acumulación suficiente de papers genera un avatar llamado sexenio que genera euros contantes y sonantes mes a mes en la cuenta corriente de quien lo ostenta. En ocasiones, también, los partícipes de ese enorme Monopoly pagan euros contantes y sonantes a terceros a condición de que estos elaboren papers (o partes significativas de ellos) para poder así firmarlos y canjearlos en el mercado de los avatares.

Habréis oído hablar del artículo de la hidroxicloroquina (como tratamiento para el coronavirus). Lo resumo.

Se toman 42 pacientes y a 26 se les administra hidroxicloroquina y a 16 no; en concreto:

A total of 26 patients received hydroxychloroquine and 16 were control patients.

Luego pasan cosas y se llega a que

At day6 post-inclusion, 70% of hydroxychloroquine-treated patients were virologicaly cured comparing with 12.5% in the control group (p= 0.001).

Las únicas letras que no desmerecen en esta entrada del gráfico anterior son las de la obligada referencia.

Y me refiero a

extraído de aquí y lo que escribí ayer sobre la regresión con discontinuidades.

Muy falto de ideas para el blog tendría que estar para traer a la consideración de sus lectores

que ilustra el resultado principal del artículo discutido aquí.

Mario, un lector del artículo nos quita la palabra de la boca a todos:

No he leido [sic] el paper no soy experto en el tema, pero creo que la figura presentada tiene una validez algo cuestionable. Creo que la regresión de discontinuidad es una herramienta muy poco fiable estadísticamente y que introduce un sesgo en la interpretación de los datos. […]

Me refiero a los autores de El impacto de Airbnb en el mercado de vivienda de Barcelona, que a partir de datos puramente observacionales y en un artículo de apenas 1500 palabras, mencionan la causalidad siete veces. Además, escriben joyas como

[N]uestra investigación se basa en un modelo de econometría lineal (y no de econometría espacial) ya que nuestro objetivo principal es hacer un análisis causal robusto.

Ya sabes: si quieres un análisis causal robusto, el modelo lineal (chupatesa, Pearl).