Mala Ciencia

Hoy voy a comentar un artículo muy raro que me ha llegado recientemente y que se titula nada menos que Bayesian Estimation with Informative Priors is Indistinguishable from Data Falsification. Argumenta el artículo alrededor de lo siguiente (que creo que ya sabemos todos: son ejercicios matemáticos básicos de un curso introductorio de probabilidad): Que la inferencia bayesiana con prioris planas (degeneradas, de ser necesario) es equivalente a la inferencia frecuentista. Que para tres ejemplos concretos (binomial, Poisson y normal), de usarse prioris a través de las distribuciones conjugadas, el resultado de la inferencia bayesiana es equivalente a haber añadido datos (problemas de redondeo aparte) a los originales. Luego añade unos experimentos numéricos para dejar constancia de que no se ha equivocado en las cuentas y mostrar que, efectivamente, sustituyendo las letras por números y operando se obtienen los resultados que anuncian las matemáticas con su árido simbolismo. ...

Para un observador externo objetivo, eso que llaman ciencia es un conjunto de tinglados absolutamente intrascendente en para su día a día que opera de acuerdo con un sistema torcido de incentivos orquestados alrededor de una suerte de moneda ficticia que se llama paper que permite acumular avatares de todo tipo. Esa economía ficticia mantiene nexos con la real. Por ejemplo, una acumulación suficiente de papers genera un avatar llamado sexenio que genera euros contantes y sonantes mes a mes en la cuenta corriente de quien lo ostenta. En ocasiones, también, los partícipes de ese enorme Monopoly pagan euros contantes y sonantes a terceros a condición de que estos elaboren papers (o partes significativas de ellos) para poder así firmarlos y canjearlos en el mercado de los avatares. ...

Habréis oído hablar del artículo de la hidroxicloroquina (como tratamiento para el coronavirus). Lo resumo. Se toman 42 pacientes y a 26 se les administra hidroxicloroquina y a 16 no; en concreto: A total of 26 patients received hydroxychloroquine and 16 were control patients. Luego pasan cosas y se llega a que At day6 post-inclusion, 70% of hydroxychloroquine-treated patients were virologicaly cured comparing with 12.5% in the control group (p= 0.001). ...

Las únicas letras que no desmerecen en esta entrada del gráfico anterior son las de la obligada referencia.

Y me refiero a extraído de aquí y lo que escribí ayer sobre la regresión con discontinuidades.

Muy falto de ideas para el blog tendría que estar para traer a la consideración de sus lectores que ilustra el resultado principal del artículo discutido aquí. Mario, un lector del artículo nos quita la palabra de la boca a todos: No he leido [sic] el paper no soy experto en el tema, pero creo que la figura presentada tiene una validez algo cuestionable. Creo que la regresión de discontinuidad es una herramienta muy poco fiable estadísticamente y que introduce un sesgo en la interpretación de los datos. […] ...

Me refiero a los autores de El impacto de Airbnb en el mercado de vivienda de Barcelona, que a partir de datos puramente observacionales y en un artículo de apenas 1500 palabras, mencionan la causalidad siete veces. Además, escriben joyas como [N]uestra investigación se basa en un modelo de econometría lineal (y no de econometría espacial) ya que nuestro objetivo principal es hacer un análisis causal robusto. Ya sabes: si quieres un análisis causal robusto, el modelo lineal (chupatesa, Pearl). ...

Una técnica que, al parecer, es muy del gusto de los economistas es lo del análisis de la discontinuidad. Es como todo lo que tiene que ver con causalImpact pero usando técnicas setenteras (regresiones independientes a ambos lados del punto de corte). Si a eso le sumas que las regresiones pueden ser polinómicas con polinomios de alto grado… pasan dos cosas: Tienes una probabilidad alta de obtener un resultado significativo, i.e., publicable. Pero que se deba solo al ruido producido por el método (corte discreto, inestabilidad polinómica, etc.). Es decir, la habitual chocolatada que algunos llaman ciencia (cierto, algunos dirán que mala ciencia, pero que, ¡ah!, nos cobran al mismo precio que la buena). ...

Hoy escribo brevemente para comentar una herramienta con la que ayudar a pretendidos investigadores a hacer ciencia. Las instrucciones están aquí y la herramienta con la que entrenarse, aquí. ¡Feliz contribución a ese futuro que sin ciencia dizque no será!

Tengo un montón de artículos por ahí guardados que fueron escritos a raíz de la publicación de The ASA’s Statement on p-Values: Context, Process, and Purpose, ya en 2016, que ponía en cuestión el uso indiscriminado y acrítico de los p-valores. Algunos de ellos son este, este, este o este. Asunto que se refiere a y abunda en todo lo que se ha escrito sobre la llamada crisis de replicabilidad, sobre la que también se ha escrito largamente. ...