¿Casi todos los resultados científicos que se publican son falsos?
La falsabilidad es una exigencia de la ciencia que la distinguen, por ejemplo, de la seudociencia. Todo enunciado de valor científico tiene que ser potencialmente refutable. Los resultados científicos, de alguna manera, no son tanto ciertos como refutables y no refutados.
El trabajo de los científicos consiste en dar con enunciados refutables lo más difíciles posible de refutar. Piénsese en la ley de gravitación universal de Newton: sin ser cierta, estuvo en pie durante siglos.
Así las cosas, no sorprenderá (manténganse las ciencias no experimentales, como las matemáticas, al margen) el título de este influyente artículo de John P. A. Ioannidis: Why Most Published Research Findings Are False. Es tan interesante que espero volver a él en otra ocasión.
En el artículo The truth wears off: Is there something wrong with the scientific method? se estudia un fenómeno intrigante: el de los llamados efectos declinantes. Ilustra este fenómeno a través de cinco ejemplos:
- Los antisicóticos atípicos o de segunda generación, mucho más caros que los de la primera, que no parecen haber alcanzado una efectividad superior a ellos tras unos primeros estudios que indicaban lo contrario.
- La teoría del verbal overshadowing, basada en experimentos que ni siquiera el responsable de la teoría, Jonathan Schooler pudo replicar más tarde.
- El caso de la percepción extrasensorial, estudiado por Joseph Banks Rhine en la Universidad de Duke en los años 30. Aunque no se considere ciencia propiamente, el fenómeno sí que se estudió con métodos científicos, convirtiéndose en un caso paradigmático de efecto declinante y de estudios que no pudieron ser luego replicados. Su mención en el artículo parece casi un desafío a los científicos: ¿no seréis como ellos?
- Los resultados del zoólogo danés Anders Moller sobre el efecto de la simetría del cuerpo de los machos en las preferencias sexuales de las hembras de ciertas especies: aparentementemente, las hembras prefieren machos simétricos por considerar esta propiedad relacionada con la calidad genética. Tras una explosión de resultados positivos extrapolándolos a más y más especies, unos cuantos años después comenzaron a abundar los casos negativos; además, el tamaño del efecto en las réplicas de los experimentos comenzaron a decrecer inexplicablemente.
- Incluso los neutrones en decaimiento parecen comportarse en 2001 de manera distinta de como lo hacían en 1969.
En todos ellos, después de los promisorios resultados de los pioneros, los efectos observados en experimentos confirmatorios posteriores fueron decayendo en tamaño. En algunos casos el efecto se volvió prácticamente nulos.
El autor del artículo encuentra y discute una serie de motivos para que esto ocurre, terminando su artículo con una desasosegante conclusión (mi traducción):
El efecto declinante es problemático porque hace patente lo difícil que es probar cualquier cosa. Nos gusta pensar que nuestros experimentos definen qué es verdad. Pero frecuentemente no es así. El que una idea sea cierta no significa necesariamente que pueda ser probada. Y el que pueda ser probada no implica que sea cierta. Tras los experimentos todavía tenemos que decidir qué creer.