Reproducibilidad

p-valores y el perro que no ladró

Tengo un montón de artículos por ahí guardados que fueron escritos a raíz de la publicación de The ASA’s Statement on p-Values: Context, Process, and Purpose, ya en 2016, que ponía en cuestión el uso indiscriminado y acrítico de los p-valores. Algunos de ellos son este, este, este o este.

Asunto que se refiere a y abunda en todo lo que se ha escrito sobre la llamada crisis de replicabilidad, sobre la que también se ha escrito largamente.

Replicabilidad (y su falta de ella, fuera de la academia)

Se habla mucho de replicabilidad (y la falta de ella) como indicio de una crisis en ese complejo de intereses económicos, de poder y, en ocasiones, fornicatorios en que ha devenido la ciencia. Pero qué más nos da que se publique un artículo más o un artículo menos o que una ocurrencia irrelevante, gracias a un sinfín de artefactos propios de la industria de la salchicha, sea cohonestada con un p-valor menor o mayor que 0.05. Qué más da.

Es imposible enseñar nada a alguien cuyo sueldo depende de no aprender

O algo así reza una cita que no ubico. Viene a cuento de un artículo que se acaba de publicar en Nature, A manifesto for reproducible science, que se resume así:

  • Los científicos son gente extraordinaria que persigue honrada y abnegadamente el ensanchamiento del saber humano.
  • No obstante, están produciendo toneladas de mierda.
  • Pero no lo hacen consciente o malintencionadamente; lo hacen porque no saben.
  • Si se equivocan, además, es por culpa de la sociedad, que los incentiva torcidamente.
  • Si los científicos se toman la molestia de aplicar una serie de medidas que propone el artículo, producirán menos mierda.

El problema es que la ciencia se paga como la ropa vieja: al peso. Dígase lo que se quiera, pero luego, lo que ufana a científicos, universidades, centros de investigación e, incluso, países, es el número bruto de artículos publicados: de ellos dependen trienios, sexenios, anecas, proyectos, becas, rankings y demás.

Por qué no deberías compartir tu código: diez motivos

Fresco aún en nuestro recuerdo el fiasco de Excel del que nos ocupamos hace unos días, los partidarios de la reproducibilidad, el software subversivo y gratuito, los detractores de las herramientas propietarias y otras estirpes han agudizado su campaña en pro de lo que denominan una mayor transparencia en el proceso de creación científica.

Como contrapeso a tanto despropósito, traigo a la consideración de mis lectores una visión alternativa que desnuda los desatinos de la caterva y recoge diez motivos incontestables por los que compartir código es una sinrazón. Es obra de Randall J. LeVeque que puede ser consultada como artículo o, para los impacientes, como presentación.

Sweave, investigación reproducible... y más

Me consta que algunos de mis lectores están al tanto de eso que llaman investigación reproducible. De acuerdo con la Wikipedia (en inglés),

[E]l término investigación reproducible se atribuye a Jon Claerbout, de la Universidad de Stanford y se refiere a la idea de que el producto final de la investigación no debería circunscribirse a un artículo sino comprender también el entorno computacional completo usado en la generación los resultados que contiene, tales como el código, los datos, etc. para que puedan ser reproducidos y se pueda avanzar a partir de ellos.