Mala Ciencia

Hojeando la prensa no he podido sustraerme al discreto encanto del titular El ‘pucherazo’ del 36. El texto que encabeza habla, parece, de un libro homónimo en el que se da cuenta del presunto fraude en las elecciones generales de 1936. Los autores, según la entradilla, son [d]os historiadores, [que] tras cinco años de investigación, aportan las cifras y las pruebas del desvío de votos.

Todo bien, más o menos interesante mientras no puedo hacer otras cosas más enjundiosas, hasta que llego al párrafo, tercero, en el que me entero de que los dos autores son de la Universidad Rey Juan Carlos. Y dos cosas me han sucedido automáticamente. La primera, es que he dejado de leer con un gesto entre el asco y el disgusto, como el de que encuentra un pelo en los macarrones.

Vivimos en un mundo opaco: como en los cuentecillos de Asimov, somos usuarios de tecnologías que ni conocemos ni controlamos. Parametrizamos nuestras máquinas y las echamos a correr. Poco más podemos hacer que fiarnos de quienes nos las proporcionan.

Luego pasan cosas como que, de repente, resulta que Stan, en las últimas versiones, ha estado produciendo muestras sesgadas. ¿Qué resultados condicionará eso río abajo?

Un caso mucho más famoso es el de la resonancia magnética (fMRI): un error en el software concomitante pone bajo sospecha hasta 40000 artículos sobre estudios del cerebro. Precisamente, por lo mismo.

O algo así reza una cita que no ubico. Viene a cuento de un artículo que se acaba de publicar en Nature, A manifesto for reproducible science, que se resume así:

• Los científicos son gente extraordinaria que persigue honrada y abnegadamente el ensanchamiento del saber humano.
• No obstante, están produciendo toneladas de mierda.
• Pero no lo hacen consciente o malintencionadamente; lo hacen porque no saben.
• Si se equivocan, además, es por culpa de la sociedad, que los incentiva torcidamente.
• Si los científicos se toman la molestia de aplicar una serie de medidas que propone el artículo, producirán menos mierda.

El problema es que la ciencia se paga como la ropa vieja: al peso. Dígase lo que se quiera, pero luego, lo que ufana a científicos, universidades, centros de investigación e, incluso, países, es el número bruto de artículos publicados: de ellos dependen trienios, sexenios, anecas, proyectos, becas, rankings y demás.

Entre tanto óbito farandulero en las postrimerías del año que se fue (¿dónde quedó el pobre de Eco?) ha pasado medio desapercibido otro sustancialmente más interesante: el del doctor Henry Heimlich.

De sus claros, ya habla la prensa (aquí y aquí).

Pero bastaba con pasearse por la Wikipedia para desenterrar algunos de sus oscuros: homeopatía, malarioterapia (una seudopráctica científica consistente en infectar a un paciente con malaria por ver si esta le cura el cáncer, el sida y demás) y denuncias generalizadas de prácticas anticientíficas y deshonestas.

De los últimos foros de científicos de datos a los que he asistido, de las últimas conversaciones con científicos de datos que he mantenido, he salido con una gran duda: ¿soy yo el que tiende a juntarse con ellos o es que hay una plaga de talibanes del RMSE es Dios y XGBoost, su profeta?

Lejos está ese lema simplificador de los principios que me mueven a escribir estas páginas. Por lo que, anuncio, estoy arrejuntando razones y papelotes con los que tratar de arrancar un movimiento herético.

Incumbent politicians tend to receive more votes when economic conditions are good. In this paper we explore the source of this correlation, exploiting the exceptional evidence provided by the Spanish Christmas Lottery. Because winning tickets are typically sold by one lottery outlet, winners tend to be geographically clustered. This allows us to study the impact of exogenous good economic conditions on voting behavior. We find that incumbents receive significantly more votes in winning provinces. The evidence is consistent with a temporary increase in happiness making voters more lenient toward the incumbent, or with a stronger preference for the status quo.

La escala de grises media entre un blanco y un negro, las dos posturas frecuentemente identificables que expongo.

Postura uno: ciencia como fin en sí mismo. Los científicos reclaman a través de un bucle burocrático recursos a las clases productivas. Si alguien levanta la ceja alegan eso de que sin ciencia no hay futuro y de preguntárseles por evidencias del impacto social de su quehacer responden, a lo más, con evidencia anecdótica.

Traigo hoy dos artículos interesantes sobre un mismo tema: la ciencia de datos reescribiendo de manera interesada resultados estadísticos más o menos conocidos, presentando como nuevos los que no lo son del todo y omitiendo interesadamente referecias bibliográficas.

Son este y este (aunque el segundo trata de más temas).

Es muy interesante el concepto de plagio inteligente en oposición al de plagio literal que denuncia el primer enlace.

Ayer tuve una visita: un amigo me pidió que le echara una mano a otro que andaba muy perdido con su tesis de máster. No era estadístico pero estaba construyendo regresiones y pruebas de hipótesis y no entendía los resultados. Como a veces pasa, había comenzado por las conclusiones (tal vez razonables) con la esperanza de que los datos acabasen dándole la razón.

Y se la daban… salvo por un pequeño detalle: aunque significativo, el coeficiente de la corrupción tenía el signo contrario.

Hará ya un par de años, un señor muy importante divulgaba en su bitácora los resultados de un estudio relativo a la educación en España que acababa de publicar. Dedicaba una pequeña parte de la entrada a cuestiones metodológicas y el resto a cuestiones normativas: dado que he encontrado esto y aquello con un p-valor de tal, no otro remedio queda que aplicar todas estas medidas que aquí enumero, era el resumen de todo.

El primero:

Crece la productividad: Para el conjunto del año 2015 la economía crecerá cerca del 3,5% Estos datos muestran que está aumentando la productividad, es decir, mientras la economía española crece a ritmos cercanos al 3,5% anual el empleo lo está haciendo al 3%.

Rafael Pampillón Olmedo. Expansión, 24 de julio de 2015 (enlace)

El segundo:

La productividad se estanca: Tal como publicó el INE este jueves en tasa anual durante el segundo trimestre de este año, la economía creció un 3,1%. Sin embargo, mientras la economía creció en los últimos doce meses un 3,1% el empleo lo hizo en un 3%.

Si un día faltan 21.63 euros en caja se cuenta y se recuenta. Se revisan los tiques, se comprueban los pagos con tarjeta, se vuelven a sumar los pagos a proveedores, etc. Hasta que, con suerte, alguien encuentra algo y la diferencia se reduce a, digamos, 3.92 euros. Pero cuando la diferencia es de 2.15… se da por buena sin más.

Cuando el t-test da un p-valor de .058, se revisan los números, se reestudia la carga y manipulación de datos, se replantea si el caso 194 es o no un outlier, etc. Pero si el p-valor es 0.036, nada de eso ocurre. Nadie revisa caso 194. ¡Ni falta que hace!

El otro día hablaba con una colega sobre una charla a la que habíamos asistido. Yo le decía que sí, que estaba bien, pero que todo lo que habían contado era mentira. Debí haber sido más preciso y decir que no era verdad, que es distinto. Pero las canapescas circunstancias no eran propicias para el distingo. Mi interlocutora me escuchaba, pienso, entre sorprendida e incrédula. Todavía está en la edad en la que hay que creérselo todo —sí, esa edad y esa obligación existe— y tiempo tendrá de dejarse envenenar por el nihilismo. Es lo suficientemente lista como para eso.