¿Por qué no funcionan las intervenciones buenistas?

El otro día, en mi entrada sobre la estadística en las ciencias blandengues, me cité el ensayo Nothing Scales del que extraje el parrafito

But trying to analyze this is very rare, which is a disaster for social science research. Good empirical social science almost always focuses on estimating a causal relationship: what is β in Y = α + βX + ϵ? But these relationships are all over the place: there is no underlying β to be estimated! Let’s ignore nonlinearity for a second, and say we are happy with the best linear approximation to the underlying function. The right answer here still potentially differs for every person, and at every point in time.* Your estimate is just some weighted average of a bunch of unit-specific βs, even if you avoid randomized experiments and run some other causal inference approach on the entire population.

Existen tres grandes motivos por los que los programas (o las intervenciones) buenistas no funcionan (sí, me refiero a esos programas de los que se hace un proyecto piloto con financiación de, qué sé yo, el Banco Mundial; en los que unos científicos sociales realizan un RCT y escriben un paper con un numerito, un p-valor, menor que 0.05 y lo divulgan como la verdad incontestable de la cosa).

El primero, ignorar lo que dice el autor de Nothing Scales en el párrafo anterior. El segundo, lo que apunta un poco más abajo:

Why not? Scaling up a program requires running it on new people who may have different treatment effects.

Y el tercero, como apunta Andrew Gelman aquí, ignorar la maldición del ganador. En efecto, que un RCT haya dado positivo puede ser simplemente producto de eso, de la maldición del ganador. Puede ser uno de esos 5% casos que la teoría detrás de todo eso de los p-valores resulten significativos sin serlo. Al fin y al cabo, se hacen cientos de RCTs en muchas áreas de las ciencias blandengues al año (véase, p.e., el libro Poor Economics). Aquella intervención que resulte significativa no solo pudiera no replicar sino que, además, es posible que parezca tener un efecto muy superior al real.

Es ilustrativo el caso de la renta básica universal. Ha habido ya varios experimentos al respecto con resultados, si alguno, más bien discretos. El día que consigan vendernos como positivo alguno de ellos —o de los que vengan en el futuro— será difícil no verlo escalar. Y cuando este escalamiento se caiga con estrépito, recordad: lo leísteis aquí antes que en ningún otro sitio.