¿Converge Bayes demasiado rápido?

Siempre he tenido la sensación de que las posterioris convergen demasiado rápidamente. Fue, de hecho, la primera objeción que hizo el cliente hace ya muchos, muchos, años a los resultados de mi primer proyecto puramente bayesiano y desde entonces guardo la espinita clavada.

Por eso me siento reivindicado por What’s wrong with Bayes, una entrada de Andrew Gelman en su blog y en la que discute una inferencia ridícula. Es la siguiente:

Supongamos que $\theta$ es un valor desconocido y que observamos

$$y \sim N(\theta, 1).$$

Supongamos, además, que usamos una priori plana para $\theta$ (de la que no sabemos nada).

Obtenemos un valor de $y$ y resulta ser 1. Está únicamente a una $\sigma$ de 0 ($\sigma = 1$, recuérdese). Nuestra posteriori es una $N(1, 1)$ y como pnorm(0, 1, 1) es aproximadamente 0.16, Gelman dice:

Step back a bit, and it’s saying that you’ll offer 5-to-1 odds that theta>0 after seeing an observation that is statistically indistinguishable from noise. That can’t make sense. Go around offering 5:1 bets based on pure noise and you’ll go bankrupt real fast.

El resto de la entrada y algunos de los comentarios no tienen desperdicio. En particular, el mío —que puede considerarse una extensión a la presente entrada— y la subsiguiente respuesta de Gelman).