Los modelos bayesianos, ¿condenados a sobreajustar?
Por ese micromundo en el que muevo, circuló recientemente una polémica sobre si los métodos bayesianos sobreajustan necesaria e irremisiblemente. El desencadenante fue la publicación Bayes is guaranteed to overfit, for any model, any prior, and every data point en la que el autor sostiene que, efectivamente:
- Tiene sentido hablar de sobreajuste en modelos bayesianos (a diferencia de lo que sostienen otros en tanto que como los modelos bayesianos no maximizan ninguna función objetivo, no ha lugar siquiera hablar de sobreajuste).
- Y que, efectivamente, sobreajustan.
También reconoce, y eso hay que abonárselo, que otros métodos (MLE en particular) sobreajustan aún más.
