Localidad, globalidad y maldición de la dimensionalidad
Escribo hoy al hilo de una pregunta de la lista de correo de quienes estamos leyendo The elements of statistical learning.
Hace referencia a la discusión del capítulo 2 del libro anterior en el que trata:
- El compromiso (trade off) entre el sesgo y la varianza de los modelos predictivos.
- Cómo los modelos locales (como los k-vecinos) tienden a tener poco sesgo y mucha varianza.
- Cómo los modelos globales (como los de regresión) tienden a tener poca varianza y mucho sesgo.
- Cómo la _maldición de la dimensionalida_d afecta muy seriamente a los modelos locales y mucho menos a los globales.
Y voy a tratar de ilustrar esos conceptos con un ejemplo extraído de mi experiencia de consultor.