Localidad, globalidad y maldición de la dimensionalidad
Escribo hoy al hilo de una pregunta de la lista de correo de quienes estamos leyendo The elements of statistical learning. Hace referencia a la discusión del capítulo 2 del libro anterior en el que trata: El compromiso (trade off) entre el sesgo y la varianza de los modelos predictivos. Cómo los modelos locales (como los k-vecinos) tienden a tener poco sesgo y mucha varianza. Cómo los modelos globales (como los de regresión) tienden a tener poca varianza y mucho sesgo. Cómo la maldición de la dimensionalidad afecta muy seriamente a los modelos locales y mucho menos a los globales. Y voy a tratar de ilustrar esos conceptos con un ejemplo extraído de mi experiencia de consultor. ...