El efecto "pierna rota"

Esa entrada tiene que ver con dos cosas. Una, la que escribí hace un tiempo sobre el análisis de modelos a la vista de información que nosotros tenemos y ellos, por lo que sea, no. La segunda, que es además la que da nombre a esta, un fenómeno que menciona Paul Meehl en su libro Clinical Versus Statistical Prediction.

El libro describe y las compara predicciones clínicas (subjetivas, basadas en la experiencia y usando como datos dossieres más o menos extensos) y las estadísticas, basadas en puntuaciones (o scores) construidos a partir de en unas cuantas variables. El tema central del libro (¡de los años 50!) es cómo esos modelos estadísticos que apenas usan unos cuantas variables funcionan generalmente tan bien o mejor que las predicciones clínicas. Lo hace, además, a través de un metaanálisis de la literatura existente en la época (y actualizado algunas décadas después por el autor sobre una base evidentemente mucho más amplia de estudios).

Dos pequeñas digresiones:

• Nótese que en ningún sitio he mencionado que las unas las realicen humanos y las otras, máquinas. De hecho, en la época en la que se escribió el libro, todas eran realizadas por personas; solo que en unos casos de manera cualitativa y, en los otros, mediante procedimientos automáticos.
• El libro es, por lo dicho, muy superior a la literatura contemporánea típica sobre el tema, que suele limitarse a destacar lo nocivo de los algoritmos argumentando alrededor de algunos presuntos casos anecdóticos y, sobre todo, sin plantear y comparar con una alternativa viable.

En cierta parte del libro, el autor ejerce de abogado del diablo y discute el llamado fenómeno de la pierna rota, que es el tema de la entrada de hoy. Es, como se verá, uno de esos casos en los que la supervisión por parte de un clínico podría mejorar la predicción de un modelo estadístico.

El autor discute un hipotético modelo para predecir si Don X va o no a ir al cine un día dado. El modelo estadístico tiene en cuenta el día de la semana, el tiempo, etc. y realiza su predicción en función de esas variables una vez entrenado con datos históricos. El clínico, no obstante, podría averiguar que Don X sufrió un accidente a consecuencia del cual, se rompió la pierna; entonces puede predecir con casi total certeza que Don X no irá al cine. La variable pierna rota, obviamente, no está en el modelo. De haber estado, habría generado una predicción de P = 0. Pero una característica de los modelos estadísticos, por su idealización, es que ignoran gran parte de la información disponible. Precisamente, saber qué es aquello que ignora el modelo ayuda a tanto a entenderlo como a mejorar sus predicciones.

En efecto de la pierna rota se refiere exclusivamente a variables muy atípicas de un impacto grande en la predicción. Sería imposible que un modelo recogiese todos los posibles eventos del tipo pierna rota que pudieran suceder. Aunque —y en omitirlo creo que patina Meehl— siempre sería posible incorporar en los modelos alguna variable de aluvión que recogiese cualquier evento del tipo pierna rota disponible en la información sobre los sujetos sobre los que se realiza la predicción.

Pero tampoco va a recoger otro tipo de información que pudiera tener un impacto moderado —ya no hablamos de variables extremas de la categoría pierna rota— en los resultados del modelo. Eso viene a ser lo que se discutía en las entradas que dan pie a esta y es la lección que podemos sacar de toda esta historia.