"Cuando los datos y las anécdotas no concuerdan, las anécdotas suelen ser correctas"

En la cuenta @StartupArchive_ de Twitter se publicó un vídeo de una entrevista a Jeff Bezos y (¿parte?) de su transcripción. Dice, con mi traducción:

Jeff Bezos nos cuenta cómo una vez llamó al servicio de atención al cliente de Amazon en mitad de una reunión para demostrar que una métrica era incorrecta.

[…] Jeff cuenta una historia de los primeros días de Amazon, cuando sus métricas indicaban que los clientes esperaban menos de 60 segundos en obtener una respuesta después de llamar al número de atención al cliente. Sin embargo, las quejas de los clientes parecían indicar lo contrario. Como explica Jeff:

“Tengo un dicho: cuando los datos y las anécdotas no concuerdan, las anécdotas suelen ser correctas… Si tienes un montón de clientes quejándose de algo pero tus métricas parecen indicar que no deberían quejarse, debes dudar de las métricas”.

Un día, en una reunión, el jefe de atención al cliente estaba defendiendo esa métrica. Jeff dijo: “Bien, llamemos”.

Jeff descolgó el teléfono y marcó el número 1-800 de atención al cliente de Amazon.

Todos los presentes en la reunión esperaron más de 10 minutos antes de que el servicio de atención al cliente respondiera.

“Eso dejó clarísimo que algo teníamos problemas en la recopilación de datos y desencadenó una serie de averiguaciones que nos llevaron a empezar a medir el fenómeno correctamente…”.

Uno de los grandes temas de este blog es, precisamente, el de la alineación de los grandes números con las evidencias circunstanciales. Junto al de la frecuente irrelevancia de los grandes números a la hora de la toma de decisiones personales/locales. De la tensión, en definitiva, entre lo macro y lo micro.