Estadística

Supongo que mis lectores estarán al tanto de Google Translate y tal vez sepan que utiliza métodos estadísticos para traducir: a partir de una muestra amplia de textos con el mismo contenido pero en distintos idiomas llega a deducir que maison, casa y house son una misma cosa.

Pero la yustaposición puede dar lugar a situaciones jocosas. He aquí un ejemplo con el que la serendipia me ha hecho tropezar recientemente.

Supongo que habréis encontrado alguna vez ese texto que comienza por lorem ipsum dolor sit amet… y que los maquetadores y editores gráficos usan como relleno para mostrar su trabajo. Aparece en tantos sitios que… parece haber confundido al traductor de Google como se aprecia a continuación. Si pido traducir, por ejemplo, la frase Cum sociis natoque penatibus et magnis dis parturient montes, nascetur ridiculus mus que forma parte de ese texto,

Este verano traté de recorrer en bici la ruta del Viaje a la Alcarria de Cela. No lo acabé porque se lesionó mi compañero a la altura de Pareja y tuvimos que regresar a Madrid en furgoneta. Pero recuerdo que, encarando algún repecho, con la lengua afuera, me comentaba qué duro es esto de la bici. Aproveché luego, en la fuente de algún pueblo, con las camisetas empapadas, para comentarle lo despiadado del circunstancial televidente estival, faria en mano, exigiendo a los ciclistas patrios demarres sobrehumanos en el Tourmalet.

Iba a responder a los comentarios de mi entrada sobre las Jornadas de R y, muy en particular a los de Fernando Fernández, uno de los más fieles lectores de esta bitácora, y me he extendido tanto que he acabado convirtiéndola en una nueva. Pido excusas por haber tal vez abusado de mis prerrogativas para auparme de esta manera.

Tanto a él como a otros les chirrió que escribiese comenzamos una nueva época que en el plazo de tres o cuatro años nos va a conducir, con casi total seguridad, a un escenario en el que […] R se use de manera casi exclusiva en la enseñanza de la estadística en los niveles universitarios.

Leí un chiste el otro día: aparecía el ministro de economía de Grecia en su despacho revisando unos informes y comentándole a su asesor: “La única solución es volver a mentir”. No sin cierta dosis de razón nos recuerdan de vez en cuando la cita —de problemática atribución a Mark Twain—: Hay tres tipos de mentiras: mentiras pequeñas, mentiras grandes y estadísticas.

Ahora nos enteramos de que Cataluña maquilló el resultado del examen de PISA a la educación:

Hoy día 20 de octubre celebramos el segundo día mundial de la estadística. También es el día mundial del chef, supongo que por casualidad.

Ambas, la de estadístico y la de chef, son profesiones que es preferible que no se noten. Cuando cobran algo de relevancia, malo. Supongo que por eso es necesario dedicar un día a quienes las practican.

El que un chef se equivoque puede ser enojoso: se sonroja el camarero, hay que devolver el plato a la cocina y muchos temen que le pase algo cochino por el camino. Pero, ¿cuando es la estadística la que está torcida (o, tal vez, demasiado cocinada)?

A raíz de la concesión del último (mal llamado) premio Nobel de Economía, han aparecido publicados en el diario El País el artículo Un premio al método científico de Ramón Marimón y el reportaje Causa y efecto en la economía, sorprendentes ambos tanto por el título como por el contenido. Creo que bien merecen el protoanálisis que sigue.

¿Premio al método científico?

Hombre, ¡que estamos hablando del premio Nobel! Además, si esta vez han premiado al método científico… ¿qué fueron los anteriores laureados? ¿Pitonisos? El debate es viejo y muchos lo conocen mejor que yo. Es bastante famoso el pequeño escrito de Robert E. Lucas, What Economists do, en el que el autor escribe

Puedes _probar _prácticamente cualquier cosa. Con paciencia, claro. Por ejemplo, coge una moneda de tu bolsillo. Puedes probar que tiene un sesgo: salen más caras (o cruces, da igual) de lo que cabría esperar.

No lo vas a probar como los gañanes, no. Lo vas a probar usando los mismos métodos con los que se aprueban los medicamentos u otras verdades relevantísimas: mostrando al mundo un p-valor pequeñajo, por debajo de 0.05. Veamos cómo.

De acuerdo con una observación de Zipf (y supongo que de muchos otros y que no hay que confundir con su ley), la longitud de las palabras más corrientes es menor que las que se usan menos frecuentemente.

Un estudio reciente, Word lengths are optimized for efficient communication, matiza esa observación: la cantidad de información contenida en una palabra predice mejor la longitud de las palabras que la frecuencia de aparición pura. En una comparación entre diversos idiomas europeos, parece manifestarse que palabras que aportan poca información son breves; las que aportan mucha, más largas.

Continúo en esta la primera de las entradas que hice sobre el artículo Don’t Be Loopy: Re-Sampling and Simulation the SAS® Way.

Trata sobre lo siguiente:

1. Construir un cojunto de datos simples (dos vectores, x e y).
2. Hacer una regresión de y sobre x y capturar los residuos.
3. Crear 1000 vectores y' distintos añadiendo a $latex \hat{y}$ (la predicción de y) en el modelo anterior una reordenación de los residuos.
4. Crear los correspondientes 1000 modelos haciendo la regresión de cada $latex \hat{y}$ sobre x.
5. Obtener el histograma del coeficiente de la regresión.

Es un caso de _bootstrap _en el que no se muestrean directamente los valores iniciales sino los residuos del modelo.

Juguemos a un juego: pienso el nombre de uno de los 45M de ciudadanos españoles y tenéis que acertarlo. Me podéis hacer preguntas, pero sólo de esas cuya respuesta es sí o no. ¿Cuántas preguntas deberíais hacerme?

Pues unas 25 o 26 porque $latex log_2 4.5e7 = 25.42$. La demostración es sencilla: suponed que tenéis una lista con los nombres de todos los ciudadanos (a razón de 45 por hoja y 200 hojas por tomo, ocuparían 5000 de ellos). La primera pregunta podría ser: el individuo que has pensado, ¿está en los tomos 1-2500? Luego, dependiendo de la respuesta, ¿del 1250 al 2500? Y etc. con la búsqueda binaria. En total, 25 o 26 veces.