Estadística

Dicho brevemente, los embeddings asocian direcciones en un espacio vectorial de dimensión alta a «conceptos». Cabe preguntarse cuánto «espacio semántico» hay realmente disponible, cuántos «conceptos» caben en un espacio vectorial. Así que hoy voy a realizar una estimación geométrica muy grosera inspirada en un par de entradas de John D. Cook, matizada luego por otra basada en el llamado problema del código esférico. Como referencia, el DRAE tiene unas 100k entradas y la Wikipedia en inglés, unos 7 millones. Esas cifras delimitan el orden de magnitud del número de «conceptos» que uno puede aspirar a registrar en el espacio de embeddings. ...

La verdad, sé menos de eso que cualquier otro. Solo he visto (supongo que procrastinando en Twitter) y me ha parecido conveniente razonar sobre él desde una perspectiva metodológica. Vaya por delante que no he dedicado tiempo a trazar el origen de los datos y su pertinencia. Tampoco de repasar la narrativa que acompaña al gráfico en su fuente. Voy a asumir en lo que sigue que la información es razonablemente correcta y que quienquiera que construyó el gráfico pretendía señalar algún tipo de relación dentro del «espectro causal» entre los resultados de PISA y el uso de la IA. ...

Los libros nos enseñan que un espacio de probabilidad es una terna $(\Omega, \mathcal{F}, \mathbb{P})$ donde $\Omega$ es el conjunto de posibles eventos, $\mathcal{F}$ es una sigma-álgebra sobre $\Omega$ y $\mathbb{P}$ es una función de probabilidad —un tipo muy especial de medida— sobre $\Omega$. En lo que sigue sobreentenderemos $\mathcal{F}$ y consideraremos el par $(\Omega, \mathbb{P})$. Si el par $(\Omega, \mathbb{P})$ es conocido, estamos hablando de teoría de la probabilidad. $\Omega$ pueden ser los números del 1 al 6, $\mathbb{P}(i) = 1/6$, etc. Entonces se pueden plantear y resolver con más o menos dificultad el tipo de problemas de índole deductivo que aparecen al final de los capítulos de los libros en la materia. ...

Por fijar ideas, supongamos que: A es un aficionado al cine que decide pagar por ver una película si la probabilidad de que sea buena es del 50% o más. Solo el 30% de las películas son buenas. Así las cosas, en principio, A nunca iría al cine: sin otra información, la probabilidad de que una película sea buena es del 30%, por debajo de su umbral de decisión. Pero es que, además: ...

No es que esté particularmente de acuerdo con lo que sigue. De hecho, siempre he abogado por la actualización metodológica y puedo enseñar las cicatrices que me dejó algún enfrentamiento por estos motivos en mis años bravos. En estas páginas he escrito mucho, además, sobre qué tipo de señales y relaciones pueden detectar los métodos modernos que los tradicionales ignoran. Pero no está de más exponerse de vez en cuando a los argumentos contrarios, que más de una vez encierran un grano de verdad. ...

Existe una enorme literatura advirtiendo sobre los problemas del AUC como instrumento para comparar modelos. La combinación de los dos siguientes hechos empíricos impide que sea efectiva: El AUC es una medida simple cuya aplicación solo exige conocimientos básicos de aritmética: saber identificar el mayor de entre dos números. Las habilidades matemáticas de muchos de quienes lo utilizan para comparar modelos tampoco dan para mucho más. La literatura plantea argumentos que tienen, como en Measuring Classifier Performance: A Coherent Alternative to the Area Under the ROC curve, esta esotérica forma: ...

Hace casi diez años escribí sobre esa cosa que el INE llama proyecciones poblacionales sugiriendo que tomasen nota de lo que hacía la ONU e incorporasen algún tipo de información sobre rangos probables en las cifras proyectadas. Las predicciones (estas sí) de la ONU para España a largo plazo se resumían allá en 2017 en el gráfico Pero como ya habrán advertido los lectores más atentos, en el gráfico anterior, el rango superior de las predicciones solo supera los 50 millones de habitantes en el último cuarto de siglo. Sin embargo, se trata de un hito que se espera alcanzar este mismo año (2026). La realidad está completamente fuera de rango. ...

Un reciente artículo de The Economist, Europe buys the future, America builds it, cierra con una escena estupenda: después de varios párrafos discutiendo sobre el PIB en sus distintas manifestaciones, la productividad, la renta per cápita y el nivel de vida relativo entre Europa y EEUU, los dos protagonistas del debate, Paul Krugman y Luis Garicano, acaban proponiendo (variantes de) un experimento manifiestamente precientífico: Krugman, el test del paseo: si Europa se está empobreciendo tanto como algunos dicen, ¿por qué resulta tan agradable pasear por sus ciudades? Garicano, el del viaje en coche: las ciudades europeas podrán ser más bonitas, pero basta conducir por un suburbio americano para comprobar dónde está realmente la riqueza. Es decir, después de siglos de desarrollo de la estadística pública, dos economistas de primer nivel acaban sugiriendo zanjar el debate mirando por la ventanilla. ...

Jon González tenía una cuenta popular en Twitter. Unos tipos a los que no les gustaba lo que contaba urdieron una estrategia, eventualmente exitosa, para taparle la boca. Eso está contado en muchas partes, como por ejemplo, esta. Jon González era conocido por sus gráficos, que acompañaban a sus análisis y opiniones sobre diversos aspectos de la economía española. Se trata de un asunto que no me interesa demasiado porque aunque me afecta, carezco de instrumentos para actuar sobre él de forma efectiva. Es un poco como el tiempo: no soy yo el que hace llover; de igual manera, yo no subo los tipos de interés ni redacto la legislación laboral, así que invierto mi tiempo en otra cosa. ...

En 2019 escribí sobre variantes «modernas» del coeficiente de correlación.. Mencioné allí: Otra entrada mía de 2011 sobre el mismo asunto sobre el artículo Detecting Novel Associations in Large Data Sets. La correlación de Hellinger, de 2018 (que cita a la anterior). La «multivarianza total de la distancia», que se publicó en 2019 (aunque el artículo es del 17) y que no cita a ninguna de las anteriores. Y a la lista hay que sumar la de Chatterjee (también publicada en 2019, un muy fructífero año para variantes de la correlación) que solo cita al primer artículo y de cuya existencia me enteré muy recientemente. ...