Uno de los indicadores que sigue la gente hoy en día —y yo con particular interés— es el de «cuántos meses por detrás» de los mejores LLMs estadounidenses se encuentran los modelos chinos. Al respecto, el NIST (National Institute of Standards and Technology de los EEUU) ha publicado el estudio CAISI Evaluation of DeepSeek V4 Pro, que se resume en que el retraso es de ocho meses, y que contiene el gráfico ...
A veces hay en el mundo una variable aleatoria $X$ que distintos agentes tratan de predecir. Pero en otras ocasiones hay una variable aleatoria $X$, ciertos agentes crean predicciones $Y$ de $X$ y otros están interesados en la predicción de $Y$, tal como describe Matt Levine en Weather Prediction Prediction. The Economist describe los esfuerzos de la India por recuperar la credibilidad de sus estadísticas nacionales tras años de interferencia política. ...
Andrew Gelman escribió recientemente These are the three ways of attacking a statistical problem (illustrated with the NFL example) en el que se enfrenta a un problema estadístico usando tres técnicas distintas. El problema consiste en determinar cuál es el patrón de resultados más frecuente en series de cuatro enfrentamientos entre equipos de fútbol americano: todas las combinaciones $(x_1, x_2, x_3, x_4)$, donde $x_i \in {0, 1}$, desde $(1, 1, 1, 1)$ (el primer equipo gana todos los enfrentamientos) hasta $(0, 0, 0, 0)$ (el primer equipo pierde todos los enfrentamientos). ...
David Oks advierte de que las cifras de población de muchos países son falsas. Aunque no hay que dar pábulo a teorías conspiranoicas sobre las cifras de población globales, hay evidencias sólidas de que las que proceden de muchos países pobres (menciona explícitamente Papúa Nueva Guinea, Nigeria, China, la India y Paraguay) tienen sesgos importantes. Saloni Dattani ha escrito un tutorial de visualización de datos que tiene muy buena pinta. Dos sobre análisis clínicos: ...
Word clouds considered harmful. Un día aparecieron y a todos nos parecieron estupendos. Pero hay que madurar y admitirlo: tienen más desventajas que ventajas. Usan la frecuencia como proxy del significado y, además, no se sabe muy bien si la representan en términos de longitud o de área. Además de la influencia confundidora del número de letras de los términos. A better way to fill in those missing bubbles in the standardized test. Sugiere algo que me parece muy razonable: en un examen tipo test asignar el valor esperado de la respuesta al azar a las preguntas no respondidas. Me he vuelto fan de los GAMLSS. Están a la altura de los tiempos. Supongo que no tendrán éxito hasta que queden obsoletos por algo mejor que venga después. Sabemos que el AUC es lo mismo que el test de Wilcoxon. Pero, además, Frank Harrell explora la relación entre el test de Wilcoxon y la regresión logística ordinal en Equivalence of Wilcoxon Statistic and Proportional Odds Model. Resulta que el test de Wilcoxon emerge de manera natural al ajustar uno de esos modelos sin covariables (y ~ 1 en notación de fórmula de R). No sé si aquellos cuyo trabajo consiste en maquillar AUCs le pueden sacar punta a esto. Desde primeros principios, podría argumentarse que la tasa metabólica de los animales (calor emitido en reposo) debería guardar una relación del tipo $B \propto M^\alpha$, donde $M$ es la masa y $\alpha = 2/3$. Pero empíricamente, parece que $\alpha$ está más próxima a $3/4$. Aquí se reexamina la cuestión. La conclusión de X explains Z% of the variance in Y es que el concepto es, en general, mucho más confuso de lo que parece. Haz depender $Y$ de $X_1$ y $X_2$ que no son independientes y… A Andrew Gelman no le gustan los mercados de predicciones y, por tanto, no deja de encontrarles pegas.
Tezanos defiende que su CIS es el que más acierta: “La crítica que se hace no es científica”. Y él es científico porque es catedrático. Zanjado definitivamente el problema de la demarcación. Hey Students, Considering Majoring in Sociology?. Pues tal vez, después de navegar por el anterior enlace, cambiáis de opinión. You Actually Have to Read the Studies, You Know. Nicholas Decker critica la práctica común en medios y debates públicos de citar estudios sin realmente leerlos ni evaluar su calidad metodológica. Sostiene que muchos artículos son referenciados superficialmente para respaldar una narrativa ya decidida, lo que lleva a exageraciones, malinterpretaciones y conclusiones poco fundamentadas. La pieza enfatiza que la falta de lectura crítica de la evidencia socava la verdad y empobrece el discurso público. Decker argumenta que leer los estudios completos —y con un ojo crítico— es esencial para entender realmente lo que la evidencia dice. Aunque esas cosas ya no nos asustan, ¿verdad? 25,000 lives saved per ship sunk, $100,000 per citation, a probability of 10^-90 of a decisive vote . . . Is there a through line from B.S. numbers in junk science to B.S. numbers coming from the government?. Andrew Gelman se queja de ciertos números atribuidos a miembros del gobierno (de EEUU) que, sostiene (y hay motivos para creerle) que son no solo falsos, sino dolosamente engañosos. A su lista añadiría yo otros números que no se dicen sino que se pagan, como estos.
Visualizing XGBoost Models with SHAP in Python: Feature Importance, Dependence, and Interaction Plots es otro tutorial sobre todas esas cosas. Pero a los interesados en la materia, les recomiendo la lectura sosegada de Interpretable Machine Learning. Andrew Gelman discute el problema común de que los intervalos subjetivos del 50% suelen ser demasiado estrechos y que, como consecuencia, no capturan realmente el 50% de los resultados. Como solución, propone la siguiente estrategia: construir el intervalo intuitivo y luego ampliarlo por un factor fijo (p. ej., 1.5×) para mejorar la calibración. Aunque no es, obviamente, una solución completa, ofrece un punto de partida práctico para mejorar la calibración subjetiva de la incertidumbre. ...
Turning trig identities into Fibonacci identities muestra cómo ciertas identidades trigonométricas pueden transformarse de forma sistemática en identidades que involucran números de Fibonacci (y de Lucas). El motivo es que la estructura algebraica de las funciones trigonométricas involucra ciertas relaciones recurrentes, vinculándolas con los números de Fibonacci. A quote from Nicholas Carlini sobre los LLMs y las extorsiones en la que describe cómo podrían ser las extorsiones del futuro. Ya no será “te robo los datos y me tienes que pagar para que te los devuelva” sino “usando un LLM sobre tus datos hemos encontrado indicios de ciertas actividades que, casi seguro, preferirías no fuesen conocidas por otros y nos tendrás que pagar para que no se las revelemos”. ...
The fate of “small” open source presenta un probable estado futuro del mundo del desarrollo de software, uno en el que los pequeños proyectos dejen de ser relevantes porque sus potenciales usuarios pueden reemplazarlos perfectamente por código ad hoc generado por LLMs. En efecto, hace años creé un paquete mínimo de R con apenas un par de funciones que implementaban ciertas pruebas estadísticas no disponibles en ningún otro por aquel entonces. En 2025 no haría falta ese paquete: bastaría con pedirle a Claude una implementación en R, copiarla y pegarla. El autor del artículo enlazado se queja de que algo se perderá en el proceso; yo creo que es algo por lo que no vale la pena llorar. ...
Un artículo sobre cómo crear intervalos de predicción conformes en modelos de ML, en particular con modelos basados en XGBoost. Y otro, este, sobre cómo inferir el tamaño muestral a partir de su anchura. También de John D. Cook, ODE to Fisher’s transform. Aparentemente, para normalizar el coeficiente de correlación se puede aplicar una transformación en la que interviene atanh y cuya derivación exige resolver una ecuación diferencial ordinaria. Por su parte, la ecuación diferencial surge de igualar el desarrollo de la curtosis a cero. ...