Una serie de notas sobre el siempre fértil campo de la mala ciencia

¿Pero qué pasa cuando alguien descubre un error en un artículo ya publicado? Sucede todo el tiempo, pero los artículos casi nunca se retiran o corrigen. Nadie hace mucho aspaviento porque, de nuevo, [los autores] son colegas. ¿Por qué crearse enemigos? Incluso si publican un resultado que corrige luego los errores del primer artículo, la gente tiende a medir tanto sus palabras que la crítica es apenas perceptible.

Sobre la construcción de problemas sociales (y el papel de la estadística en el proceso)

El otro día estaba oyendo la radio. Además, una emisora inhabitual (para mí, aunque me consta que es popular en algunos círculos) que, diríase, se había sintonizado sola. En el programa en cuestión, la locutora y sus adláteres estaban tratando de construir yet another problema social. Pero tan mal que, por si me leen, he escrito cómo hacerlo mejor. Y también porque quien lea de la mitad para abajo descubrirá aspectos de la cosa que entroncan con el asunto general de estas páginas, la estadística.

Una serie de notas sobre LLMs (incluidas "novedades" sobre el razonamiento matemático de ALIA en catalán)

  • Los interesados en averiguar con cierto conocimiento de causa cuál es el impacto medioambiental del entrenamiento y uso de los LLMs pueden echarle un vistazo a este estudio de Mistral.

  • En esta entrevista, Tyler Cowen argumenta que los métodos tradicionales para medir el progreso de la IA usando benchmarks tienen un problema fundamental y que contribuye a crear la percepción de que el progreso de la tecnología será muy importante. El problema radica en que los benchmarks actuales están basados en tareas que los sistemas actuales todavía no son capaces de realizar. Como alternativa, sugiere medir el progreso de la IA usando una canasta de consumo que mida el progreso precisamente en aquellas tareas en que la gente normal la usa realmente.

Esquemas semi-Ponzi

Comencemos pensando en una institución (en un sentido hiperamplio del término) que desarrolla una actividad económica. Esta institución se financia con las inversiones de terceros. No voy a entrar aquí en distingos entre los distintos tipos de instrumentos (acciones, bonos, depósitos, etc.) disponibles: complicaría la discusión sin aportar a su sustancia.

Cuando un inversor realiza una retirada, la institución extrae el efectivo de una cuenta C. C contiene algo de efectivo, el que se estima suficiente para cubrir las disposiciones. La institución emplea el resto en su actividad económica.

Sobre los efectos heterogéneos, la menguante calidad de las estadísticas públicas y algunos asuntos estadísticos más

  • El término y concepto de varianza se acuñaron para, al parecer, poder definir el de heredabilidad en la protogenética decimonónica. Dos artículos muy interesantes y accesibles sobre el tema (sobre todo el segundo), son Missing Heritability: Much More Than You Wanted To Know de Scott Alexander y Heritability puzzlers de Dynomight. (Si crees, como yo, que el segundo tiene un gazapo o inconsistencia, deja una nota en los comentarios).

  • Solomon Kurz ha publicado material para aprender Stan con brms (partes I, II y III). Tengo dos objeciones al uso de brms: primero, que al usarlo no se aprende Stan sino otra cosa; y, segundo, que la interfaz de fórmula para la especificación de modelos, que es lo que permite brms, da de sí lo que da de sí y no más. Es cierto que casi siempre buscamos implementar modelos que admiten una interfaz de fórmula, pero esos son, precisamente, los más sencillos y para los que los LLMs tendrían menos problemas para generar el correspondiente código de Stan.

Diagramas de Lexis

Me ha parecido conveniente desgajar la propedéutica de algo con lo que continuaré más adelante: la introducción a los diagramas de Lexis. Es obligado señalar que alrededor de ellos concurre una serie de hechos que debiera dar mala espina a los buenos entendedores:

  • En la Wikipedia, en la fecha en la que esto se escribe, la voz está disponible solo en seis idiomas: catalán, francés, inglés, italiano, portugués y vascuence.
  • Además, el concepto está mucho más ampliamente desarrollado en francés que en inglés.

Estas evidencias le deben inducir a uno a pensar que se trata de un concepto viejuno, inútil y solo relevante para opositores. Quien albergue esas sospechas no andará del todo desencaminado. Pero quiero asegurarle también que me consta fehacientemente que:

Una selección muy personal de novedades en el mundo de la tecnología y de los LLMs

Ahí va una lista de novedades tecnológicas que he recopilado —y en algunos casos, integrado en mi flujo de trabajo— a lo largo de las últimas semanas:

  1. f2 para renombrar ficheros de manera inteligente y en masa. Desde línea de comandos, obviamente.
  2. Después de muchos años cómodamente instalado en las herramientas de línea de comandos de toda la vida, he estado explorando reemplazos modernos para algunas de las más comunes.
  3. Microsoft ha publicado Edit, un editor simple para usos simples.
  4. Typst. ¿Adiós a LaTeX?
  5. En esta lista de ocho herramientas de vibe coding, falta mi favorita, Aider.
  6. Y aún no he podido explorar Toad.
  7. Gemini CLI. Amor y odio a la vez.
  8. 20 herramientas SaaS gratuitas y de código más o menos abierto. No sé para qué sirve la mayoría, pero doy fe de que las que conozco hacen lo que dicen hacer bien.
  9. Se ve que el DOGE utiliza un LLM para identificar, entre otras cosas, regulaciones que ya no exige la ley (pero que han quedado vigentes por pura inercia).
  10. El conjunto de Mandelbrot, en código máquina del x86, generado por Claude (aquí). Una vez dije que los LLMs acabarían generando código máquina directamente
  11. The Economist ha creado SCOTUSbot, un LLM para predecir pronunciamientos del tribunal supremo de los EEUU.
  12. Este artículo se publicó antes de que los LLMs alcanzasen el oro en las Olimpiadas Matemáticas Internacionales, pero viene a tratar el mismo asunto.
  13. Así usa OpenElections los LLMs. En resumen, para OCR y poco más.
  14. Uno de los problemas que plantea el entrenamiento de modelos de IA a la red eléctrica no es tanto el consumo como las fluctuaciones. Cuando el modelo está listo para ser entrenado y alguien pulsa Enter, de repente, todas las GPUs se ponen en marcha y…
  15. Ingeniería de contexto > ingeniería de prompts.
  16. Tres nuevos modelos chinos de los que soy fan:
    1. Kimi 2. Funciona igual de bien que otros LLMs más reputados para las tareas habituales pero va mucho más al grano.
    2. GLM-4.5, otro modelo que estoy comenzando a probar y que me gusta bastante.
    3. Qwen3-235B-A22B-Thinking-2507.

"Cuando los datos y las anécdotas no concuerdan, las anécdotas suelen ser correctas"

En la cuenta @StartupArchive_ de Twitter se publicó un vídeo de una entrevista a Jeff Bezos y (¿parte?) de su transcripción. Dice, con mi traducción:

Jeff Bezos nos cuenta cómo una vez llamó al servicio de atención al cliente de Amazon en mitad de una reunión para demostrar que una métrica era incorrecta.

[…] Jeff cuenta una historia de los primeros días de Amazon, cuando sus métricas indicaban que los clientes esperaban menos de 60 segundos para obtener una respuesta después de llamar al número de atención al cliente. Sin embargo, las quejas de los clientes parecían indicar lo contrario. Como explica Jeff:

Sobre la lógica doxástica, el teorema de Bayes, el problema de Monty Hall y algunos asuntos más

  • La lógica doxástica de la que nos habla Gelman aquí se refiere a un tipo de lógica que opera sobre creencias que no tienen asociados verdadero o falso sino, más bien, otros del tipo el sujeto cree que X es cierto. Se pregunta Gelman si existirá alguna versión probabilística o bayesiana de la cosa y me pregunto por qué no ha caído en toda la obra de Jaynes —por poner solo un ejemplo—, que trata precisamente sobre eso.

La probabilidad de que 2+2 siga siendo 4 dentro de 12 meses es algo menor del 100%

Escribí hace un tiempo sobre las probabilidades subjetivas y cómo Leonard Savage sugería pensar en la probabilidad de un evento como

la [máxima] cantidad que uno debería estar dispuesto a pagar por el derecho a recibir 100 € si el evento finalmente ocurre.

De acuerdo con esa definición, ¿cuál sería la probabilidad de que 2+2 siga siendo 4 dentro de doce meses? Uno estaría tentado a decir que es del 100%, es decir, que pagaría hasta 100 € por el derecho a recibir 100 € en un año si 2+2 es todavía 4 para entonces.