LLMs

Joseph Heath ha acuñado el término highbrow misinformation (¿«desinformación elitista»?): A esto lo denomino «desinformación elitista» no solo por el nivel social y la autoconsideración de quienes creen en ella sino, además, por la forma relativamente sofisticada en que se propaga. A menudo, uno puede encontrar el enunciado exacto sepultado en algún lugar del texto, pero expuesto intencionalmente de tal manera que confunde a la mayoría de los lectores. Andrew Gelman escribe sobre qué creencias se consideran aceptables y cuáles no. Donde «socialmente aceptables» quiere decir exactamente «entre gente de cierta clase social y nivel intelectual». Lo usa para reprochar a algunos haber dado asomos de credibilidad a historias sobre OVNIs. ...

Al trabajar con LLMs, la elección del idioma tiene efectos en términos de precisión, precio y fiabilidad. La evidencia empírica está alineada con lo que se esperaría razonando desde primeros principios: en inglés funcionan mejor. En términos de precisión, existe una degradación sistemática fuera del inglés que se acentúa en lenguas minoritarias y exóticas. Esto es así por el sobremuestreo de los contenidos en inglés en el entrenamiento, que, además, es mucho más sustancial en disciplinas científicas y técnicas. Por lo tanto, se especula que los modelos «internalizan» mejor los patrones semánticos y las estructuras argumentativas en ese idioma. La conclusión operativa es que si la tarea requiere exactitud (análisis, programación, medicina, etc.), usar el inglés reduce el riesgo de error. ...

El autor del paquete revss de R para el análisis estadístico de muestras pequeñas, anuncia una actualización importante explicando en particular el uso de LLMs para reescribir el motor de cálculo en Fortran y C, optimizando el rendimiento de manera significativa. No todo va a ser slop. Semianalysis se pregunta si los centros de datos de la IA van a incrementar el precio de la electricidad para los hogares de los EEUU y mediante un análisis comparativo concluye que las subidas de precios que se observan en ciertas regiones se deben más a errores en el diseño del mercado y a los problemas que supone la planificación centralizada que a la demanda de estos nuevos consumidores. ...

A la hora de evaluar el potencial impacto de los LLMs en el mercado laboral, tanto en general como en el más concreto de la ciencia de datos y la estadística, es conveniente distinguir entre tipos de conocimiento. En esta entrada voy a considerar una dimensión muy particular en la que la inteligencia de los LLMs y la humana operan de manera muy distinta: la de la legibilidad de la información y el conocimiento. ...

Con cada nueva tecnología, aparece al menos un estudio que la usa para tratar de revivir la frenología. El turno ahora es para AI Personality Extraction from Faces: Labor Market Implications. El economista John Cochrane ha probado Refine, un agente diseñado específicamente para revisar críticamente artículos académicos, y nos cuenta cómo los comentarios recibidos son mejores que los de la mayoría de los revisores humanos, destacando la capacidad de Refine para identificar contradicciones y lagunas. ...

Jeff Soules dio una charla sobre buenas prácticas de programación (particularmente acerca de técnicas para mejorar la legibilidad del código) y publicó las correspondientes diapositivas. Guillermo Luijk siempre escribe cosas interesantes. De entre sus últimas: Optimizando el paseo de perros con R Distribuciones normales en la torre de Pisa Perspectiva aérea desde mapa de elevaciones con C++ A Software Library with No Code describe un experimento que muchos considerarán distópico: usando LLMs, se pueden crear y compartir abstracciones reutilizables; en este caso concreto, descripciones detalladas sobre cómo debería funcionar una determinada librería pero sin escribir una sola línea de código tradicional. El usuario de esta metalibrería utilizaría un LLM para obtener una implementación en el lenguaje objetivo de su elección: Python, etc. Hay gente que utiliza LLMs para portar librerías de un lenguaje a otro; esta metalibrería representa un pequeño nivel adicional de abstracción: la descripción de lo que ha de hacer no está descrita en código sino en instrucciones verbales precisas e interpretables por los LLMs. Habría que ver si el lenguaje natural es preferible a código —que es una forma concreta de seudocódigo— para describir lo que se espera de la librería; porque lo que se espera de este (del código) es que sea más específico y menos ambiguo que aquel (el natural) a la hora de describir algoritmos fielmente.

Electricity use of AI coding agents es el enésimo intento para desactivar ese meme de que por culpa de los LLMs vamos a quedarnos sin planeta. Persuasion of Humans Is the Bottleneck discute el verdadero cuello de botella en el despliegue de los LLMs: el operador humano. Además del marco legal (y la responsabilidad asociada a él) en el que operan la mayor parte de las organizaciones humanas. Eso sí, incurre en una especie de falacia de Nirvana al dar por hecho que aquello a lo que los LLMs reemplazarían es perfecto, cuando todos sabemos que dista mucho de serlo. Wilson Lin on FastRender: a browser built by thousands of parallel agents trae detalles sobre la construcción de un navegador desde cero usando agentes a mansalva. Todo el mundo parece estar hablando del artículo Behavioral Economics of AI: LLM Biases and Corrections, que estudia si los LLMs actúan o no como se espera del homo œconomicus. Un resultado inesperado es que cuanto mejor es un modelo, más tiende a equivocarse en el mismo sentido que lo haría un humano. How AI Is Learning to Think in Secret trata sobre si los LLMs están construyendo (o van a construir) un lenguaje especial y optimizado para pensar que resulte ininteligible para los humanos. Creía haber leído que en algunos subforos de Moltbook había agentes discutiendo la posibilidad de usar algún tipo de DroidSpeak para comunicarse entre ellos sin las servidumbres del lenguaje humano, pero no he podido encontrarlos; igual lo he soñado. ...

Tiene Jesús Alfaro una entrada en su blog, Por qué la AI generativa es menos útil para lidiar con cuestiones jurídicas que en otros ámbitos, cuyo contenido no es enteramente fiel a su rótulo. Aunque aporta razones de peso (y que no voy a cuestionar) sobre los problemas que plantean los LLMs a la hora de resolver cuestiones jurídicas, no acaba de explicar qué cosa concreta los hace precisamente menos útiles que en otros campos. Es decir, aunque anuncia una comparación, luego no la realiza expresamente. El objetivo de esta entrada es comparar el uso de los LLMs en el ámbito del derecho —basándome necesariamente en la entrada anterior en tanto que mi experiencia en esa disciplina es nula— con otros que conozco mejor, matemáticas y programación, para acabar proponiendo una síntesis (en el sentido dialéctico del término). ...

Mathematical exploration and discovery at scale. Terence Tao describe su experiencia con AlphaEvolve, una herramienta que utiliza LLMs para evolucionar código para resolver problemas de optimización matemática. Tao lo relaciona con el descenso estocástico: en lugar de optimizar generando iterativamente nuevos vectores más o menos aleatorios que van aproximándose al óptimo, el sistema genera un programa aleatorio en Python que va refinando progresivamente el anterior. Una serie de herramientas creadas por Google: ...

Hace casi un año escribí ¿Acabaremos programando todos en ensamblador?, que comenzaba así: Un lenguaje de programación es un lenguaje que media entre el que nos es familiar a los humanos y el que reconocen las computadoras. Los lenguajes de alto nivel nos resultan más cómodos; los de bajo nivel, más crípticos. Todos conocemos, pienso, el trade-off. Hay lenguajes muy próximos a los humanos, como scratch o logo. Otros, a la máquina, como C o ensamblador. Mucha gente opta por uno en la zona media del espectro, como Python. ...