Llms

ALIA: los enlaces

ALIA es el LLM público español. Hasta hace no mucho se sabía poco de él. Durante meses, solo hubo dos clústers de noticias:

  • Uno, alededor del 25 de febrero de 2024, coincidiendo con el anuncio de la cosa (véase, por ejemplo, esto o esto).
  • Otro, alrededor de abril de 2024, cuando se anunció un acuerdo con IBM para el desarrollo de dicho modelo (veáse esto o esto).En esa época ya tenía nombre, ALIA, y se lo esperaba para después del verano (véase esto).

Después hubo una especie de apagón informativo —acabó el verano y yo no paraba de pulsar F5 en Google en vano— solo rasgado por una críptica nota de Alberto Palomo, aquél que fue ungido tiempo atrás como el CDO del Reino de España, que en una entrevista en El Confidencial a principios de diciembre decía de pasada que:

carlos:~/ $ clih "Find all files older than 45 days"

Estas cosas hace ahora mi terminal:

carlos:bin/ $ clih "Find all files older than 45 days"
find / -type f -mtime +45 -print

A clih le paso la descripción de una tarea que quiero realizar en mi ordenador y me devuelve el comando correspondiente. Lo he construído así:

  1. He instalado LLM para llamar modelos desde línea de comandos.
  2. Lo he contectado con mi cuenta en DeepInfra según estas instrucciones (con la salvedad de que estoy usando Llama-3.3-70B-Instruct). De todos modos, es posible que cambie pronto a DeepSeek V3, que es mejor y más barato.
  3. He creado un template con el nombre de clihint; véanse los detalles debajo.
  4. He creado un alias así: alias clih='llm -t clihint'

El template, inspirado en esto, es un fichero yaml con el siguiente contenido:

Claude y el desafío matemático navideño de 2024

Dice Gaussianos:

Siguiendo la tradición desde 2012, vuelve el Desafío Matemático RSME-El País de Navidad. Este año, como hace ya tiempo, de nuevo es Adolfo Quirós (profesor de la Universidad Autónoma de Madrid (UAM) y director de La Gaceta de la Real Sociedad Matemática Española) quien nos lo presenta.

El problema es el siguiente:

El desafío comienza cuando elegimos dos números de la Lotería de Navidad (recordemos que tienen 5 cifras), con la única condición de que cumplan estos dos requisitos:

Monosemanticidad: una introducción para despistados

I.

Hay gente que estudia el funcionamiento del cerebro. Una de las cosas que buscan es tratar de relacionar funciones cognitivas con regiones concretas. Para eso usan MRI, electrodos, etc. Yo qué sé. Un problema al que se enfrentan los investigadores es que estos procedimientos son o muy intrusivos, o tienen mucho ruido o ambos a la vez.

Hay gente que busca entender de manera similar los LLMs y responder a preguntas del tipo: ¿es posible identificar coeficientes (o grupos de coeficientes) relacionados con conceptos concretos? Además, examinar los coeficientes de un LLM es mucho más sencillo que estudiar sinapsis de lejos. De todos modos, no está claro, a priori, que tenga que ocurrir de esa manera, es decir, que tengan que existir regiones (no necesariamente físicamente colindantes) de los coeficientes que estén vinculadas unívocamente a un concepto determinado.

Estimaciones, intervalos de confianza y todas esas cosas... ¿qué significan realmente?

Hace unos años argumenté sobre estimaciones e intervalos de confianza alrededor de

Speed of light

que muestra estimaciones históricas de la velocidad de la luz. Pero

Lifetime neutron

(extraído de aquí) es todavía mucho más jugoso:

  • Por un lado, como en el otro caso, ¿qué significan realmente los intervalos de confianza?
  • Pero, además, las estimaciones se arraciman en el tiempo, y eso refleja… ¿dependencia de la tecnología disponible en el tiempo? ¿Estimaciones rebaño?

Muy instructivo sobre la verdad de las cosas.

Pero, ¿cuánto consumen los LLMs?

I.

En los años 50 y 60 se hicieron muchas predicciones acerca de cómo sería el mundo de hoy. Eran los años en que se popularizó la ciencia ficción y, además, el cambio de milenio estaba a la vuelta de la esquina.

Puede que alguien se sienta tentado de recopilar predicciones —y elucubraciones— sobre innovaciones técnicas realizadas en esa época y analizar su grado de acierto. Que sepa que llega tarde. Un análisis de ese tipo aparece en (el muy extravagante libro) Where Is My Flying Car?: A Memoir of Future Past. Si uno realizase un análisis discriminante con el objetivo de separar ambas clases —las tecnologías de las que hoy disponemos de las que siguen siendo una ensoñación— observaría que la variable más relevante es la intensidad del uso de la energía: no viajamos regularmente a la luna o nos desplazamos en coches voladores: eso consume mucha energía; sin embargo, realizamos videollamadas y tenemos a un click de distancia prácticamente toda la información disponible el mundo: energéticamente, es casi gratis. Dicen que una búsqueda en Google consume 0.3 Wh (o lo hacía en 2011); tendría que hacer más de 300 búsquedas en una hora para gastar en eso más de lo que quemo yo sentado mientras las realizo.