Llms

Un lenguaje de programación es un lenguaje que media entre el que nos es familiar a los humanos y el que reconocen las computadoras. Los lenguajes de alto nivel nos resultan más cómodos; los de bajo nivel, más crípticos. Todos conocemos, pienso, el trade-off.

Ahora todo el mundo programa en Python. Pero los hay que lo hacen de una manera rara:

Hay un nuevo tipo de programaciónn que llamo [Andrej Karpathy] “programación de vibraciones”, en la que te entregas por completo a las vibraciones, adoptas exponenciales y te olvidas de que el código existe. Es posible porque los LLM (por ejemplo, Cursor Composer con Sonnet) se están volviendo demasiado buenos. Además, solo hablo con Composer con SuperWhisper, por lo que apenas toco el teclado. Pido las cosas más tontas como “reducir el relleno en la barra lateral a la mitad” porque soy demasiado vago para buscarlo. “Acepto todo” siempre, ya no leo los diffs. Cuando recibo mensajes de error, simplemente los copio y pego sin comentarios; generalmente, eso lo soluciona. El código crece más allá de mi comprensión habitual, tendría que leerlo realmente durante un tiempo. A veces, los LLM no pueden corregir un error, así que simplemente busco alternativas o pido cambios aleatorios hasta que desaparece. No está tan mal para proyectos de fin de semana intrascendentes, pero sigue siendo bastante divertido. Estoy desarrollando un proyecto o una aplicación web, pero en realidad no es programación: solo veo cosas, digo cosas, ejecuto cosas y copio y pego cosas, y en general funciona.

Las dos noticias del siglo de la semana en el mundo de los LLMs:

• Un análisis en profundidad (aunque presumiblemente prematuro) sobre el nuevo Grok 3.
• Sobre el Deep Research de Perplexity.

Aquí, The Economist argumenta que los LLMs no nos igualarán sino lo contrario, que contribuirá a separar aún más el desempeño socioeconómico de los individuos en función de su capacidades cognitivas (separate the best from the rest, en su formulación original).

Mandar una petición a un LLM equivale a usar un ordenador (bastante potente) un ratico. El consumo de electricidad no puede ser tan alto. Tiene que ser infinitamente inferior al de actividades cotidianas que involucren calentar cosas, por ejemplo. Pero el que quiera los números concretos, puede echarle un vistazo a Individual AI use is not bad for the environment.

LLMs a los que se pregunta por una variante del tres en raya, consistente en rotar el tablero 90 grados. Sus respuestas, todas desatinadas —de otra manera, ¿se habrían publicado los resultados?—, aquí.

DeepSeek V3 llevaba publicado desde diciembre; R1, desde hacía más de una semana; pero solo fue el lunes 27 de enero cuando NVDIA sufrió un descalabro y DeepSeek apareció repentinamente —hasta entonces no había rebasado los habituales foros friquis— en boca de todos (véase esto o esto, dos de las mejoras piezas al respecto que he recopilado). Aparentemente, lo que hizo caer la bolsa fue el artículo The Short Case for Nvidia Stock parecido el sábado 25 de enero en el que se hace un repaso detallado de las fortalezas pero, sobre todo, los peligros que acechan a NVIDIA. Algunas de las cuestiones que trata son:

ALIA es el LLM público español. Hasta hace no mucho se sabía poco de él. Durante meses, solo hubo dos clústers de noticias:

• Uno, alededor del 25 de febrero de 2024, coincidiendo con el anuncio de la cosa (véase, por ejemplo, esto o esto).
• Otro, alrededor de abril de 2024, cuando se anunció un acuerdo con IBM para el desarrollo de dicho modelo (veáse esto o esto).En esa época ya tenía nombre, ALIA, y se lo esperaba para después del verano (véase esto).

Después hubo una especie de apagón informativo —acabó el verano y yo no paraba de pulsar F5 en Google en vano— solo rasgado por una críptica nota de Alberto Palomo, aquél que fue ungido tiempo atrás como el CDO del Reino de España, que en una entrevista en El Confidencial a principios de diciembre decía de pasada que:

GPT-4 se entrenó usando un clúster de 25k GPUs, Musk planea construir un centro de datos con 100k GPUs y Meta, uno de 350k. Sin embargo, parece que tecnologías emergentes como DiLoCo (de distributed low communication), permitirá entrenar esos modelos sin necesidad de grandes centros de cálculo. Una visión alternativa en la que se especula con la construcción de enormes centros de datos (con potencias eléctricas de hasta de 5GW) puede verse aquí.

En Dear Political Scientists: Don’t Bin, GAM Instead se discute una ocurrencia concreta de una disyuntiva más general que aparece frecuentemente en la práctica: crear varios modelos simples con bloques diferentes de datos contra utilizar un modelo global flexible que englobe todos los datos. Tengo la sospecha de que se ha optado históricamente por la primera aproximación por motivos —entre otros— computacionales que ya no operan.

La única manera de plantearse en serio la pregunta Will Transformers Revolutionize Time-Series Forecasting? es no saber de predicción de series temporales y no saber de transformers. No está nada claro, por ejemplo, cómo usar transformers para modelar series como $y_t = \alpha t + \epsilon_t$. Pudiera ser que LSTM funcionase mejor (véase esto o esto) pero sigo apostando por Forecasting: Principles and Practice.

Aplicaciones

Daisy, una “abuelita IA” para marear a los estafadores. Se trata de una herramienta creada por O2 en el RU que atiende llamadas telefónicas de timadores y entabla conversaciones con ellos con el objetivo último de hacerles perder tiempo. Van a ser entretenidos los falsos positivos cuando, sin duda, los haya.

Prompts

Por un lado, internet está plagada de tutoriales y trucos para generar mejores prompts. Por otro, se advierte una brecha cada vez más ancha entre quienes saben utilizar los LLMs con cierta soltura y los que no. Uno de los problemas que plantean los LLMs es que cada cual, por el momento, está prácticamente solo a la hora de diseñar su propio arsenal de herramientas construidas sobre los LLMs que resulten útiles para su trabajo concreto. Por eso y a pesar de la objeción que planteo arriba, me atrevo a mostrar, como ejemplo de buen uso de estas tecnologías lo que se cuenta en 5 Mega ChatGPT Prompts that I Use Everyday to Save 4+ Hours.

Dice Gaussianos:

Siguiendo la tradición desde 2012, vuelve el Desafío Matemático RSME-El País de Navidad. Este año, como hace ya tiempo, de nuevo es Adolfo Quirós (profesor de la Universidad Autónoma de Madrid (UAM) y director de La Gaceta de la Real Sociedad Matemática Española) quien nos lo presenta.

El problema es el siguiente:

El desafío comienza cuando elegimos dos números de la Lotería de Navidad (recordemos que tienen 5 cifras), con la única condición de que cumplan estos dos requisitos:

Poesía

Hace poco se publicó un artículo en el que se estudiaban los resultados de un estudio ciego en el que a una serie de sujetos se les presentaban poemas escritos sea por humanos o por LLMs y se les preguntaba su opinión al respecto. No he leído el artículo, pero aquí están las opiniones no enteramente coincidentes al respecto de Tyler Cowen y de Jessica Hullman.

Ajedrez

Uno de los resultados más sorprendentes del prehistórico GPT-2 es que había aprendido a jugar al ajedrez sin que nadie le hubiese enseñado explícitamente. Cuatro años después, Dynomight ha retomado el asunto y ha escrito esto y esto.