Cortos

I.

Juan Cambeiro escribe en Asterisk What Comes After COVID. El covid nos aburre y no nos interesa, pero el artículo es un ejercicio de “probabilidad aplicada” —en el que se estudia cuándo y qué causará la próxima pandemia, pero eso es casi lo de menos— del que muchos podrán sacar provecho.

II.

La mayor parte de los artículos en economía son inútiles; todos los involucrados lo saben. Fuera del primer cuartil, todo es esencialmente es una estafa que no sobreviviría una revisión crítica."

Últimamente he creado muchas pequeños scripts en Python con parámetros de todo tipo. Tanto esta entrada para los principios generales como, por supuesto, los LLMs más habituales, me han acabado ahorrando horas y horas de trabajo.

shelmet, un paquete de Python para interactuar con la shell, está comenzando a aparecer en la cabecera de mis scripts.

Estoy creando cada vez más diagramas como parte de la documentación de mis proyectos. Ninguna herramienta es tal como me gustaría, pero la más próxima a la que consideraría ideal que he encontrado por el momento es Excalidraw.

I.

Stephen Wolfram ha escrito What Is ChatGPT Doing … and Why Does It Work? explicando el funcionamiento de las redes neuronales en general y de ChatGPT en particular.

Me gusta especialmente: tiene una perspectiva mucho más afín a la mía que la de muchas otras introducciones al asunto que no aciertan a separar como Wolfram los aspectos conceptuales y abstractos de los detalles concretos de la implementación.

Y rescato del texto —¡muy largo!— dos párrafos que pudiera haber escrito yo —e, igual, si reviso, las he escrito realmente—. Sobre las redes neuronales con estructura como las convolucionales, los transformers, etc., dice:

I.

Mi LLM favorito, el que usaba en mi tinglado doméstico habida cuenta de su precio, calidad y disponibilidad era Mixtral-8x7B-Instruct (del que existen versiones pixeladas que ocupan solo 36GB y corren en local, según esto).

Pero ya no: he migrado a Command-R+.

II.

Obsoleto.

(Aquí había dejado unos días atrás unas notas sobre algo relevante sobre los LLMs para su publicación, pero al revisarlo hoy he visto que ya ha quedado obsoleto.)

III.

Todo sobre el function calling, posiblemente la aplicación más poderosa y con más recorrido de los LLMs.

I.

Aquí se explica cómo es una mezcla de expertos, la arquitectura detrás de LLMs como Mixtral (el LLM que más uso, sobre todo en APIs). Curiosamente, la arquitectura está basada en ideas de este artículo… ¡de 1991!

II.

Aquí se tratan los LMMs (donde la L de language se ha reemplazado por la M de multimodal). Se dice:

A muy alto nivel, un sistema multimodal consta de los siguientes componentes:

1. Un codificador para cada modo de datos que genere los embeddings correspondientes.
2. Un procedimiento para alinear los embeddings de los diferentes modos en el mismo espacio.
3. [Solo para modelos generativos] Un modelo de lenguaje para generar respuestas textuales. Como las entradas pueden contener tanto texto como elementos visuales, hace falta desarrollar técnicas para condicionar el modelo de lenguaje no solo al texto sino también a los elementos visuales.

El segundo punto me recuerda a lo de aquellos ratones que acordaron ponerle un cascabel al gato.

I.

El artículo Locally Adaptive Tree-Based Thresholding Using the treethresh Package in R describe una versión sofisticada de un truco que suelo usar para detecter cambios de régimen, etc., en series temporales:

• Quieres modelar una serie temporal
• Pero hay motivos para pensar que en realidad es la concatenación de varias series temporales distintas, con regímenes distintos.
• Quieres filtrar y quedarte con la representativa de hoy (y el corto plazo vendiero).
• Luego usas árboles más o menos como en el artículo.

II.

Lo que se cuenta aquí me gusta y no me gusta:

I.

Que ssh tenía una puerta trasera (en sus últimas versiones). Está por todas partes, incluido en The Economist. Pasó, se ve, esto:

• El backdoor fue plantado en las XZ Utils.
• Su principal mantenedor es un tal Lasse Collin, que, se dice, no parece andar muy bien de salud mental.
• Otro desarrollador, Jia Tan, colaboró en el proyecto durante un tiempo. Finalmente, en febrero, acabó insertando el código malicioso.
• Se ve que el tal Jia Tan no existe; probablemente, se trate de una identidad falsa manejada por… ¿el gobierno ruso?

Véase también esta descripción más técnica y detallada.

I.

Todo lo que uno necesita saber sobre los espacios de colores (y nunca supo que lo necesitaba preguntar).

II.

Todos estos asuntos sobre la intermitencia de las energías renovables, etc., ¡son tan estadísticos/probabilísticos! ¿Cómo no quererlos?

III.

Otro artículo sobre la reducción de la varianza. Esta vez, el de los precios del pescado en el sur de la India. El gráfico que lo dice todo es este:

Otro de los instrumentos para reducir la varianza de los precios son los mercados, en general y los de futuros en particular. Pero a principios del siglo que corre, cuando andaba por aquella parte del mundo, el gobierno de la India decidió hacer esta cosa que me ha recordado Claude-3-Opus (al que cito):

I.

Does GPT-2 Know Your Phone Number? discute dos asuntos distintos:

• Métodos para identificar y estimar el número de textos literales que aprende un LLM.
• Un análisis ya irrelevante de cómo afectaba a GPT-2.

Obviamente, quiero que los LLMs sepan recitar literalmente la primera frase del Quijote o la última de Cien años de soledad. Y tal vez no (¿seguro que no?) información confidencial sobre alguien. Entre ambos extremos, ¿dónde está la frontera?

I.

¿Que solo me haya enterado que existe la función coplot en R en 2024? Se habla de ella aquí y aquí. En el fondo, son los pequeños múltiplos de toda la vida con algunas pequeñas diferencias interesantes.

II.

Nota para mí: en mi próximo proyecto de predicción (de series temporales), acudir a Open Forecasting y darle una oportunidad antes y en lugar de aterrizar por inercia, por defecto y por pereza en Forecasting: Principles and Practice.

I.

Los matemáticos siempre tendemos a obviar que en muchas situaciones las magnitudes con las que se trabaja tienen unidades y que las expresiones con las que se opera tienen que ser coherentes dimensionalmente. Tanto en el muy recomendable libro Street-Fighting Mathematics como mucho más brevemente en Using dimensional analysis to check probability calculations se muestran algunas aplicaciones de razonamientos derivados de la coherencia dimensional incluso en la teoría de la probabilidad.