Cortos

Algunas novedades tecnológicas que he recopilado en los últimos tiempos (no todas rompedoramente nuevas)

Últimamente he creado muchas pequeños scripts en Python con parámetros de todo tipo. Tanto esta entrada para los principios generales como, por supuesto, los LLMs más habituales, me han acabado ahorrando horas y horas de trabajo. shelmet, un paquete de Python para interactuar con la shell, está comenzando a aparecer en la cabecera de mis scripts. Estoy creando cada vez más diagramas como parte de la documentación de mis proyectos. Ninguna herramienta es tal como me gustaría, pero la más próxima a la que consideraría ideal que he encontrado por el momento es Excalidraw.

Wolfram sobre los LLMs (y otras cuatro historias relacionadas con el asunto)

I. Stephen Wolfram ha escrito What Is ChatGPT Doing … and Why Does It Work? explicando el funcionamiento de las redes neuronales en general y de ChatGPT en particular. Me gusta especialmente: tiene una perspectiva mucho más afín a la mía que la de muchas otras introducciones al asunto que no aciertan a separar como Wolfram los aspectos conceptuales y abstractos de los detalles concretos de la implementación. Y rescato del texto —¡muy largo!

Cortos - LLMs

I. Mi LLM favorito, el que usaba en mi tinglado doméstico habida cuenta de su precio, calidad y disponibilidad era Mixtral-8x7B-Instruct (del que existen versiones pixeladas que ocupan solo 36GB y corren en local, según esto). Pero ya no: he migrado a Command-R+. II. Obsoleto. (Aquí había dejado unos días atrás unas notas sobre algo relevante sobre los LLMs para su publicación, pero al revisarlo hoy he visto que ya ha quedado obsoleto.

Más cortos sobre LLMs

I. Aquí se explica cómo es una mezcla de expertos, la arquitectura detrás de LLMs como Mixtral (el LLM que más uso, sobre todo en APIs). Curiosamente, la arquitectura está basada en ideas de este artículo… ¡de 1991! II. Aquí se tratan los LMMs (donde la L de language se ha reemplazado por la M de multimodal). Se dice: A muy alto nivel, un sistema multimodal consta de los siguientes componentes:

Cortos (sobre R)

I. El artículo Locally Adaptive Tree-Based Thresholding Using the treethresh Package in R describe una versión sofisticada de un truco que suelo usar para detecter cambios de régimen, etc., en series temporales: Quieres modelar una serie temporal Pero hay motivos para pensar que en realidad es la concatenación de varias series temporales distintas, con regímenes distintos. Quieres filtrar y quedarte con la representativa de hoy (y el corto plazo vendiero). Luego usas árboles más o menos como en el artículo.

Cortos (sobre IA y LLMs, fundamentalmente)

I. Que ssh tenía una puerta trasera (en sus últimas versiones). Está por todas partes, incluido en The Economist. Pasó, se ve, esto: El backdoor fue plantado en las XZ Utils. Su principal mantenedor es un tal Lasse Collin, que, se dice, no parece andar muy bien de salud mental. Otro desarrollador, Jia Tan, colaboró en el proyecto durante un tiempo. Finalmente, en febrero, acabó insertando el código malicioso. Se ve que el tal Jia Tan no existe; probablemente, se trate de una identidad falsa manejada por… ¿el gobierno ruso?

Cortos

I. Todo lo que uno necesita saber sobre los espacios de colores (y nunca supo que lo necesitaba preguntar). II. Todos estos asuntos sobre la intermitencia de las energías renovables, etc., ¡son tan estadísticos/probabilísticos! ¿Cómo no quererlos? III. Otro artículo sobre la reducción de la varianza. Esta vez, el de los precios del pescado en el sur de la India. El gráfico que lo dice todo es este: Otro de los instrumentos para reducir la varianza de los precios son los mercados, en general y los de futuros en particular.

Cortos (sobre LLMs)

I. Does GPT-2 Know Your Phone Number? discute dos asuntos distintos: Métodos para identificar y estimar el número de textos literales que aprende un LLM. Un análisis ya irrelevante de cómo afectaba a GPT-2. Obviamente, quiero que los LLMs sepan recitar literalmente la primera frase del Quijote o la última de Cien años de soledad. Y tal vez no (¿seguro que no?) información confidencial sobre alguien. Entre ambos extremos, ¿dónde está la frontera?

Cortos (casi todos sobre R)

I. ¿Que solo me haya enterado que existe la función coplot en R en 2024? Se habla de ella aquí y aquí. En el fondo, son los pequeños múltiplos de toda la vida con algunas pequeñas diferencias interesantes. II. Nota para mí: en mi próximo proyecto de predicción (de series temporales), acudir a Open Forecasting y darle una oportunidad antes y en lugar de aterrizar por inercia, por defecto y por pereza en Forecasting: Principles and Practice.

Cortos

I. Los matemáticos siempre tendemos a obviar que en muchas situaciones las magnitudes con las que se trabaja tienen unidades y que las expresiones con las que se opera tienen que ser coherentes dimensionalmente. Tanto en el muy recomendable libro Street-Fighting Mathematics como mucho más brevemente en Using dimensional analysis to check probability calculations se muestran algunas aplicaciones de razonamientos derivados de la coherencia dimensional incluso en la teoría de la probabilidad.