I. Aquí se explica cómo es una mezcla de expertos, la arquitectura detrás de LLMs como Mixtral (el LLM que más uso, sobre todo en APIs). Curiosamente, la arquitectura está basada en ideas de este artículo… ¡de 1991!
II. Aquí se tratan los LMMs (donde la L de language se ha reemplazado por la M de multimodal). Se dice:
A muy alto nivel, un sistema multimodal consta de los siguientes componentes:
I. El artículo Locally Adaptive Tree-Based Thresholding Using the treethresh Package in R describe una versión sofisticada de un truco que suelo usar para detecter cambios de régimen, etc., en series temporales:
Quieres modelar una serie temporal Pero hay motivos para pensar que en realidad es la concatenación de varias series temporales distintas, con regímenes distintos. Quieres filtrar y quedarte con la representativa de hoy (y el corto plazo vendiero). Luego usas árboles más o menos como en el artículo.
I. Que ssh tenía una puerta trasera (en sus últimas versiones). Está por todas partes, incluido en The Economist. Pasó, se ve, esto:
El backdoor fue plantado en las XZ Utils. Su principal mantenedor es un tal Lasse Collin, que, se dice, no parece andar muy bien de salud mental. Otro desarrollador, Jia Tan, colaboró en el proyecto durante un tiempo. Finalmente, en febrero, acabó insertando el código malicioso. Se ve que el tal Jia Tan no existe; probablemente, se trate de una identidad falsa manejada por… ¿el gobierno ruso?
I. Todo lo que uno necesita saber sobre los espacios de colores (y nunca supo que lo necesitaba preguntar).
II. Todos estos asuntos sobre la intermitencia de las energías renovables, etc., ¡son tan estadísticos/probabilísticos! ¿Cómo no quererlos?
III. Otro artículo sobre la reducción de la varianza. Esta vez, el de los precios del pescado en el sur de la India. El gráfico que lo dice todo es este:
Otro de los instrumentos para reducir la varianza de los precios son los mercados, en general y los de futuros en particular.
I. Does GPT-2 Know Your Phone Number? discute dos asuntos distintos:
Métodos para identificar y estimar el número de textos literales que aprende un LLM. Un análisis ya irrelevante de cómo afectaba a GPT-2. Obviamente, quiero que los LLMs sepan recitar literalmente la primera frase del Quijote o la última de Cien años de soledad. Y tal vez no (¿seguro que no?) información confidencial sobre alguien. Entre ambos extremos, ¿dónde está la frontera?
I. ¿Que solo me haya enterado que existe la función coplot en R en 2024? Se habla de ella aquí y aquí. En el fondo, son los pequeños múltiplos de toda la vida con algunas pequeñas diferencias interesantes.
II. Nota para mí: en mi próximo proyecto de predicción (de series temporales), acudir a Open Forecasting y darle una oportunidad antes y en lugar de aterrizar por inercia, por defecto y por pereza en Forecasting: Principles and Practice.
I. Los matemáticos siempre tendemos a obviar que en muchas situaciones las magnitudes con las que se trabaja tienen unidades y que las expresiones con las que se opera tienen que ser coherentes dimensionalmente. Tanto en el muy recomendable libro Street-Fighting Mathematics como mucho más brevemente en Using dimensional analysis to check probability calculations se muestran algunas aplicaciones de razonamientos derivados de la coherencia dimensional incluso en la teoría de la probabilidad.
