Cortos

Otro índice de sorpresa y algún que otro asunto más

I.

Lo que hemos aprendido de lanzar al aire monedas 350757 veces. Del resumen:

  • Hay cierta tendencia (~51%) a que la moneda caiga en el mismo sentido en que estaba al ser lanzada (i.e., que salga cara si al lanzar la moneda, la cara estaba hacia arriba).
  • Hay mucha variación interpersonal.
  • El sesgo decrece conforme la misma persona lanza las monedas más y más veces.

II.

Si alguien os pregunta de algún caso en el que se explica una cosa oscura de manera todavía más oscura, mostradles Desorden y predicción en series trimestrales.

Descuentos para RCTs algunos asuntos más

I.

Si algo aprendemos en Why any estimate of the cost of climate change will be flawed es cómo los resultados de los modelos dependen críticamente de las prioris (de todo tipo, incluso aquellas entendidas en sentido amplio que se aplican en análisis no necesariamente bayesianos).

II.

El artículo reseñado aquí me ha recordado esto que escribí hace tiempo. Y, a su vez, me ha permitido constatar que no tengo ninguna entrada específica sobre uno de mis resultados empíricos favoritos: el llamado teorema de la imposibilidad de la Super Bowl.

"El problema de la academia" y cuatro asuntos más

I.

Aquí dice lo que con mi traducción suena así:

El problema de la academia no es el plagiarismo. En economía, un secreto que la academia guarda celosamente es que casi toda la investigación es inválida o inútil por varios motivos.

¿Qué hacer? No leer.

II.

¿Y en estadística? Aquí se cita la frase

Gran parte de la estadística del siglo XX es una pérdida de tiempo consistente en calcular respuestas precisas a preguntas irrelevantes.

Un par de novedades de R 4.4.0 y algunos otros asuntos más

I.

Una vulnerabilidad asociada a R y un análisis sobre la intrahistoria de la misma. Se refiere a la importación acrítica de ficheros binarios de datos en R, en el que un agente malicioso puede haber insertado código que no quieres ver corriendo en tu máquina.

II.

Hay gente que busca asociaciones en tablas con millones de celdas, la mayor parte de las cuales tienen valores 0 o 1. Es un problema con la peor de las pintas del mundo, pero hay artículo y código.

Regresiones con discontinuidad y algunos otros asuntos

I.

A veces te tropiezas con algún conocido en algún sitio fuera de donde lo frecuentas y lo saludas con un “¿qué haces tú por aquí?”.

El otro día, leyendo sobre aquellos audaces emprendedores de siglos atrás que perseguían móviles perpetuos tropecé con William Petty, nada menos.

II.

Tomas varias fotos de un mismo motivo y las combinas (o apilas) usando distintas técnicas. Guillermo Luijk nos ilustra con lo que pasa cuando usas el mínimo, el máximo, la media y la mediana como funciones de agregación.

Embeddings, LLMs y algunas de sus aplicaciones a mediados de 2024

I.

Están apareciendo herramientas basadas en LLMs para industrializar la investigación. Tengo recopiladas, por el momento, cuatro: Consensus, Zotero, Elicit, Tavily y FutureSearch. De vez en cuando pruebo Consensus para valorar cómo va mejorando. Y le queda: la última vez, al preguntarle sobre el procedimiento científico para reproducir la dipladenia por esquejes, me sugirió algo así como aplicarle rayos gamma (!).

II.

Unos cuantos enlaces sobre aplicaciones reales —en la economía real— de los LLMs (y los LMMs) en diversas áreas, como el vídeo (vía sora), la música (vía suno), la programación (vía devin) o el RAG y/o Finetuning.

Alberto Olmos sobre los microfundamentos y cuatro asuntos más

I.

Juan Cambeiro escribe en Asterisk What Comes After COVID. El covid nos aburre y no nos interesa, pero el artículo es un ejercicio de “probabilidad aplicada” —en el que se estudia cuándo y qué causará la próxima pandemia, pero eso es casi lo de menos— del que muchos podrán sacar provecho.

II.

La mayor parte de los artículos en economía son inútiles; todos los involucrados lo saben. Fuera del primer cuartil, todo es esencialmente es una estafa que no sobreviviría una revisión crítica."

Algunas novedades tecnológicas que he recopilado en los últimos tiempos (no todas rompedoramente nuevas)

Últimamente he creado muchas pequeños scripts en Python con parámetros de todo tipo. Tanto esta entrada para los principios generales como, por supuesto, los LLMs más habituales, me han acabado ahorrando horas y horas de trabajo.

shelmet, un paquete de Python para interactuar con la shell, está comenzando a aparecer en la cabecera de mis scripts.

Estoy creando cada vez más diagramas como parte de la documentación de mis proyectos. Ninguna herramienta es tal como me gustaría, pero la más próxima a la que consideraría ideal que he encontrado por el momento es Excalidraw.

Wolfram sobre los LLMs (y otras cuatro historias relacionadas con el asunto)

I.

Stephen Wolfram ha escrito What Is ChatGPT Doing … and Why Does It Work? explicando el funcionamiento de las redes neuronales en general y de ChatGPT en particular.

Me gusta especialmente: tiene una perspectiva mucho más afín a la mía que la de muchas otras introducciones al asunto que no aciertan a separar como Wolfram los aspectos conceptuales y abstractos de los detalles concretos de la implementación.

Y rescato del texto —¡muy largo!— dos párrafos que pudiera haber escrito yo —e, igual, si reviso, las he escrito realmente—. Sobre las redes neuronales con estructura como las convolucionales, los transformers, etc., dice:

Cortos - LLMs

I.

Mi LLM favorito, el que usaba en mi tinglado doméstico habida cuenta de su precio, calidad y disponibilidad era Mixtral-8x7B-Instruct (del que existen versiones pixeladas que ocupan solo 36GB y corren en local, según esto).

Pero ya no: he migrado a Command-R+.

II.

Obsoleto.

(Aquí había dejado unos días atrás unas notas sobre algo relevante sobre los LLMs para su publicación, pero al revisarlo hoy he visto que ya ha quedado obsoleto.)

III.

Todo sobre el function calling, posiblemente la aplicación más poderosa y con más recorrido de los LLMs.

Más cortos sobre LLMs

I.

Aquí se explica cómo es una mezcla de expertos, la arquitectura detrás de LLMs como Mixtral (el LLM que más uso, sobre todo en APIs). Curiosamente, la arquitectura está basada en ideas de este artículo… ¡de 1991!

II.

Aquí se tratan los LMMs (donde la L de language se ha reemplazado por la M de multimodal). Se dice:

A muy alto nivel, un sistema multimodal consta de los siguientes componentes:

  1. Un codificador para cada modo de datos que genere los embeddings correspondientes.
  2. Un procedimiento para alinear los embeddings de los diferentes modos en el mismo espacio.
  3. [Solo para modelos generativos] Un modelo de lenguaje para generar respuestas textuales. Como las entradas pueden contener tanto texto como elementos visuales, hace falta desarrollar técnicas para condicionar el modelo de lenguaje no solo al texto sino también a los elementos visuales.

El segundo punto me recuerda a lo de aquellos ratones que acordaron ponerle un cascabel al gato.

Cortos (sobre R)

I.

El artículo Locally Adaptive Tree-Based Thresholding Using the treethresh Package in R describe una versión sofisticada de un truco que suelo usar para detecter cambios de régimen, etc., en series temporales:

  • Quieres modelar una serie temporal
  • Pero hay motivos para pensar que en realidad es la concatenación de varias series temporales distintas, con regímenes distintos.
  • Quieres filtrar y quedarte con la representativa de hoy (y el corto plazo vendiero).
  • Luego usas árboles más o menos como en el artículo.

II.

Lo que se cuenta aquí me gusta y no me gusta:

Cortos (sobre IA y LLMs, fundamentalmente)

I.

Que ssh tenía una puerta trasera (en sus últimas versiones). Está por todas partes, incluido en The Economist. Pasó, se ve, esto:

  • El backdoor fue plantado en las XZ Utils.
  • Su principal mantenedor es un tal Lasse Collin, que, se dice, no parece andar muy bien de salud mental.
  • Otro desarrollador, Jia Tan, colaboró en el proyecto durante un tiempo. Finalmente, en febrero, acabó insertando el código malicioso.
  • Se ve que el tal Jia Tan no existe; probablemente, se trate de una identidad falsa manejada por… ¿el gobierno ruso?

Véase también esta descripción más técnica y detallada.