Posts

Aquí se lee:

Preferimos el término “comparaciones” al de “efectos” en tanto que el primero es más general que el segundo. Una comparación es un efecto solo en aquellos casos en los que el modelo tiene una interpretación causal válida.

En Intrumental variable regression and machine learning se discute cómo aplicar la técnica de las variables instrumentales no con regresiones lineales sino con otro tipo de modelos más generales (y se ilustra con random forests).

Introducción

He estado pesando durante las vacaciones sobre el asunto de la causalidad y su naturaleza. He llegado a la conclusión que resumo en esta entrada. Es posible que esté en contradicción con otras cosas que haya escrito o dicho previamente sobre el asunto. Quedan corregidas —enmendadas o deprecadas— por la presente.

Al hablar de causalidad hoy aquí no me refiero al problema, relacionado pero distinto, de medir el efecto de determinadas intervenciones y las dificultades que eso entraña. Me refiero a lo que la causalidad propiamente es —si se quiere, en términos filosóficos—.

Hay un blog que conoció mejores tiempos, lleva varios años en caída libre y estoy por quitar de mi lista de RSS: NadaEsgratis. Para aprender de lo que trata hay mejores sitios. Y de lo único que informa, el lastimoso estado de la disciplina en cuestión en España, es agua sobre mojado.

Pero de vez en cuando inspira entradas. Por ejemplo, Estadística y fraude electoral: lo que el teorema central del límite nos revela acerca del régimen de Putin, de Manuel Bagues.

En la entrada de hoy recopilo unas cuantas aplicaciones de los LLMs.

Enlazo una entrevista a Tyler Cowen discutiendo cómo usa los GPTs. Según extrae NotebookLM de su transcripción, sus principales casos de uso son:

• Investigar hechos históricos oscuros.
• Traducir cualquier cosa.
• Obtener información sobre menús en restaurantes el extranjero.
• Identifciar plantas y pájaros.
• Comprender temas complejos y generar preguntas para entrevistas.
• Obtener información a partir de los diarios personales.
• Entender las necesidades de su perro.

Aquí, una charla de Simon Willison sobre LLMs en general y sus aplicaciones en particular.

A mediados del 2020 escribí de pasada sobre un proyecto piloto para medir los efectos de la renta básica universal en BCN. Hoy, por motivos que no te interesan, me ha dado por volver a revisar los resultados del estudio y he escrito en Google “renta básica universal barcelona”.

Me ha sorprendido que la casi totalidad de los resultados de la búsqueda fuesen a páginas muy recientes, todas de los últimos 12 meses. Y que el primero fuese este, el enlace a un PDF del gobierno regional de Cataluña titulado Informe de diseño Plan piloto de la renta básica universal.

I. Lo que hemos aprendido

Una serie de tres entradas (táctica, estrategia y operaciones) sobre todo lo que hemos aprendido en el tiempo que llevamos desarrollando aplicaciones con LLMs.

II. Prompts

El modelo CO-STAR (contexto, objetivo, estilo, tono, audiencia y respuesta) me ha resultado muy útil para ciertas aplicaciones. Aunque, un día que no es el de hoy, será posible automatizar la búsqueda de prompts efectivos.

III. GPT-2

Cuando apareció, GPT-2 parecía realmente magia. Pero hoy se puede entrenar en hora y media por veinte dólares.

Los jugadores $A$ y $B$ se enfrentan al ajedrez. El Elo de A y B son dos números $E_A$ y $E_B$ tales que la probabilidad de que $A$ gane la partida a $B$ es

$$P(A-B) = \frac{1}{1 + 10^{(E_B - E_A) / 400}} = \frac{1}{1 + \exp(-k(E_A - E_B))}$$

para un determinado valor de $k$ que no me voy a molestar en calcular.

Omitiendo la complicación de que las partidas de ajedrez pueden terminar en tablas, podríamos entender el Elo como —prácticamente— los coeficientes de una regresión logística ajustada sobre unos datos, un histórico de partidas de ajedrez, con una matriz de diseño muy particular:

I. Visualización

Recopilo aquí cuatro enlaces vagamente hermanados por su relación con la visualización (y los LLMs):

• Exploración interaectiva de la arquitecturas de ciertos LLMs, aquí.
• Una visualización/animación sobre cómo funcionan los transformers, aquí.
• Aquí, en vídeo.
• Y dos para tokens, este y este.

II. Inteligencia

Dos discusiones, esta y esta, sobre la inteligencia de los LLMs. De la primera rescato eso de que estamos moviendo constantemente la portería de eso que llamamos inteligencia. De la segunda, la vinculación de lo que hacen actualmente los LLMs con el pensar deprisa y despacio de Kahneman.

I.

Hay gente que estudia el funcionamiento del cerebro. Una de las cosas que buscan es tratar de relacionar funciones cognitivas con regiones concretas. Para eso usan MRI, electrodos, etc. Yo qué sé. Un problema al que se enfrentan los investigadores es que estos procedimientos son o muy intrusivos, o tienen mucho ruido o ambos a la vez.

Hay gente que busca entender de manera similar los LLMs y responder a preguntas del tipo: ¿es posible identificar coeficientes (o grupos de coeficientes) relacionados con conceptos concretos? Además, examinar los coeficientes de un LLM es mucho más sencillo que estudiar sinapsis de lejos. De todos modos, no está claro, a priori, que tenga que ocurrir de esa manera, es decir, que tengan que existir regiones (no necesariamente físicamente colindantes) de los coeficientes que estén vinculadas unívocamente a un concepto determinado.

I.

Las X han cumplido 40 años (y urge jubilarlas).

II.

Escribes código en el panel de la izquierda, eliges el compilador y ves el código generado (típicamente, ensamblador) en el panel de la derecha de esto.

III.

Alguien hizo ingeniería inversa de Github Copilot y escribió esto.

IV.

Esta aplicación convierte PDFs en podcasts. Muy alineada con las tendencias de estos tiempos que vivimos.

V.

Aquí no solo se estima el consumo de energía que realiza un LLM al generar texto sino que también se compara con el del sujeto al que reemplazaría. Eso sí, no menciona a Jevons por ninguna parte.