Ia

Monosemanticidad: una introducción para despistados

I.

Hay gente que estudia el funcionamiento del cerebro. Una de las cosas que buscan es tratar de relacionar funciones cognitivas con regiones concretas. Para eso usan MRI, electrodos, etc. Yo qué sé. Un problema al que se enfrentan los investigadores es que estos procedimientos son o muy intrusivos, o tienen mucho ruido o ambos a la vez.

Hay gente que busca entender de manera similar los LLMs y responder a preguntas del tipo: ¿es posible identificar coeficientes (o grupos de coeficientes) relacionados con conceptos concretos? Además, examinar los coeficientes de un LLM es mucho más sencillo que estudiar sinapsis de lejos. De todos modos, no está claro, a priori, que tenga que ocurrir de esa manera, es decir, que tengan que existir regiones (no necesariamente físicamente colindantes) de los coeficientes que estén vinculadas unívocamente a un concepto determinado.

Más ideas alrededor de la sentencia de lo del bono social de la luz

[En esta entrada abundo en lo escrito la semana pasada sobre el mismo asunto centrándome esta vez en la extraña interpretación que hace el derecho de la automatización, los algoritmos, la IA y todas esas cosas.]

I.

Comienzo con un par de historias que al principio podría parecer que no vienen al caso.

Realicé mi primera declaración de la renta allá por el 93. En esa época, uno iba a un estanco y por 45 pesetas adquiría un sobre grande en el que venían:

Ideas alrededor de la sentencia de lo del bono social de la luz

I.

En España se ideó un sistema para que los menesterosos disfrutasen de luz cuasigratuita al que se le dio el nombre de bono social eléctrico (o similar). Para recibirlo, el interesado tiene que acreditar una serie de hechos objetivos; luego, un algoritmo determinista —del que la ley y sus reglamentos son el seudocódigo— determina la procedencia o no del bono. Ese algoritmo se implementó en un programa llamado BOSCO.

Cómo "vender" los "algoritmos"

He leído —consecuencia del aburrimiento y la inercia— en diagonal el artículo Explorando las narrativas locales: claves para entender el apoyo político a VOX que no recomiendo salvo que tengas un rato que matar y ninguna otra cosa que hacer pero del que rescato esta pequeña gema:

Sobre estos datos utilizo un algoritmo de aprendizaje automático (muy similar al que emplea el correo electrónico para determinar qué mensajes deberían ir a la carpeta de correo no deseado) para clasificar los tweets por tema.

Watson, no es nada elemental

Hay días en que uno no es que no tenga de qué escribir sino que la cabeza, después de tanto perseguir punteros en C y pastorear hordas de esclavos de Spark, ya no le da. Para ocasiones como esta de hoy guardo en un directorio una serie de artículos que recomendar. Hoy toca Building Watson: An Overview of the DeepQA Project.

Si no sabes qué es Watson, mira esto. Si lo sabes, el artículo anterior te ayudará a desmitificarlo por un lado y a admirarlo, por el otro, tanto o más que esto.