Wolfram sobre los LLMs (y otras cuatro historias relacionadas con el asunto)

I.

Stephen Wolfram ha escrito What Is ChatGPT Doing … and Why Does It Work? explicando el funcionamiento de las redes neuronales en general y de ChatGPT en particular.

Me gusta especialmente: tiene una perspectiva mucho más afín a la mía que la de muchas otras introducciones al asunto que no aciertan a separar como Wolfram los aspectos conceptuales y abstractos de los detalles concretos de la implementación.

Y rescato del texto —¡muy largo!— dos párrafos que pudiera haber escrito yo —e, igual, si reviso, las he escrito realmente—. Sobre las redes neuronales con estructura como las convolucionales, los transformers, etc., dice:

Tal vez un día tendrá sentido comenzar con una red neuronal genérica y obtener todas las customizaciones a través del entrenamiento. Pero, al menos de momento y en la práctica, es fundamental modularizarlas —como hacen los transformers y, probablemente, también nuestros cerebros—.

Y sobre lo que llamé la chocolatada informacional, dice:

¿Por qué se suman los tokens de valor y posición? No creo que haya ninguna ciencia detrás: simplemente, se han probado varias opciones y esta parece funcionar. El mundo de las RRNN parece funcionar de tal manera que si se pretende obtener un resultado determinado y se plantea una solución más o menos correcta, aunque no se entiendan los mecanismos subyacentes, el proceso de entrenamiento acaba poniendo las cosas en su sitio.

II.

Unos dicen que las IAs van a acabar dominándonos. Sin embargo, lo que estamos observando es que lo que han aprendido de nosotros es a comportarse como aduladores. En Towards Understanding Sycophancy in Language Models se discute el asunto.

(Y quienes tengan interés por esas cosas, podrán entretenerse averiguando que (y por qué) sicofante/sycophant significa, en cierto sentido, lo contrario en español que en inglés.)

III.

The Economist, discutiendo en A decades-old model of animal (and human) learning is under fire como una variación del principio de aprendizaje por refuerzo explica mejor el fenómeno que la versión clásica (y sus posibles consecuencias sobre el entrenamiento de IAs). De todos modos, aunque el titular induzca a pensar que se trata de una subversión del principio original, hace falta brujulear en el texto para averiguar en qué corrige la nueva teoría a la antigua y en qué radica la diferencia entre ambas.

IV.

TimeGPT, otro sistema de IA de la familia de los transformes, para analizar y proyectar series temporales que sumar a los dos que anuncié hace unos días. Le tengo igual de poca fe que a aquellos.

V.

OpenAI ha publicado una guía sobre cómo enseñar usando IA.