I. Cuando éramos críos e íbamos al colegio, todos hemos participado en conversaciones que discurrían más o menos así:
— Quiero ver el programa X.
— No puedes porque A, B y C.
— Pero Fulanito lo ve todos los días.
— No te fijes en lo que hace el más tonto; fíjate en lo que hace el más listo.
Los primeros buscadores de internet eran catastróficos. Un día apareció uno nuevo, Google, con una filosofía de madre de los setenta: fijarse en lo que hacía el más listo, no el más tonto.
Me he entretenido dibujando
que representa gráficamente los grados de libertad de un LLM según va generando texto. Brevemente, he arrancado con
Never in the history of
y he dejado que mi LLM fuese construyendo
Never in the history of “The Bachelor” has a contestant been so hated by the viewing public.
The “Bachelor” franchise has had its share of villains, but the one who has
mientras registraba el vector de probabilidades en cada iteración, es decir, el vector que permite que el LLM elija, por ejemplo, villains en lugar de maples, vikings or frenchmen.
I. Llevamos muchos años —muchos más de los que la mayoría de la gente piensa— detrás de mecanismos del tipo
$$f(h) = x$$
donde $h$ es una historia y $x$ es una continuación suya coherente con $h$. El texto
IN NO IST LAT WHEY CRATICT FROURE BIRS GROCID PONDENOME OF DEMONSTURES OF THE REPTAGIN IS REGOACTIONA OF CRE
se construyó en 1948 usando un procedimiento básico: $h$ son dos caracteres y $x$ es otro caracter que se elige al azar de acuerdo cierta probabilidad condicional $P(x | h)$ que se estima a partir de frecuencias observadas en un determinado corpus.
