Computación

Creo que en alguna ocasión he hablado de mi infraestructura para industrializar mi proceso de lectura. A grandes rasgos, funcionaba así:

• Uso Pocket como repositorio central. Una de las ventajas que ofrece es que podía ser utilizado vía API.
• Sigo unos cuantos blogs e importaba los RSS a Pocket en un proceso diario que corre vía cron en mi servidor doméstico.
• Además, en Pocket almaceno artículos interesantes que encontraba mientras navegaba.
• Un proceso horario reclasifica esos enlaces bajo distintas etiquetas específicas para:
  • Entradas que leer más despacio (p.e., el fin de semana, frecuentemente con el apoyo de NotebookLM).
  • Entradas que archivar en Obsidian.
  • Entradas que me inspiran a escribir sobre asuntos en el blog.
  • Etc.
• Una de las etiquetas, resumir se asocia a enlaces cuyos contenidos paso luego por un LLM para obtener un resumen del texto. La entrada en cuestión se reetiqueta como resumida y, una vez leído el resumen, considero las distintas opciones: borrarla, reetiquetarla de nuevo, etc.

Todo el proceso ocurre con un alto grado de automatización:

He implementado las entradas relacionadas en el blog. Dos entradas están relacionadas cuando el producto escalar de sus embeddings es alto.

Así que en primer lugar he asociado a cada entrada un embedding. Las entradas son ficheros de markdown con un preámbulo en yaml. Los embeddings no están creados directamente sobre el texto bruto de la entrada sino sobre la entrada y algunos de los elementos, no todos, del preámbulo.

Tienes N servidores y un balanceador de carga. Las peticiones de trabajo llegan al balanceador y este las enruta hacia un servidor que se encarga de procesarlas. El objetivo del balanceador es tratar de conseguir un reparto más o menos uniforme de las tareas para que ningún servidor esté sobrecargado mientras otros permanecen ociosos. En términos probabilísticos, tratar de obtener una distribución uniforme (de la carga de trabajo).

Un mecanismo rudimentario de balanceo que parece que se usa por ahí es asignar las tareas al azar. Es simple y es en el fondo como muestreamos la distribución uniforme. Pero no todas las distribuciones uniformes son iguales. Por muchos motivos, son interesantes versiones de la distribución uniforme más uniformes; para convencerse de ello uno puede leer lo que Wikipedia cuenta sobre las sucesiones de Sobol o aquí sobre los ruidos azules. Con los balanceadores de carga pasa lo mismo. Así, al parecer, debe de ser una gran innovación hacer lo siguiente:

Esta entrada bien podría llamarse también Mi primera aplicación de los LLMs en producción, siendo que ninguna versión falta a la verdad. También es cierto que no es la primera que construyo —pero sin que haya trascendido—; y que hay que cualificar la expresión en producción siendo que corre en mi servidor doméstico y para mis propios fines personales.

Contexto

Estoy industrializando mi proceso de lectura. Central en él es Pocket, una herramienta que permite archivar enlaces y acceder a ellos vía API.