Embeddings, LLMs y algunas de sus aplicaciones a mediados de 2024
I.
Están apareciendo herramientas basadas en LLMs para industrializar la investigación. Tengo recopiladas, por el momento, cuatro: Consensus, Zotero, Elicit, Tavily y FutureSearch. De vez en cuando pruebo Consensus para valorar cómo va mejorando. Y le queda: la última vez, al preguntarle sobre el procedimiento científico para reproducir la dipladenia por esquejes, me sugirió algo así como aplicarle rayos gamma (!).
II.
Unos cuantos enlaces sobre aplicaciones reales —en la economía real— de los LLMs (y los LMMs) en diversas áreas, como el
vídeo (vía sora),
la música (vía suno),
la programación (vía devin) o
el RAG y/o Finetuning.
III.
Estimaciones sobre el impacto económico de la IA en la productividad, etc. en un artículo (glosado aquí) de Acemoglu (versión corta: una fracción de lo que presumen los más entusiastas).
Me ha resultado tambíén útil para entender ese impacto un artículo de Jeśus Fernández Villaverde, Simple Rules for a Complex World with Artificial Intelligence.
IV.
Dicho lo cual, Jesse Lastunen mantiene una página con recursos basados en IA para economistas, que puede ser útil para muchos otros también.
V.
Diríase que embeddings son el hermanito feo de los LLMs. Están envueltos por una especie de halo mágico —no sé si real o pretendido— que los hace semánticamente relevantes y de ahí su interés (y encanto). Una serie de enlaces que he encontrado útiles para entenderlos y manipularlos son:
- Embeddings: BERT better than ChatGPT4?
- Embeddings: What they are and why they matter
- Introducing Nomic Embed: A Truly Open Embedding Model y el correspondiente playground
- Cohere int8 & binary Embeddings - Scale Your Vector Database to Large Datasets, que ilustra cómo también el mundo de los embeddings participa de la carrera hacia la baja precisión numérica.
