¿Cuántos conceptos caben en un espacio de embeddings?
Dicho brevemente, los embeddings asocian direcciones en un espacio vectorial de dimensión alta a «conceptos». Cabe preguntarse cuánto «espacio semántico» hay realmente disponible, cuántos «conceptos» caben en un espacio vectorial. Así que hoy voy a realizar una estimación geométrica muy grosera inspirada en un par de entradas de John D. Cook, matizada luego por otra basada en el llamado problema del código esférico. Como referencia, el DRAE tiene unas 100k entradas y la Wikipedia en inglés, unos 7 millones. Esas cifras delimitan el orden de magnitud del número de «conceptos» que uno puede aspirar a registrar en el espacio de embeddings. ...