Posts

¿Por qué seleccionar "el mejor" modelo?

Tiene Ripley, el gran Ripley, un artículo de hace 20 años titulado Selecting Amongst Large Classes of Models donde discute la cuestión —la del título de esta entrada— y dice:

Deberíamos preguntarnos por qué queremos seleccionar un modelo. Parece ser un error extendido que la selección de modelos trata de “seleccionar el mejor modelo”. Si buscamos un modelo explicativo, deberíamos tener presente que puede haber varios modelos explicativos (aproximadamente) igual de buenos: lo aprendí de David Cox cuando era un profesor novato en el Imperial College tras haber hecho muchas selecciones informales de modelos en problemas aplicados en los que me hubiera resultado útil haber podido presentar soluciones alternativas.

¿Acabaremos programando todos en ensamblador?

Un lenguaje de programación es un lenguaje que media entre el que nos es familiar a los humanos y el que reconocen las computadoras. Los lenguajes de alto nivel nos resultan más cómodos; los de bajo nivel, más crípticos. Todos conocemos, pienso, el trade-off.

Ahora todo el mundo programa en Python. Pero los hay que lo hacen de una manera rara:

Hay un nuevo tipo de programaciónn que llamo [Andrej Karpathy] “programación de vibraciones”, en la que te entregas por completo a las vibraciones, adoptas exponenciales y te olvidas de que el código existe. Es posible porque los LLM (por ejemplo, Cursor Composer con Sonnet) se están volviendo demasiado buenos. Además, solo hablo con Composer con SuperWhisper, por lo que apenas toco el teclado. Pido las cosas más tontas como “reducir el relleno en la barra lateral a la mitad” porque soy demasiado vago para buscarlo. “Acepto todo” siempre, ya no leo los diffs. Cuando recibo mensajes de error, simplemente los copio y pego sin comentarios; generalmente, eso lo soluciona. El código crece más allá de mi comprensión habitual, tendría que leerlo realmente durante un tiempo. A veces, los LLM no pueden corregir un error, así que simplemente busco alternativas o pido cambios aleatorios hasta que desaparece. No está tan mal para proyectos de fin de semana intrascendentes, pero sigue siendo bastante divertido. Estoy desarrollando un proyecto o una aplicación web, pero en realidad no es programación: solo veo cosas, digo cosas, ejecuto cosas y copio y pego cosas, y en general funciona.

Modelos gratuitos en OpenRouter y algunos asuntos más

Las dos noticias del siglo de la semana en el mundo de los LLMs:

Aquí, The Economist argumenta que los LLMs no nos igualarán sino lo contrario, que contribuirá a separar aún más el desempeño socioeconómico de los individuos en función de su capacidades cognitivas (separate the best from the rest, en su formulación original).

Adiós, Análisis y Decisión

Escribí en 2016:

Corría el año 2009 cuando comencé mi segunda aventura bloguera (nadie, yo incluido, quiere rememorar la primera) cuando Raúl Vaquerizo tuvo la caridad de aceptarme como colaborador en Análisis y Decisión.

En diciembre de aquel año escribí cómo utilizar R en una cosa que entonces comenzaba a sonar: la nube y, en concreto, el servicio EC2 de Amazon.

El resultado, probablemente totalmente desfasado, fue este.

Material de hemeroteca, alimento de melancolías.

La recurrente vuelta de la frenología y algunos asuntos más

En A Conversation with Sir David Cox se lee:

Reid: Me gustaría preguntarle sobre su trabajo al principio de su carrera en la Wool Industries Research Association. ¿Qué tipo de lugar era y qué tipo de puesto tenía usted allí?

Cox: Bueno, Henry Daniels lo ha descrito un poco en una entrevista reciente (Whittle, 1993). Era un tipo de organización muy común en el Reino Unido en ese momento, financiada por el gobierno y por dinero obtenido de un impuesto al sector, para realizar investigaciones básicas sobre problemas relacionados con la industria; y en ese momento tenía un director extraordinario que simplemente tenía la idea de contratar a personas y, en gran medida, dejarlas trabajar por su cuenta, con su apoyo. […]

Análisis estadístico de un "speedrun" sospechoso

Existen subculturas contemporáneas en las que se consiguen puntos de status pasándose determinados videojuegos a la mayor velocidad posible y publicando esas hazañas lúdicas en Youtube.

Un tal dream estableció algunos récords en 2020 en cierta modalidad de Minecraft, pero no sin levantar ciertas sospechas: aparentemente, el juego contiene cierto componente aleatorio y a dream parecía sonreirle la fortuna muy por encima de lo estadísticamente esperable. Así que los supertacañones del Minecraft Speedrunning Team analizaron el asunto y emitieron un informe sobre el asunto en diciembre de 2020.

Computación cuántica en Barcelona (al lado de ALIA) y algunos asuntos más

Mandar una petición a un LLM equivale a usar un ordenador (bastante potente) un ratico. El consumo de electricidad no puede ser tan alto. Tiene que ser infinitamente inferior al de actividades cotidianas que involucren calentar cosas, por ejemplo. Pero el que quiera los números concretos, puede echarle un vistazo a Individual AI use is not bad for the environment.

LLMs a los que se pregunta por una variante del tres en raya, consistente en rotar el tablero 90 grados. Sus respuestas, todas desatinadas —de otra manera, ¿se habrían publicado los resultados?—, aquí.

Una variante del problema de Monty Hall

Hay muchas versiones alternativas del problema de Monty Hall y he hablado de algunas de ellas antes. Una bastante interesante de la que supe por esto es la siguiente:

  • Participas en el problema de Monty Hall (el clásico con un coche y dos cabras).
  • Pero tú sabes (y nadie más) que una de las cabras se ha tragado un diamante carísimo y lo tiene en el estómago. Vale mucho más que el coche.
  • Obviamente, prefieres la cabra al coche.
  • Eliges una puerta (y no la abres).
  • El presentador (que no sabe nada del diamante) abre una puerta (detrás de la cual hay una cabra, como en el problema de Monty Hall original).
  • Sabes que esa cabra no es la del diamante.
  • El presentador te ofrece cambiar la puerta que habías elegido previamente.

¿Qué haces?

Unas cuantas noticias sobre LLMs

DeepSeek V3 llevaba publicado desde diciembre; R1, desde hacía más de una semana; pero solo fue el lunes 27 de enero cuando NVDIA sufrió un descalabro y DeepSeek apareció repentinamente —hasta entonces no había rebasado los habituales foros friquis— en boca de todos (véase esto o esto, dos de las mejoras piezas al respecto que he recopilado). Aparentemente, lo que hizo caer la bolsa fue el artículo The Short Case for Nvidia Stock parecido el sábado 25 de enero en el que se hace un repaso detallado de las fortalezas pero, sobre todo, los peligros que acechan a NVIDIA. Algunas de las cuestiones que trata son: