Más sobre las R² pequeñas

I.

Si uno hace

n <- 1000

# dos clases del mismo tamaño n
x <- c(rep(0, n), rep(1, n))

# mean(y0) = .45, mean(y1) = .55
y0 <- y1 <- rep(0, n)
y0[1:(.45 * n)] <- 1
y1[1:(.55 * n)] <- 1

# mean(y) = .5
y <- c(y0, y1)

summary(lm(y ~ x))

obtiene

Residuals:
   Min     1Q Median     3Q    Max
 -0.55  -0.45   0.00   0.45   0.55

Coefficients:
            Estimate Std. Error t value Pr(>|t|)
(Intercept)  0.45000    0.01574  28.590  < 2e-16 ***
x            0.10000    0.02226   4.492 7.44e-06 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.4977 on 1998 degrees of freedom
Multiple R-squared:   0.01,	Adjusted R-squared:  0.009505
F-statistic: 20.18 on 1 and 1998 DF,  p-value: 7.444e-06

donde quiero subrayar que la R² es del 1% o muy pequeña.

Lista de los ETFs comercializados por ING

ING tiene ciertas ventajas en las que noi voy a abundar para aquellos inversores interesados en hacer medrar sus ahorros en carteras de ETFs. Por otra parte, dos de sus principales desventajas son:

  1. Que la lista de ETFs disponibles no es particularmente amplia.
  2. Que su buscador de ETFs es manifiestamente perfectible.

Como remedio a (2) me he entretenido en orquestar un sistema que descarga y organiza la lista de ETFs disponibles en ING y hacerla pública aquí.

Manipulación y discriminación

I.

Hace unos años, en un congreso de R, hubo un panel de periodistas de datos. En la ronda de preguntas, alguien del público preguntó: “¿cómo manipuláis los datos?” Muy previsiblemente, los tres panelistas respondieron respodieron rápida y destempladamente: “No manipulamos los datos”.

II.

Discriminar —es decir, separar una masa en unidades homogéneas— es una de las tareas tradicionales de la estadística. La técnica más básica y explícita de discriminación (el análisis discriminante lineal), fue introducida por Fisher entre 1936 y 1940 en una serie de artículos, de entre los cuales, el más famoso es The use of multiple measurements in taxonomic problems, publicado nada menos que en los Annals of Eugenics, y en cuya segunda página aparece en toda su gloria y para la posteridad en famoso conjunto de datos iris.

Regresiones con discontinuidad y algunos otros asuntos

I.

A veces te tropiezas con algún conocido en algún sitio fuera de donde lo frecuentas y lo saludas con un “¿qué haces tú por aquí?”.

El otro día, leyendo sobre aquellos audaces emprendedores de siglos atrás que perseguían móviles perpetuos tropecé con William Petty, nada menos.

II.

Tomas varias fotos de un mismo motivo y las combinas (o apilas) usando distintas técnicas. Guillermo Luijk nos ilustra con lo que pasa cuando usas el mínimo, el máximo, la media y la mediana como funciones de agregación.

¿De qué "forma" es que A causa B?

En muchos sitios se habla sobre cómo A causa B —o tiene un efecto de cierto tamaño sobre B—. Mucho menos se suele hablar de la forma de ese efecto. El siguiente gráfico (extraído de aquí) muestra ocho de las infinitas formas en que una variable puede tener un efecto sobre otra:

En todas ellas, el efecto global tiene el mismo valor medio.

Los corolarios los dejo para cada cual.

Embeddings, LLMs y algunas de sus aplicaciones a mediados de 2024

I.

Están apareciendo herramientas basadas en LLMs para industrializar la investigación. Tengo recopiladas, por el momento, cuatro: Consensus, Zotero, Elicit, Tavily y FutureSearch. De vez en cuando pruebo Consensus para valorar cómo va mejorando. Y le queda: la última vez, al preguntarle sobre el procedimiento científico para reproducir la dipladenia por esquejes, me sugirió algo así como aplicarle rayos gamma (!).

II.

Unos cuantos enlaces sobre aplicaciones reales —en la economía real— de los LLMs (y los LMMs) en diversas áreas, como el vídeo (vía sora), la música (vía suno), la programación (vía devin) o el RAG y/o Finetuning.

Descuento hiperbólico: lo que es y lo que no es

I.

La teoría dice que el valor ahora (o presente) de un bien $A$ en el futuro, dentro de un tiempo $t$, es $A\exp(-tr)$, donde $r$ es la llamada tasa de descuento.

Entonces, si $A$ son 100 € y la $r$ de cierto individuo es tal que el valor presente de 100 € dentro de un año son 50 €, este individuo valorará de igual manera 50 € hoy o $100 \exp(-r) = 50$ € dentro de un año.

La regla de Edlin

La llamada regla de Edlin es un principio epistemológico que dice, simplemente, que uno tiene que rebajar —o multiplicar por un factor menor que 1, el llamado factor de Edlin— las estimaciones que uno ve publicadas.

Para más información, esto.

¿Cuántas copias vende un libro?

Es muy difícil saber cuántas copias vende un libro. Lo es por muchos motivos:

  • Porque no está claro qué es un libro: una misma obra puede tener muchos ISBNs distintos. No hace falta pensar solo en El Quijote: incluso obras modernas pueden tener varios ISBNs según se trate de la versión electrónica, tapa dura, tapa blanda, etc.
  • Porque no está claro qué cosa es una venta o qué significa siquiera “libro publicado” (véase esto).
  • Porque hay motivos económicos para que esos números estén poco claros (véase esto).
  • Seguro, además, que los expertos en el sector pueden apuntar motivos adicionales.

Pero el que interesa en este blog es uno que enlaza con lo escrito la semana pasada sobre la esperanza de vida:

Alberto Olmos sobre los microfundamentos y cuatro asuntos más

I.

Juan Cambeiro escribe en Asterisk What Comes After COVID. El covid nos aburre y no nos interesa, pero el artículo es un ejercicio de “probabilidad aplicada” —en el que se estudia cuándo y qué causará la próxima pandemia, pero eso es casi lo de menos— del que muchos podrán sacar provecho.

II.

La mayor parte de los artículos en economía son inútiles; todos los involucrados lo saben. Fuera del primer cuartil, todo es esencialmente es una estafa que no sobreviviría una revisión crítica."

¿Redujo el covid la esperanza de vida en 2020? No y sí, según se mire.

I.

La esperanza de vida en 2020 es el número de años que en promedio vivirá un crío nacido ese año.

El problema de esa definición estriba en que para calcularla rectamente habría que esperar hasta, no sé, 2140, para:

  • Contar el número N de nacidos en 2020.
  • Calcular la suma $\sum_i x_i$ de las edades a las que fallecieron (suponiendo que en 2140 ya hayan muerto todos).
  • Dividir la segunda de las cifras por la primera.

Y no, no es factible esperar 120 años en publicar una estadística. Ni siquiera para el INE.

Más ideas alrededor de la sentencia de lo del bono social de la luz

[En esta entrada abundo en lo escrito la semana pasada sobre el mismo asunto centrándome esta vez en la extraña interpretación que hace el derecho de la automatización, los algoritmos, la IA y todas esas cosas.]

I.

Comienzo con un par de historias que al principio podría parecer que no vienen al caso.

Realicé mi primera declaración de la renta allá por el 93. En esa época, uno iba a un estanco y por 45 pesetas adquiría un sobre grande en el que venían:

Ideas alrededor de la sentencia de lo del bono social de la luz

I.

En España se ideó un sistema para que los menesterosos disfrutasen de luz cuasigratuita al que se le dio el nombre de bono social eléctrico (o similar). Para recibirlo, el interesado tiene que acreditar una serie de hechos objetivos; luego, un algoritmo determinista —del que la ley y sus reglamentos son el seudocódigo— determina la procedencia o no del bono. Ese algoritmo se implementó en un programa llamado BOSCO.