Reducción del error en tests A/B (y similares)

Hoy, cuatro maneras distintas de realizar un test A/B. Comienzo con unos datos simulados que tienen este aspecto:

set.seed(1)
n <- 1000
test <- c(rep(0, n/2), rep(1, n/2))
y0 <- rnorm(n)
y1 <- y0 + test + rnorm(n)

Ahí:

  • n es el número de sujetos, 1000.
  • test es un vector que indica el tratamiento: 500 en un grupo, 500 en otro.
  • y0 es el valor de/asociado a los sujetos en un periodo anterior al tratamiento.
  • y1 es el valor de los sujetos después del tratamiento. Como se puede ver, está relacionado con el tratamiento en sí y con el valor anterior. Se le ha añadido, además, cierta cantidad de ruido estadístico.

Hay varias maneras de estimar el efecto del tratamiento (o de, como dicen algunos, realizar un test A/B). Voy a mencionar cuatro.

El negocio bancario como corolario del teorema central del límite (y sí, de paso, sobre SVB)

Todo lo que voy a contar aquí es cierto y a la vez falso. Es cierto en primera aproximación —en esa en la que las vacas son esféricas— y falso cuando se examinan los términos de orden superior del desarrollo de Taylor de lo que cuento. Advertido lo cual, comienzo.

I

Los bancos funcionan esencialmente así: reciben dinero de unos clientes y se lo prestan a otros. Ganan dinero por la diferencia en los tipos de interés entre depósitos y préstamos.

De la paradoja de la patata a los neo-Protágoras de la estadística

I

X tiene un 100 kilos de patatas. Las patatas tienen un 99% de agua y las deja orear hasta que tengan solo un 98% de agua. Cuando eso suceda, ¿cuánto pesarán las patatas?

Piénsalo…

Sigue…

¿Seguro?

Hummmm…

Te te lo voy a contar enseguida, pero merece la pena que trates de calcularlo por ti mismo.

Venga…

Vale, te lo digo.

II

Son 50 kilos. Efectivamente,

$$\frac{1}{100 - x} = .02 = \frac{2}{100} = \frac{1}{50}$$

Memes, memes estadísticos y sofística

I. Memes

Dice la Wikipedia que un meme es es la unidad teórica más pequeña de información cultural1​ transmisible de un individuo a otro, de una mente a otra, o de una generación a la siguiente. Sin embargo, suelen conocerse como memes solo aquellos memes que, por algún motivo, debido a algún tipo de característica particular —tanto intrínseca como del cuerpo social en el que se mueven— se difunden como un virus. Diríase que cobran vida propia y se expanden independientemente de la voluntad o intención de sus creadores.

Un estadístico le echa un vistazo a su consumo eléctrico en tiempo real

I.

Por eso de que el Pisuerga pasa por Valladolid y que el diablo, cuando se aburre, mata moscas con el rabo, he instalado un cacharrito de 30 euros en el cuadro eléctrico de mi casa que mide el consumo (vatios, amperios y voltios)en tiempo real. En concreto, guardo medidas cada seis segundos aproximadamente. Mi perfil de consumo (potencia, en kW), sobre el que volveré luego, es así:

II.

En esto de la electricidad doméstica existen tres potencias —$P_r$, $P_c$ y $P_i$— que, en situaciones normales, cumplen la regla

Breve introducción crítica a la llamada "predicción conforme"

Pensé que había hablado antes de la llamada predicción conforme. Lo habré soñado. Así que me pongo con ello.

Me retrotraigo a hace unos cuantos años, antes de la explosión del deep learning, a la época en la que aún tenía vida social. Uno de los pioneros de esas técnicas me contaba un día en un restaurante cómo funcionaban. Por ejemplo, para clasificar, creaban unas funciones muy complejas cuya salida era un vector (largo) de números positivos que sumaban uno. Cuando todos esos números eran casi cero y uno de ellos, el que correspondía a la etiqueta “conejo”, era casi uno, el modelo decía: “conejo”. Etc.

¿Se puede levantar la mano y decir que la curva, esencialmente, crece y no decrece?

Mirad el gráfico

o

que representa los mismos datos cambiando la escala de las abscisas. He recortado convenientemente las etiquetas de los ejes para que la ideología no confunda a la recta percepción visual de la cosa. La pregunta ahora es: ¿son crecientes las curvas?

Las respuestas de primer y segundo orden son obvias. Creo.

Sin embargo, las gráficas están extraídas de aquí, donde se elabora un discurso a partir de la idea de que las curvas son esencialmente planas si no decrecientes. En ningún punto del texto se dice: “¡eh, contemplad cómo estas curvas son esencialmente crecientes!” Un lector despistado o, incluso, un lector que se quede con el titular, se llevará a la próxima discusión del bar una idea torcida (no sé si decir de la realidad o de la perspectiva de la realidad que recogen los datos subyacentes a las gráficas).

Una "app" para la selección de parámetros de prioris informativas

Un ejemplo de caso de uso: uno de los parámetros de tu modelo está relacionado con la duración de algo. El cliente, que tiene 20 años de experiencia en la cosa te dice: el tiempo está típicamente comprendido entre uno y siete días. Por lo tanto, decides introducir en tu modelo una priori informativa gamma que con una alta probabilidad asigne valores en el intervalo $[1, 7]$. Pero, ¿cuáles son sus parámetros?

Todo sobre la wifi

Voy a hacer una entrada un poco inusual dentro de lo que viene siendo la trayectoria de este blog por dos motivos: para dejar por escrito cosas que de otra manera se me olvidarán y para, con suerte, ayudar a otros. Sí, porque voy a escribir sobre la wifi, sus mitos, problemas y puede que hasta soluciones.

Muy rápidamente, unas cuantas cosas que todos sabemos: la wifi funciona en dos bandas (y próximamente en una tercera en los 6 GHz), la de 2.4 GHz y la de 5 GHz. Voy a centrarme en la de los 2.4 GHz, aunque todo lo que cuente se extrapola al resto. No creo que haya que mencionar tampoco las diferencias entre las bandas de 2.4 y 5 GHz en términos de ancho de banda (la segunda tiene más) y la distancia operativa: la de los 5.4 GHz tiene menos entre otros motivos porque atraviesa peor paredes y otros obstáculos. Lo cual no es del todo malo: te aísla de los vecinos de tus vecinos.

Descuento hiperbólico: una perspectiva bayesiana

Por un lado, nos enseñan que para descontar flujos de caja futuros tenemos que usar la función exponencial —para una determinada tasa de descuento o, en algunos contextos, tipo de interés—:

$$\text{valor presente} = A \exp(-tr)$$

donde $A$ es una cierta cantidad que recibiremos en el momento futuro $t$ y donde $r$ es nuestra tasa de descuento.

Por otro lado, experimentos de la sicología y la economía conductual, parecen indicar que la gente se tiende a regir por una regla distinta, la del llamado descuento hiperbólico