Estadística

Uno de los metaprincipios de la construcción de modelos estadísticos es que la calidad de los modelos es función de la cantidad de información que hay en los datos de entrenamiento. No existe el bootstrap en el sentido etimológico del término: no puede uno levantarse en el aire tirando hacia arriba de los cordones de los zapatos. Pero al hilo de una noticia reciente, Gelman discute si añadir ruido a los datos permite reducir el sobreajuste. Además, en la discusión al respecto, alguien cita el artículo de 1995 Training with Noise is Equivalent to Tikhonov Regularization, una especie de penalización en el tamaño de los coeficientes al modo de la regresión ridge.

El CIS publicó recientemente los resultados de su barómetro de septiembre de 2025 basados en 4122 entrevistas.

Una de las preguntas realizadas, la primera, fue

Durante los últimos doce meses, para realizar sus gestiones bancarias, ¿qué tres canales principales ha utilizado Ud.? Dígamelos por favor por orden, según frecuencia de uso.

Los resultados obtenidos fueron

Otra que se realiza en todos los barómetros se refiere a la participación y recuerdo de voto en las últimas elecciones generales, las de 2023 en este caso. Los resultados obtenidos fueron

Existen asuntos sobre los que uno lee que se parecen a la situación que describo a continuación:

• Estamos en Zaragoza y caminamos 1 km en dirección noreste.
• Estudiamos si nos hemos alejado de manera estadísticamente significativa de Madrid.
• Unos dicen que sí; otros, que no. Al fin y al cabo, ¿dónde está Madrid? Hay cierta incertidumbre (¿Sol? ¿Límite del municipio? ¿Puerta de Alcalá?) con una variabilidad mayor que el kilómetro recorrido.
• Todo el mundo arrima el ascua a su sardina y, al final, nadie sabe nada.

Uno puede así caminar un kilómetro, luego otro, y luego otro más sin que ninguna caminata sea estadísticamente significativa. Puede uno plantarse finalmente en Barcelona sin haberse alejado jamás significativamente de Madrid.

El otro día estaba oyendo la radio. Además, una emisora inhabitual (para mí, aunque me consta que es popular en algunos círculos) que, diríase, se había sintonizado sola. En el programa en cuestión, la locutora y sus adláteres estaban tratando de construir yet another problema social. Pero tan mal que, por si me leen, he escrito cómo hacerlo mejor. Y también porque quien lea de la mitad para abajo descubrirá aspectos de la cosa que entroncan con el asunto general de estas páginas, la estadística.

Me ha parecido conveniente desgajar la propedéutica de algo con lo que continuaré más adelante: la introducción a los diagramas de Lexis. Es obligado señalar que alrededor de ellos concurre una serie de hechos que debiera dar mala espina a los buenos entendedores:

• En la Wikipedia, en la fecha en la que esto se escribe, la voz está disponible solo en seis idiomas: catalán, francés, inglés, italiano, portugués y vascuence.
• Además, el concepto está mucho más ampliamente desarrollado en francés que en inglés.

Estas evidencias le deben inducir a uno a pensar que se trata de un concepto viejuno, inútil y solo relevante para opositores. Quien albergue esas sospechas no andará del todo desencaminado. Pero quiero asegurarle también que me consta fehacientemente que:

Si los datos en tratamiento tienen más varianza que los datos en control, ¿deberías sobrerrepresentar alguno de los grupos en el experimento? La respuesta es sí: deberías sobrerrepresentar el grupo de tratamiento.

El principio de la piraña: dado que el mundo observable es razonablemente predecible, una de dos:

• o bien no hay demasiados factores grandes independientes operando causalmente,
• o bien estos factores grandes interactúan negativamente entre sí de manera que se cancelan mutuamente.

Cita Jessica Hullman un parrafito de un artículo de Cornfield y Tukey (sí, ese Tukey) que traduzco aquí:

Cuando comparo valores reales contra estimados/predichos, tengo la costumbre de colocar los valores observados en el eje horizontal y las predicciones en el vertical. Así puedo ver si yerro por exceso o por defecto (con respecto a la línea, típicamente roja, $y = x$). Sin embargo, tanto en este artículo como en esta entrada de blog, se argumenta en favor de lo contrario.

Hay una diferencia sustancial entre el bayesianismo abstracto y el aplicado (o computacional): el primero siempre habla de aprendizaje secuencial y de encadenamiento de posterioris: la posteriori de un primer estudio con unos datos parciales se convierte automáticamente en la priori de uno posterior con un conjunto de datos adicional. En la versión práctica, solo es posible en ciertos casos concretos (p.e., cuando hay distribuciones conjugadas) pero no en general. En general uno obtiene una descripción de la posteriori en términos de una serie de muestras que no hay forma de utilizar después como priori. Sin embargo, pasan cosas como esta o esta

Esta entrada está relacionada —aunque no es estrictamente una continuación— de la que escribí hace una semana sobre el mismo asunto.

Se vuelve a partir de lo siguiente: un modelo de clasificación binaria bien calibrado. Eso significa que si el modelo predice $p$ para el sujeto $i$, entonces $Y_i \sim B(p)$.

Supongamos que tenemos una población dada, aplicamos el modelo y obtenemos una distribución $f(p)$ para las probabilidades predichas. Entonces, la distribución de:

Supongamos que estamos construyendo un modelo de clasificación binaria. Supongamos que está bien calibrado, es decir, que cuando predice una probabilidad $p$ de éxito para un sujeto $i$, entonces es cierto que $Y_i \sim \text{Bernoulli(p)}$.

Por otro lado, pensemos en el AUC, que es muchas cosas, pero entre ellas,

$$ AUC=Pr(p_i >p_j | Y_i =1,Y_j =0),$$

es decir, la probabilidad de que, tomando dos sujetos al azar, uno positivo, el $i$ y otro negativo, el $j$, $p_i > p_j$.

Muchos fenómenos tienen una periodicidad intrínsecamente semanal (p.e., el tráfico). Eso puede motivar el uso de la semana como unidad temporal de referencia en determinados análisis en lugar del mes o el día.

Existe gente que tal vez no esté al tanto de que existe un estándar ISO para definir y representar las semanas sin ambigüedad, el ISO 8601. Sus principales características son

• Las isosemanas comienzan el lunes y terminan el domingo.
• La primera isosemana del año es la que contiene el primer jueves del año.
• Un año contiene típicamente 52 isosemanas, aunque algunos (entre ellos, 1903, 1908, 1914, 1920, 1925, 1931, 1936, 1942, 1948, 1953, 1959, 1964, 1970, 1976, 1981, 1987, 1992, 1998, 2004, 2009, 2015, 2020, 2026, 2032, 2037, 2043, 2048, 2054, 2060, 2065, 2071, 2076, 2082, 2088, 2093, 2099) contienen 53.
• Las isosemanas se representan con el formato YYYY-Www (p.e., 2025-W10 para la décima semana de 2025)

Hoy en día no merece la pena que indique cómo calcular ni manipular isosemanas en los lenguajes de programación más usuales: casi cualquier LLM lo sabe y lo puede ayudar a uno a crear funciones como