Estadística

Los modelos GARCH son otra de esas cosas de las que oyes hablar y como nunca se convierten en problemas de los de carne en el asador, preocupan poco y ocupan menos (más allá de que sabes que se trata de modelos similares a los de series temporales de toda la vida donde la varianza varía de cierta forma a lo largo del tiempo). Pero comienzas a leer cosas como esta y no te enteras de nada: solo hay letras y llamadas a funciones oscuras y oscurantistas.

Esta entrada es una illustración de otra de no hace mucho, Análisis de la discontinuidad + polinomios de grado alto = … Mirad:

Se ha hecho un análisis de la discontinuidad usando parábolas a ambos lados del punto de corte. Y la discontinuidad no es pequeña. Pero me juego un buen cacho de lo que quede de mi reputación a que mucho de ella la explica el puntico de arriba a la izquierda.

El AUC tiene una cota superior de 1. Concedido. Pero alguien se quejó de que el AUC = 0.71 que aparece aquí era bajo.

Se ve que ignora esto. Donde está todo tan bien contado que no merece la pena tratar de reproducirlo o resumirlo aquí.

Hoy he participado en una discusión en Twitter acerca del artículo Eficacia predictiva de la valoración policial del riesgo de la violencia de género que sus autores resumen así:

Para prevenir la violencia de género se desarrolló el protocolo denominado «valoración policial del riesgo» (VPR) para su uso por profesionales de las fuerzas de seguridad del Estado. Este protocolo es el núcleo principal del sistema VioGén, del Ministerio del Interior español, y que se aplica de forma reglamentaria en todas las situaciones de violencia de género denunciadas. Para evaluar la eficacia predictiva de la VPR se realizó un estudio longitudinal prospectivo con un seguimiento de 3 y 6 meses de 407 mujeres que habían denunciado ser víctimas de violencia por parte de su pareja o expareja. Los resultados obtenidos por medio del análisis de regresión logística ofrecen una AUC = 0.71 para intervalos de tiempo en riesgo de 3 meses (p < .003) y con una odds ratio de 6.58 (IC 95%: 1.899-22.835). La sensibilidad de la VPR fue del 85% y la especificidad, del 53.7%. Los resultados indican que la VPR muestra una buena capacidad predictiva y unas características psicométricas adecuadas para la tarea para la que se diseñó.

Una técnica que, al parecer, es muy del gusto de los economistas es lo del análisis de la discontinuidad. Es como todo lo que tiene que ver con causalImpact pero usando técnicas setenteras (regresiones independientes a ambos lados del punto de corte).

Si a eso le sumas que las regresiones pueden ser polinómicas con polinomios de alto grado… pasan dos cosas:

• Tienes una probabilidad alta de obtener un resultado significativo, i.e., publicable.
• Pero que se deba solo al ruido producido por el método (corte discreto, inestabilidad polinómica, etc.).

Es decir, la habitual chocolatada que algunos llaman ciencia (cierto, algunos dirán que mala ciencia, pero que, ¡ah!, nos cobran al mismo precio que la buena).

Aquí se describe una suerte de recíproco para el teorema de Bernstein–von Mises. Aquí se resume de esta manera:

The celebrated Aumann’s Agreement Theorem shows that two rational agents with the same priors on an event who make different observations will always converge on the same posteriors after some civilized conversation over tea.

En resumen:

• B-vM: frente a la misma evidencia, observadores con prioris distintas tienen posteriores similares.
• Aumann: frente a evidencias disímiles, observadores con las mismas prioris pueden acordar posterioris similares.

El insomnio y la serendipia me han hecho transitar por unas líneas en las que se lee:

A plausible guess is to use their arithmetic mean, which is roughly 150 people per square mile. However, the right method is the geometric mean:

$$ \text{best guess} = \sqrt{\text{lower endpoint} \times \text{upper endpoint}}.$$

The geometric mean is the midpoint of the lower and upper bounds—but on a ratio or logarithmic scale, which is the scale built into our mental hardware. The geometric mean is the correct mean when combining quantities produced by our mental hardware.

Si yo fuera rey, expropiaría el edificio sito en el número 212 de la Castellana de Madrid, derruiría lo existente y construiría uno imagen especular de

que es el que queda justo enfrente y que contiene eso que conocemos como Instituto Nacional de Estadística. Lo llamaría, por mantener la especularidad, ENI y lo poblaría de estadísticos con una misión:

• No hablar ni relacionarse bajo ningún concepto con los de enfrente.
• Replicar sus estadísticas, proyecciones, encuestas y censos en el mismo plazo y forma pero independientemente de ellos.

Así tendríamos dos censos, dos EPAs, dos brechas salariales, dos de cada cosa. Y una mínima estimación de la varianza de las cosas y de su error (muestral y demás).

Aprovechando que el paquete GameTheoryAllocation ha emergido de mi FIFO de pendientes a los pocos días de conocerse los resultados de las [adjetivo superlativizado omitidísimo] elecciones generales, voy a calcular de la manera más naíf que se me ocurre el índice de Shapley de los distintos partidos. Que es:

Al menos, de acuerdo con el siguiente código:

library(GameTheoryAllocation)

partidos <- c(123, 66, 57, 35, 24, 15, 7, 7,
              6, 4, 2, 2, 1, 1)
names(partidos) <- c("psoe", "pp", "cs", "iu",
                      "vox", "erc", "epc", "ciu",
                      "pnv", "hb", "cc", "na",
                      "compr", "prc")

coaliciones <- coalitions(length(partidos))
tmp <- coaliciones$Binary

profit <- tmp %*% partidos
profit <- 1 * (profit > 175)

res <- Shapley_value(profit, game = "profit")

res <- as.vector(res)
names(res) <- names(partidos)
res <- rev(res)

dotchart(res, labels = names(res),
          main = "naive shapley index \n elecciones 2019")

Lo del índice de Shapley, de ignorarlo, lo tendréis que consultar por vuestra cuenta. Al menos, para saber por qué no debería usarse tan frecuentemente (en problemas de atribución, entre otros).

Recomiendo, sin comentarlo, un artículo muy desasosegador en el que se leen cosas como:

At this point, I had taken only an introductory statistics class that was a required general elective, and then promptly forgotten most of it. Needless to say, my statistical skills were not very strong. Yet, I was able to read and understand a paper on a state-of-the-art generative machine learning model, implement it from scratch, and generate quite convincing fake images of non-existent individuals by training it on the MS Celebs dataset.

Al construir modelos, queremos minimizar

$$ l(\theta) = \int L(y, f_\theta(x)) dP(x,y),$$

donde $L$ es una determinada función de pérdida (y no, no me refiero exclusivamente a la que tiene un numerillo 2). Pero como de $latex P(x,y)$ solo conocemos una muestra $latex (x_i, y_i)$ (dejadme aprovechar la ocasión para utilizar una de mis palabras favoritas: $latex P(x,y)$ es incognoscible), hacemos uso de la aproximación

$$ \int f(x) dP(x) \approx \frac{1}{N} \sum f(x_i)$$

Las dimensiones altas son un campo minado para la intuición. Hace poco (y he perdido la referencia) leí a un matemático que trabajaba en problemas en dimensiones altas decir que le gustaba representar y pensar en las bolas (regiones del espacio a distancia <1 de 0) en esos espacios usando figuras cóncavas, como las que aparecen a la izquierda de

precisamente porque una de las propiedades más fructíferas de las bolas en altas dimensiones es que apenas tienen interior. De hecho, es trivial probar que la proporción del volumen de una bola a distancia mayor que $latex \epsilon$ de su borde tiende a cero con la dimensión.

[Esta entrada recoge la pregunta y la duda que motivó una conversación con Javier Nogales en Twitter hace unos días.]

Citaba (él) un resultado de Theobald de 1974 (¿tanto lleva ridge entre nosotros? ¡habría jurado que menos!) que viene a decir que siempre existe un peso $latex \lambda$ para el que ridge es mejor que OLS.

Ves el álgebra y piensas: verdad será.

Pero te fías de tu propia intuición y piensas: ¡vaya un resultado contraintuitivo si no contradictorio! Porque: