visión troncal-corpuscular de la ciencia de datos

la ciencia de datos, como disciplina, consta de dos partes:

• una parte troncal: modelización, predicción, etc.
• una parte corpuscular y accesoria: problemas específicos, trucos, etc.

predecir vs medir

contrafactuales (y coronavirus)

causalidad y contrafactuales

causalimpact

• un paquete de R desarrollado por google
• sirve para medir el impacto de causas sostenidas en el tiempo (p.e., el rediseño de una web)
• construye contrafactuales automáticamente

un ejemplo

set.seed(1)
x1 <- 100 + arima.sim(model = list(ar = 0.999), n = 100)
y <- 1.2 * x1 + rnorm(100)
y[71:100] <- y[71:100] + 10
data <- cbind(y, x1)
matplot(data, type = "l")

ajuste del modelo

library(CausalImpact)
pre.period <- c(1, 70)
post.period <- c(71, 100)
impact <- CausalImpact(data, pre.period, post.period)
plot(impact)

resumen del modelo

summary(impact)

## Posterior inference {CausalImpact}
## 
##                          Average        Cumulative  
## Actual                   117            3511        
## Prediction (s.d.)        107 (0.35)     3196 (10.38)
## 95% CI                   [106, 107]     [3176, 3217]
##                                                     
## Absolute effect (s.d.)   11 (0.35)      316 (10.38) 
## 95% CI                   [9.8, 11]      [294.4, 336]
##                                                     
## Relative effect (s.d.)   9.9% (0.32%)   9.9% (0.32%)
## 95% CI                   [9.2%, 11%]    [9.2%, 11%] 
## 
## Posterior tail-area probability p:   0.00101
## Posterior prob. of a causal effect:  99.8994%
## 
## For more details, type: summary(impact, "report")

resumen del modelo

summary(impact, "report")

During the post-intervention period, the response variable had an average value of approx. 117.05. By contrast, in the absence of an intervention, we would have expected an average response of 106.53. The 95% interval of this counterfactual prediction is [105.85, 107.23]. Subtracting this prediction from the observed response yields an estimate of the causal effect the intervention had on the response variable. This effect is 10.52 with a 95% interval of [9.81, 11.20]. For a discussion of the significance of this effect, see below. […]

contexto

• en 2017 se comenzó a aplicar un impuesto especial sobre las bebidas azucaradas en cataluña

• se quiere medir el impacto causal del impuesto sobre varios indicadores:

  • precio de las bebidas azucaradas (y no azucaradas)
  • consumo de las bebidas azucaradas (y no azucaradas)

datos (consumo per cápita de bebidas azucaradas)

real y contrafactual

real vs contrafactual

resultados

## Posterior inference {CausalImpact}
## 
##                          Average           Cumulative     
## Actual                   0.88              26.36          
## Prediction (s.d.)        1 (0.044)         30 (1.308)     
## 95% CI                   [0.93, 1.1]       [27.92, 32.7]  
##                                                           
## Absolute effect (s.d.)   -0.14 (0.044)     -4.07 (1.308)  
## 95% CI                   [-0.21, -0.052]   [-6.36, -1.560]
##                                                           
## Relative effect (s.d.)   -13% (4.3%)       -13% (4.3%)    
## 95% CI                   [-21%, -5.1%]     [-21%, -5.1%]  
## 
## Posterior tail-area probability p:   0.00201
## Posterior prob. of a causal effect:  99.79879%
## 
## For more details, type: summary(impact, "report")

referencias

• the book of why: the new science of cause and effect, de j. pearl
• causality: models, reasoning and inference, de j. pearl
• causalimpact (tutorial)
• inferring causal impact using bayesian structural time-series models