Evaluación experimental

.title[
# Clase 3. Evaluación experimental
]
.subtitle[
## Evaluación de Programas
]
.author[
### Irvin Rojas <br> [rojasirvin.com](https://www.rojasirvin.com/) <br> [<i class="fab fa-github"></i>](https://github.com/rojasirvin) [<i class="fab fa-twitter"></i>](https://twitter.com/RojasIrvin) [<i class="ai ai-google-scholar"></i>](https://scholar.google.com/citations?user=FUwdSTMAAAAJ&hl=en)
]

---
# Agenda

1. Describiremos el experimento ideal

1. Motivaremos un modelo de regresión a partir de un modelo de efectos constantes

1. Aprenderemos a leer tablas de resultados

- Pruebas de balance
  
  - Efectos de tratamiento

---

# El experimento ideal

---

# El efecto de los hospitales

- ¿Los hospitales hacen que la gente sea más sana?

- Podemos conseguir datos de encuestas sobre cuántas veces las personas han ido al hospital en el último año

<table class=" lightable-paper lightable-hover" style='font-family: "Arial Narrow", arial, helvetica, sans-serif; margin-left: auto; margin-right: auto;'>
 <thead>
<tr><th style="padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; font-weight: bold; padding-right: 4px; padding-left: 4px; background-color: white !important;" colspan="4"><div style="TRUE">El efecto de los hospitales</div></th></tr>
  <tr>
   <th style="text-align:left;"> Grupo </th>
   <th style="text-align:center;"> N </th>
   <th style="text-align:center;"> Salud (0-5) </th>
   <th style="text-align:center;"> Error estándar </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:left;"> Hospitalizados </td>
   <td style="text-align:center;"> 7,774 </td>
   <td style="text-align:center;"> 3.21 </td>
   <td style="text-align:center;"> 0.014 </td>
  </tr>
  <tr>
   <td style="text-align:left;"> No hospitalizados </td>
   <td style="text-align:center;"> 90,049 </td>
   <td style="text-align:center;"> 3.93 </td>
   <td style="text-align:center;"> 0.003 </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Diferencia </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:center;"> 0.72 </td>
   <td style="text-align:center;">  </td>
  </tr>
  <tr>
   <td style="text-align:left;"> (t) </td>
   <td style="text-align:center;">  </td>
   <td style="text-align:center;"> (58.9) </td>
   <td style="text-align:center;">  </td>
  </tr>
</tbody>
</table>

- ¿Tiene sentido? ¿Los hospitales enferman?

- ¿Qué sucede?

---

# Comparaciones observacionales

- Pensemos de nuevo en términos del *Modelo de Rubin* de resultados potenciales

`$$y_{i}=\begin{cases}
y_{1i}=1\quad\text{si }D_i=1\\
y_{0i}=0 \quad \text{si } D_i=0
\end{cases}$$`

- Solo vemos al individuo en una situación, `$y_i$`:

`$$y_i=y_{0i}+(y_{1i}-y_{0i})D_i$$`
--

- ¿Qué nos dicen las comparaciones observacionales?

- Supongamos que tenemos acceso a datos sobre tratados y no tratados

- Podemos calcular `$E(y_i|D_i=1)-E(y_i|D_i=0)$`:

$$
`\begin{aligned}
E(y_i|D_i=1)-E(y_i|D_i=0)=&E(y_{1i}|D_i=1)-E(y_{oi}|D_i=0)+\\& \underbrace{E(y_{0i}|D_i=1)-E(y_{0i}|D_i=1)}_0 
\end{aligned}`
$$
---

# Sesgo de selección

- Reordenando:

$$
`\begin{aligned}
E(y_i|D_i=1)-E(y_i|D_i=0)=&\overbrace{ E(y_{1i}|D_i=1)-E(y_{0i}|D_i=1)}^{\text{Efecto promedio en los tratados}}+\\& \underbrace{E(y_{0i}|D_i=1)-E(y_{oi}|D_i=0)}_{\text{Sesgo de selección}}
\end{aligned}`
$$

- El primer término nos da la diferencia promedio en la variable de salud entre los hospitalizados y lo que les hubiera pasado si no hubieran sido hospitalizados

- En nuestro ejemplo, el **sesgo de selección** es la diferencia en salud entre los hospitalizados y los no hospitalizados

- Específicamente, si quienes van al hospital tienen una peor salud, podemos esperar que `$E(y_{0i}|D_i=1)-E(y_{oi}|D_i=0)<0$`

---

# Sesgo de selección

- Al hacer aseveraciones basadas en comparaciones observacionales se incluye el efecto causal del tratamiento, pero también el sesgo de selección

- El sesgo de selección puede ser positivo o negativo

- El objetivo de las estrategias de evaluación es eliminar el sesgo de selección

---

# Tratamiento aleatorio

- Supongamos que tenemos la posibilidad de aleatorizar el tratamiento, es decir, hacer que `$Y_i$` y `$D_i$` sean independientes

- En ese caso, por independencia: `$E(Y_{0i}|D_i=0)=E(Y_{0i}|D_i=1)$`

- De la definición de comparación observacional:

$$
`\begin{aligned}
E(y_i|D_i=1)-E(y_i|D_i=0)=&E(y_{1i}|D_i=1)-E(y_{0i}|D_i=0)
\end{aligned}`
$$

- Sustituyendo el resultado de independencia:

$$
`\begin{aligned}
E(y_i|D_i=1)-E(y_i|D_i=0)&=E(y_{1i}|D_i=1)-E(y_{0i}|D_i=1) \\
& =E(y_{1i}-y_{0i}|D_i=1) \\
& =\underbrace{E(y_{1i}-y_{0i})}_{\text{Efecto causal}}
\end{aligned}`
$$

---

# No siempre es factible

- La aleatorización resuelve muchas cosas, pero muchas veces no es factible

- ¿Qué tendríamos que hacer en el caso de estudio, "¿Los hospitales matan?"

- Pensemos en un programa de empleo para ex convictos

- Seguramente una comparación observacional indicaría que estos ganan menos que el resto de la población

- Pero esto no significa que el programa cause un efecto negativo en el ingreso

- Siempre tenemos que pensar en el contrafactual

---

# El experimento STAR

- ¿En qué consistió?

- Dos tipos de tratamiento:

- `$T_1$`: clase pequeña (13-17) con maestro de tiempo completo
  - `$T_2$`: tamaño normal pero con asistente para el maestro
  
- Un grupo `$C$` al que no se le hizo cambio alguno (22.3 alumnos en promedio)

- ¿Cuál es el efecto de tener clases más pequeñas?

- ¿Por qué esto sería relevante? ¿Qué implicaciones de política tendría?

---

# El balance

- ¿Qué vemos en la Tabla 2.2.1 de MHE

- ¿Qué nos indican los valores `$p$`?

- ¿Cuál es la hipótesis nula?

- ¿Qué significa *atrición*?

- ¿Se logró el objetivo del experimento?

]

<table class=" lightable-paper lightable-hover" style='font-family: "Arial Narrow", arial, helvetica, sans-serif; margin-left: auto; margin-right: auto;border-bottom: 0;'>
 <thead>
<tr><th style="padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; font-weight: bold; padding-right: 4px; padding-left: 4px; background-color: white !important;" colspan="5"><div style="TRUE">Balance de observables</div></th></tr>
  <tr>
   <th style="text-align:left;"> Variable </th>
   <th style="text-align:center;"> `T_1` </th>
   <th style="text-align:center;"> `C` </th>
   <th style="text-align:center;"> `T_2` </th>
   <th style="text-align:center;"> `p` </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:left;"> Lunch gratis </td>
   <td style="text-align:center;"> 0.47 </td>
   <td style="text-align:center;"> 0.48 </td>
   <td style="text-align:center;"> 0.5 </td>
   <td style="text-align:center;"> 0.09 </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Blanco / asiático </td>
   <td style="text-align:center;"> 0.68 </td>
   <td style="text-align:center;"> 0.67 </td>
   <td style="text-align:center;"> 0.66 </td>
   <td style="text-align:center;"> 0.26 </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Edad (1985) </td>
   <td style="text-align:center;"> 5.44 </td>
   <td style="text-align:center;"> 5.43 </td>
   <td style="text-align:center;"> 5.42 </td>
   <td style="text-align:center;"> 0.32 </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Atrición </td>
   <td style="text-align:center;"> 0.49 </td>
   <td style="text-align:center;"> 0.52 </td>
   <td style="text-align:center;"> 0.53 </td>
   <td style="text-align:center;"> 0.02 </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Tamaño de clase </td>
   <td style="text-align:center;"> 15.1 </td>
   <td style="text-align:center;"> 22.4 </td>
   <td style="text-align:center;"> 22.8 </td>
   <td style="text-align:center;"> 0 </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Calificación </td>
   <td style="text-align:center;"> 54.7 </td>
   <td style="text-align:center;"> 48.9 </td>
   <td style="text-align:center;"> 50 </td>
   <td style="text-align:center;"> 0 </td>
  </tr>
</tbody>
<tfoot><tr><td style="padding: 0; " colspan="100%">
<span style="font-style: italic;">Nota:</span> <sup></sup> Tomada de Angrist y Pischke (2009), Tabla 2.2.1.</td></tr></tfoot>
</table>
]

---

# Desventajas

- Tiempo

- Costo: 12 millones de USD del proyecto STAR

- Preocupaciones legales y éticas

- A veces es posible hacer experimentos, a veces es muy difícil y a veces es imposible

- Usando métodos no experimentales, Angrist y Lavy (1999) encuentran resultados parecidos (pero con otros métodos)

---

# Motivación con un modelo de efectos constantes

---

# Regresión para la idenfiticación de efectos causales

- Con fines de simplificación, asumamos un efecto de tratamiento constante: `$y_{1i}-y_{0i}=\rho$`

- Consideremos el valor observado para un individuo 
`$$y_i=y_{0i}+(y_{1i}-y_{0i})D_i$$`

- Sumemos y restemos `$E(y_{0i})$`:

$$
`\begin{aligned}
y_i&=E(y_{0i})+(y_{1i}-y_{0i})D_i+y_{0i}-E(y_{0i}) \\
&=\underbrace{\alpha}_{E(y_{0i})}+\underbrace{\rho}_{(y_{1i}-y_{0i})} D_i + \underbrace{\nu_i}_{y_{0i}-E(y_{0i})}
\end{aligned}`
$$

- Ahora evaluemos:

$$
`\begin{aligned}
&E(y|D_i=1)=\alpha+\rho+E(\nu_i|D_i=1) \\
&E(y|D_i=0)=\alpha+E(\nu_i|D_i=0)
\end{aligned}`
$$

---

# Regresión para la idenfiticación de efectos causales

- Restando

$$
`\begin{aligned}
E(y|D_i=1)-E(y|D_i=0)&=\rho+\overbrace{E(\nu_i|D_i=1)-E(\nu_i|D_i=0)}^{\text{Sesgo de selección}} \\
&=\rho+E(y_{0i}|D_i=1)-E(y_{0i}|D_i=0)
\end{aligned}`
$$
- Es decir, el sesgo de selección es igual a la correlación entre el término de error y `$D_i$`

- Y, de acuerdo a la segunda línea, también es igual a la diferencia en el resultado potencial (de no tratamiento), entre aquellos que son tratados y los que no son tratados

- En nuestro ejemplo del hospital, es muy probable que el sesgo de selección sea negativo porque los tratados son quienes tienen peor salud (en el estado no tratado)

- Como vimos antes, con asignación aleatoria, el sesgo de selección desaparece, por lo que una regresión de `$y_i$` en `$D_i$` estima el efecto causal `$\rho$`

---

# Regresión como herramienta

- Usaremos muy frecuentemente la regresión para la estimación de efectos causales

- La interpretación causal de los estimadores no surge de la herramienta, sino del diseño

- Debemos tener en mente siempre si los estimadores están o no libres del sesgo de selección

- Antes vimos que en el experimento STAR las medias de las calificaciones entre grupos eran distintas

- La regresión nos servirá para hacer esencialmente lo mismo: comparación de `$y_i$` entre grupos

---

# El impacto de STAR con regresión

La Tabla 2.2.2 en MHE muestra los efectos de tratamiento estimados con regresión:

`$$calificacion_i=\alpha+\beta_1 T_{1i} + \beta_2 T_{2i} + B'X_i + u_i$$`

<table class=" lightable-paper lightable-hover" style='font-family: "Arial Narrow", arial, helvetica, sans-serif; margin-left: auto; margin-right: auto;border-bottom: 0;'>
 <thead>
<tr><th style="padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; font-weight: bold; padding-right: 4px; padding-left: 4px; background-color: white !important;" colspan="5"><div style="TRUE">Efectos experimentales del tamaño del grupo en las calificaciones</div></th></tr>
  <tr>
   <th style="text-align:left;"> Variable explicativa </th>
   <th style="text-align:center;"> (1) </th>
   <th style="text-align:center;"> (2) </th>
   <th style="text-align:center;"> (3) </th>
   <th style="text-align:center;"> (4) </th>
  </tr>
 </thead>
<tbody>
  <tr>
   <td style="text-align:left;"> `T_1`: Clase pequeña </td>
   <td style="text-align:center;"> 4.82 </td>
   <td style="text-align:center;"> 5.37 </td>
   <td style="text-align:center;"> 5.36 </td>
   <td style="text-align:center;"> 5.37 </td>
  </tr>
  <tr>
   <td style="text-align:left;">  </td>
   <td style="text-align:center;"> (2.19) </td>
   <td style="text-align:center;"> (1.26) </td>
   <td style="text-align:center;"> (1.21) </td>
   <td style="text-align:center;"> (1.19) </td>
  </tr>
  <tr>
   <td style="text-align:left;"> `T_2`: Clase pequeña y asistente </td>
   <td style="text-align:center;"> 0.12 </td>
   <td style="text-align:center;"> 0.29 </td>
   <td style="text-align:center;"> 0.53 </td>
   <td style="text-align:center;"> 0.31 </td>
  </tr>
  <tr>
   <td style="text-align:left;">  </td>
   <td style="text-align:center;"> (2.23) </td>
   <td style="text-align:center;"> (1.13) </td>
   <td style="text-align:center;"> (1.09) </td>
   <td style="text-align:center;"> (1.07) </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Efectos fijos de escuela </td>
   <td style="text-align:center;"> No </td>
   <td style="text-align:center;"> Sí </td>
   <td style="text-align:center;"> Sí </td>
   <td style="text-align:center;"> Sí </td>
  </tr>
  <tr>
   <td style="text-align:left;"> Controles </td>
   <td style="text-align:center;"> No </td>
   <td style="text-align:center;"> No </td>
   <td style="text-align:center;"> `X_1` </td>
   <td style="text-align:center;"> `X_1+X_2` </td>
  </tr>
</tbody>
<tfoot><tr><td style="padding: 0; " colspan="100%">
<span style="font-style: italic;">Nota:</span> <sup></sup> Tabla 2.2.2 en Angrist y Pischke (2009)</td></tr></tfoot>
</table>

---

# El impacto de STAR con regresión

- ¿Cómo se obtienen los resultados de esta tabla?

- ¿Qué se deduce sobre los distintos tratamientos?

- ¿Cuál es la variable dependiente?

- ¿Cuál es la variable independiente clave?

---

# Regresión corta y larga

- Con un tratamiento binario y asignado aleatoriamente, podemos estimar el efecto usando una regresión:

`$$y_i=\alpha+\beta T_i + u_i$$`

- Es muy común, sin embargo, usar **controles**

- Si una serie de características `$X$` no está correlacionada con `$T_i$`, se puede incluir en una versión larga de la regresión antes descrita:

`$$y_i=\alpha+\beta T_i + X_i'\gamma + u_i$$`
- El valor numérico de `$\hat{\beta}$` en la regresión larga será muy cercano al obtenido con la regresión corta, pero se incrementa la precisión de los parámetros estimados

- Dado que emplearemos regresión ampliamente en este curso, es necesario fijar algunas ideas sobre cómo entendemos y cómo usamos la regresión en la práctica

---
# Próxima sesión

- Analizaremos el papel de la regresión en el análisis de efectos de tratamiento

- MHE, Capítulo 3

- Avancemos con un ejemplo de un experimento:

- Baird, S., McIntosh, C., & Özler, B. (2011). Cash or condition? Evidence from a cash transfer experiment. The *Quarterly journal of economics*, 126(4), 1709-1753.

---

Presentación creada usando el paquete [**xaringan**](https://github.com/yihui/xaringan) en R.

El *chakra* viene de [remark.js](https://remarkjs.com), [**knitr**](http://yihui.org/knitr), y [R Markdown](https://rmarkdown.rstudio.com).

Material de clase en versión preliminar.

**No reproducir, no distribuir, no citar.**