class: title-slide .title[ # Clase 7. Experimentos a escala masiva ] .subtitle[ ## Evaluación de Programas ] .author[ ### Irvin Rojas <br> [rojasirvin.com](https://www.rojasirvin.com/) <br> [<i class="fab fa-github"></i>](https://github.com/rojasirvin) [<i class="fab fa-twitter"></i>](https://twitter.com/RojasIrvin) [<i class="ai ai-google-scholar"></i>](https://scholar.google.com/citations?user=FUwdSTMAAAAJ&hl=en) ] .affiliation[ ### Centro de Investigación y Docencia Económicas <br> División de Economía ] --- # Agenda 1. Estudiaremos una intervención en seis países para enfatizar las características de un experimento aleatorio y el análisis del mismo 1. Reconoceremos distintos elementos del diseño y de la econometría que se emplean en las evaluaciones experimentales --- class: inverse, middle, center # Experimentos a escala masiva --- # Un programa multifacético causa progresos duraderos para los pobres - Banerjee y una larga lista de coautores (2015) - Hasta ahora habíamos analizado intervenciones con tratamientos aleatorizados que se restringían a una región o país -- - Un fenómeno en el corazón del estudio de la economía del desarrollo es identificar las condiciones que provocan que las personas vivan en pobreza y, por tanto, identificar intervenciones que permitan mejorar el nivel de vida de la gente - ¿Qué piensan? ¿Debemos hacer cosas para combatir la pobreza? --- # El programa - Intervención de gran escala en seis países: Etiopía, Ghana, Honduras, India, Pakistán y Perú - ¿En qué consistió la intervención? -- - Programa *holístico* - Activos - Transferencias para comida - Entrenamiento para negocios - Acompañamiento (*coaching*) - Productos de ahorro - Educación para la salud --- # Diseño - ¿Cómo se decidió quién recibiría el programa? -- - En tres países hubo una aleatorización individual -- - En cada una de las localidades participantes se eligieron aleatoriamente a los hogares participantes - En otros tres, hubo una aletorización agrupada (*clustered*) -- - De las localidades participantes, primero se asignaron localidades a tratamiento y localidades a control - En las localidades de tratamiento, se aleatorizaron los hogares que recibieron el tratamiento - Permite identificar la presencia de efectos de derramamiento o *spillovers* --- # Integridad del diseño - Aquí tenemos dos tablas del [apéndice](https://dspace.mit.edu/bitstream/handle/1721.1/97047/Duflo_A%20multi-faceted%20paper%20and%20SI.pdf?sequence=1&isAllowed=y) del artículo - ¿A qué equivale la tabla de *ortogonalidad* en el lenguaje que hemos usado hasta ahora? - ¿Qué nos dice el panel A? ¿Cuál es la `\(H_0\)`? - ¿Qué nos dice el panel B? ¿A qué le ponemos atención aquí? - ¿Qué se concluye? --- # Integridad del diseño <div style="border: 1px solid #ddd; padding: 0px; overflow-y: scroll; height:80%; "><table class=" lightable-paper lightable-hover" style='font-family: "Arial Narrow", arial, helvetica, sans-serif; margin-left: auto; margin-right: auto;border-bottom: 0;'> <thead> <tr><th style="padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; font-weight: bold; padding-right: 4px; padding-left: 4px; background-color: white !important;position: sticky; top:0; background-color: #FFFFFF;" colspan="4"><div style="TRUE">Ortogonalidad</div></th></tr> <tr> <th style="text-align:left;position: sticky; top:0; background-color: #FFFFFF;"> </th> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> (1) </th> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> (2) </th> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> (3) </th> </tr> </thead> <tbody> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> Consumo per cápita </td> <td style="text-align:center;"> Índice seguridad alimentaria </td> <td style="text-align:center;"> Índice activos </td> </tr> <tr> <td style="text-align:left;"> Panel A: Prueba de diferencia de medias </td> <td style="text-align:center;"> </td> <td style="text-align:center;"> </td> <td style="text-align:center;"> </td> </tr> <tr> <td style="text-align:left;"> Control </td> <td style="text-align:center;"> 0.0000 </td> <td style="text-align:center;"> 0.0000 </td> <td style="text-align:center;"> 0.0000 </td> </tr> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> (0.0124) </td> <td style="text-align:center;"> (0.0124) </td> <td style="text-align:center;"> (0.0124) </td> </tr> <tr> <td style="text-align:left;"> Tratamiento </td> <td style="text-align:center;"> -0.0323 </td> <td style="text-align:center;"> -0.0033 </td> <td style="text-align:center;"> 0.0277 </td> </tr> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> (0.0140) </td> <td style="text-align:center;"> (0.0165) </td> <td style="text-align:center;"> (0.0188) </td> </tr> <tr> <td style="text-align:left;"> Valor `p` </td> <td style="text-align:center;"> 0.0979 </td> <td style="text-align:center;"> 0.8735 </td> <td style="text-align:center;"> 0.2019 </td> </tr> <tr> <td style="text-align:left;"> Panel B: Regresión </td> <td style="text-align:center;"> </td> <td style="text-align:center;"> </td> <td style="text-align:center;"> </td> </tr> <tr> <td style="text-align:left;"> Tratamiento </td> <td style="text-align:center;"> -0.0310 </td> <td style="text-align:center;"> 0.0050 </td> <td style="text-align:center;"> 0.0180 </td> </tr> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> (0.020) </td> <td style="text-align:center;"> (0.0210) </td> <td style="text-align:center;"> (0.0220) </td> </tr> <tr> <td style="text-align:left;"> `R` cuadrada </td> <td style="text-align:center;"> 0.0000 </td> <td style="text-align:center;"> 0.0000 </td> <td style="text-align:center;"> 0.0010 </td> </tr> </tbody> <tfoot><tr><td style="padding: 0; " colspan="100%"> <span style="font-style: italic;">Nota:</span> <sup></sup> Apéndice en Banerjee et al. (2015).</td></tr></tfoot> </table></div> --- # Integridad del diseño - ¿Cómo interpretamos los resultados sobre atrición presentados? - ¿Cuál es la `\(H_0\)` en cada panel? <div style="border: 1px solid #ddd; padding: 0px; overflow-y: scroll; height:60%; "><table class=" lightable-paper lightable-hover" style='font-family: "Arial Narrow", arial, helvetica, sans-serif; margin-left: auto; margin-right: auto;border-bottom: 0;'> <thead> <tr><th style="padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; font-weight: bold; padding-right: 4px; padding-left: 4px; background-color: white !important;position: sticky; top:0; background-color: #FFFFFF;" colspan="3"><div style="TRUE">Atrición</div></th></tr> <tr> <th style="empty-cells: hide;position: sticky; top:0; background-color: #FFFFFF;" colspan="1"></th> <th style="padding-bottom:0; padding-left:3px;padding-right:3px;text-align: center; font-weight: bold; padding-right: 4px; padding-left: 4px; background-color: white !important;position: sticky; top:0; background-color: #FFFFFF;" colspan="2"><div style="TRUE">Variable dependiente: encuesta completada</div></th> </tr> <tr> <th style="text-align:left;position: sticky; top:0; background-color: #FFFFFF;"> </th> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> (1) </th> <th style="text-align:center;position: sticky; top:0; background-color: #FFFFFF;"> (2) </th> </tr> </thead> <tbody> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> Ronda 1 </td> <td style="text-align:center;"> Ronda 2 </td> </tr> <tr> <td style="text-align:left;"> Panel A </td> <td style="text-align:center;"> </td> <td style="text-align:center;"> </td> </tr> <tr> <td style="text-align:left;"> Tratamiento </td> <td style="text-align:center;"> 0.0079 </td> <td style="text-align:center;"> 0.0095 </td> </tr> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> (0.0054) </td> <td style="text-align:center;"> (0.0060) </td> </tr> <tr> <td style="text-align:left;"> Media </td> <td style="text-align:center;"> 0.940 </td> <td style="text-align:center;"> 0.91 </td> </tr> <tr> <td style="text-align:left;"> Panel B </td> <td style="text-align:center;"> </td> <td style="text-align:center;"> </td> </tr> <tr> <td style="text-align:left;"> Tratamiento </td> <td style="text-align:center;"> 0.0073 </td> <td style="text-align:center;"> 0.0090 </td> </tr> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> (0.0054) </td> <td style="text-align:center;"> (0.0060) </td> </tr> <tr> <td style="text-align:left;"> Consumo per cápita </td> <td style="text-align:center;"> 0.0000 </td> <td style="text-align:center;"> 0.0000 </td> </tr> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> (0.0030) </td> <td style="text-align:center;"> (0.0030) </td> </tr> <tr> <td style="text-align:left;"> Índice activos </td> <td style="text-align:center;"> 0.0068*** </td> <td style="text-align:center;"> 0.0080*** </td> </tr> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> (0.0023) </td> <td style="text-align:center;"> (0.0025) </td> </tr> <tr> <td style="text-align:left;"> Índice salud mental </td> <td style="text-align:center;"> 0.0000 </td> <td style="text-align:center;"> -0.0065** </td> </tr> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> (0.0028) </td> <td style="text-align:center;"> (0.0032) </td> </tr> <tr> <td style="text-align:left;"> Panel C </td> <td style="text-align:center;"> </td> <td style="text-align:center;"> </td> </tr> <tr> <td style="text-align:left;"> Tratamiento </td> <td style="text-align:center;"> 0.0087 </td> <td style="text-align:center;"> 0.0091 </td> </tr> <tr> <td style="text-align:left;"> </td> <td style="text-align:center;"> (0.0069) </td> <td style="text-align:center;"> (0.0078) </td> </tr> <tr> <td style="text-align:left;"> Características línea base </td> <td style="text-align:center;"> Sí </td> <td style="text-align:center;"> Sí </td> </tr> <tr> <td style="text-align:left;"> Características línea base x Tratamiento </td> <td style="text-align:center;"> Sí </td> <td style="text-align:center;"> Sí </td> </tr> <tr> <td style="text-align:left;"> Media atrición </td> <td style="text-align:center;"> 0.94 </td> <td style="text-align:center;"> 0.91 </td> </tr> <tr> <td style="text-align:left;"> Valor `p` </td> <td style="text-align:center;"> 0.75 </td> <td style="text-align:center;"> 0.17 </td> </tr> </tbody> <tfoot><tr><td style="padding: 0; " colspan="100%"> <span style="font-style: italic;">Nota:</span> <sup></sup> Apéndice en Banerjee et al. (2015).</td></tr></tfoot> </table></div> --- # Integridad del diseño - ¿A se refiere el término cumplimiento o *complience*? - ¿Qué significa que la tasa de cumplimiento en India sea de 52%? -- - ¿Por qué se dice que el análisis presentado es uno de intención de tratamiento (*intention to treat*, ITT) -- - Se comparan hogares **asignados** al tratamiento con hogares asignados al control, sin importar si efectivamente lo recibieron o no --- # Efectos de tratamiento - Se estima una sola ecuación con todas las observaciones para cada variable de interés `$$Y^k_i=\alpha + \beta_1 T_i + \beta Z_i^k + P_i + S_i + E_i + \varepsilon_i$$` - `\(T_i\)` es el indicador de asignación al tratamiento - `\(Z_i\)` es el valor de la variable de interés en la línea base - `\(P_i\)` son variables indicadoras por país - `\(S_i\)` son variables indicadoras de si la encuesta fue una encuesta *corta* - `\(E_i\)` son variables indicadores de estratificación --- # Variable dependiente - ¿Cómo se construye `\(Y^k_i\)`? -- - Consideremos primero una sola variable, digamos el consumo per capita de comida - Esto es `\(Y^{k}_{ijl}\)` del hogar `\(i\)` en el país `\(l\)` y donde `\(k=\text{consumo de alimentos}\)` - La variable consumo de comida es parte de la familia de consumo `\(j=consumo\)` - Se construye un `\(z\)`-*score* para cada variable restándole la media del grupo de control en la ronda en donde se evalúa el impacto en el país `\(l\)` y se le divide por la desviación estándar -- - En seguida, para cada familia `\(j\)`, tomamos los `\(z\)`-*score* de las variables que pertenecen a dicha familia y obtenemos la media y la desviación estándar para cada país `\(l\)` y ronda - Finalmente `\(Y^k_i\)` resulta de estandarizar cada `\(Y^{k}_{ijl}\)` --- # Efectos de tratamiento .pull-left[ - ¿Cuál es la evidencia (tabla o gráfica) más importante que resume los efectos del programa? - ¿Qué se encuentra? ] -- .pull-right[ <div class="figure" style="text-align: center"> <img src="figures/sixcountries_treatmenteffect.png" alt="Fuente: Banerjee et al. (2015)" width="85%" /> <p class="caption">Fuente: Banerjee et al. (2015)</p> </div> ] --- # Efectos de derramamiento - ¿Cómo podemos identificar los efectos de derramamiento en los países en donde hubo localidades enteras sin ningún hogar tratado? - En los casos de Ghana, Honduras y Perú hay tres tipos de hogares: - Tratados en localidades tratadas - No tratados en localidades tratadas - No tratado en localidades no tratadas (control) -- - Podemos comparar a los no tratados en las localidades de tratamiento con los no tratados en las localidades de control --- # Próxima sesión - Un laboratorio en R sobre regresión y métodos experimentales - Será muy útil si le echan un ojo a la Tarea 1 - El jueves hablaré sobre cómo estimar el LATE usando variables instrumentales - Angrist, J. D. (2006). Instrumental variables methods in experimental criminological research: what, why and how. *Journal of Experimental Criminology*, 2(1), 23-44. --- class: center, middle Presentación creada usando el paquete [**xaringan**](https://github.com/yihui/xaringan) en R. El *chakra* viene de [remark.js](https://remarkjs.com), [**knitr**](http://yihui.org/knitr), y [R Markdown](https://rmarkdown.rstudio.com). Material de clase en versión preliminar. **No reproducir, no distribuir, no citar.**