1. Educación

Evaluaciones experimentales:
¿Cómo se implementan?
Claudia Martínez A.
Profesora Asistente de Economía
Universidad de Chile
[email protected]
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Objetivos
 Después de esta sesión, los participantes
serán capaces de:
Identificar los diferentes métodos de aleatorización.
Entender las ventajas y desventajas de cada
método de aleatorización dadas sus restricciones
respectivas.
Identificar el nivel apropiado de aleatorización.
2
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Esquema de la presentación
1. Oportunidades de aleatorizar y
restricciones prácticas
2. Unidad y método de aleatorización
3. Muestreo vs. Asignación aleatoria
4. Diseños de aleatorización
5. Aleatorización paso por paso
3
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
1. Oportunidades de aleatorizar
y restricciones prácticas
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Oportunidades de aleatorizar
 Introducción de un nuevo programa o diseño
de programa
Cuando el programa es innovador y no se conoce
su impacto
• El investigador puede colaborar en el diseño del
programa.
Cuando se quiere testear un nuevo diseño en un
programa ya vigente.
 Un programa empieza a ofrecer sus servicios
en nuevos lugares y/o a nuevas personas
Cuando un proyecto se expande pero no hay
suficientes recursos para abastecer a todos los
nuevos clientes.
5
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Oportunidades de aleatorizar
 Situaciones de exceso de demanda
Cuando no hay suficientes recursos para abastecer
de forma inmediata a todos los clientes potenciales.
 Cuando hay falta de demanda
Cuando hay más recursos que clientes y se busca
estimular la demanda.
6
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Restricciones: Timing
 Necesidad de lanzar programa.
 Necesidad de llevar a escala rápido.
 Tomar tiempo puede beneficiar:
 Implementación de programa.
 Evaluación de impacto del programa.
 Pilotear.
 No evaluar muy temprano, ni muy tarde.
7
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Restricciones: Externalidades
¿Qué son las externalidades?
 Las externalidades ocurren cuando el grupo de
control se ve afectado de alguna forma por el
tratamiento.
 Por ejemplo, quiero medir el impacto de entregar
chocolates (tratamiento) sobre la felicidad de los
participantes de este curso.
¿Qué pasaría si yo le entregara chocolates a sólo mitad
de los participantes de este curso?
• Los participantes podrían compartir el chocolate con sus
compañeros que no recibieron.
• Los compañeros que no reciben el chocolate podrían sentir
envidia.
8
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Restricciones: Externalidades
¿Por qué podría ser un problema?
 Recordemos el objetivo: estimar el
contrafactual.
El grupo control deja de representar “lo que hubiera
pasado” en ausencia de la intervención
 ¿Puede interesarme medir las externalidades?
Externalidades positivas
• Vacunas que causan menos trasmisión de una
enfermedad.
Externalidades negativas
• Contaminación.
9
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Restricciones: Justicia
¿Es justo aleatorizar?
 Las loterías son simples.
 Comunes y transparentes.
 Se pueden hacer públicas.
10
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Restricciones: Tamaño muestral
 Si el programa es muy pequeño, esto puede
ser un problema para medir el impacto.
 Algunos de los factores que determinan el
tamaño de la muestra necesaria para medir
impacto son:
 La magnitud del efecto que se desea identificar.
 Qué tan diferentes son las personas dentro de la
muestra en términos de los indicadores que vamos
a medir.
 Si aleatorizamos a nivel de individuos o grupos.
11
Oport./Restricc.
Unidad
Muestreo
Diseños
2. Unidad y método de
aleatorización
Pasos
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Unidad de aleatorización
Existen dos posibilidades:
 Aleatorizar al
nivel individual.
C
 Aleatorizar al
nivel de cluster.
T
T
T
C
C
C
T
¿A qué nivel aleatorizar?
13
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Unidad de aleatorización
Suponga se quiere estudiar el impacto de
entregar un computador a cada niño.
14
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Unidad de aleatorización: Individual
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Unidad de aleatorización: Individual
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Unidad de aleatorización: Clúster
Oport./Restricc.
Unidad
Muestreo
Diseños
Unidad de aleatorización: Clase
Pasos
Oport./Restricc.
Unidad
Muestreo
Diseños
Unidad de aleatorización: Clase
Pasos
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Unidad de aleatorización: Escuela
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Unidad de aleatorización: Escuela
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
En una campaña de educación sexual donde se
ofrecen charlas a estudiantes en sus aulas de
clase, ¿a qué nivel aleatorizarías si supieras que
los estudiantes interactúan bastante con niños
de diferentes grados?
25%
A.
B.
C.
D.
25%
25%
25%
A nivel de estudiante
A nivel de aula de clase
A nivel de grado
A nivel de colegio
A.
B.
C.
D.
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Unidad de aleatorización
Algunas consideraciones:
 ¿Cuál es la unidad de tratamiento? ¿Sobre qué
unidad se quiere tener efectos?
 Por ejemplo: ¿Intervenimos escuelas o niños?
 ¿Cuál es la unidad de análisis?
 Por ejemplo: ¿Vamos a investigar el impacto de un
programa sobre escuelas o sobre niños?
 Externalidades
 Viabilidad
23
Oport./Restricc.
Unidad
Muestreo
Diseños
3. Muestreo vs. Asignación
Aleatoria
Pasos
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Muestreo versus asignación
 Antes de entrar a los diseños, hablemos sobre
la diferencia entre asignación aleatoria y
muestreo aleatorio.
25
Oport./Restricc.
El Muestreo
aleatorio es para
lograr una muestra
que sea
representativa de la
población de
interés
Muestreo
aleatorioDiseños
vs.
Muestreo
Unidad
Asignación aleatoria
Pasos
Oport./Restricc.
Muestreo
aleatorio Diseños
vs.
Muestreo
Unidad
Asignación aleatoria
La Asignación
aleatoria a los grupos
de tratamiento
y control elimina el
sesgo selección
Pasos
Oport./Restricc.
Unidad
Muestreo
Diseños
4. Diseños de aleatorización
Pasos
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseño de una evaluación aleatoria
No en la
evaluación
Población total
Población
objetivo
Muestra de
evaluación
Miremos diferentes
diseños de
asignación aleatoria
Asignación
aleatoria
Grupo de
Tratamiento
Grupo de
Control
29
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Aspectos de un programa
Hay tres aspectos de un programa que se
pueden aleatorizar:
1. Acceso:
Elegimos a quiénes se les ofrece el programa
2. Momento de acceso:
Elegimos cuándo ofrecemos el programa
3. Estímulo:
Elegimos quiénes reciben incentivos para
participar en el programa
30
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseños de aleatorización
Diferentes opciones:
 Lotería básica.
 Diseño aleatorio por etapas.
 Diseño de rotación.
 Asignación aleatoria en la “burbuja”.
 Diseño de estímulos.
Las alternativas no son excluyentes.
31
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Lotería básica
 Las unidades (individuos, hogares, escuelas,
etc.) se asignan aleatoriamente al grupo de
tratamiento y al grupo de control.
 El grupo de tratamiento obtiene acceso al
programa; el grupo de control no.
32
Oport./Restricc.
Lotería
Básica
Tratamiento
Control
Unidad
Muestreo
Diseños
Pasos
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseños de asignación aleatoria recapitulación
Diseño
Son más útiles
cuando…
Ventajas
Desventajas
• Lotería Básica
• La suscripción al programa es mayor
al número de cupos
• Familiares.
• Fáciles de entender.
• Fáciles de implementar.
• Se pueden implementar en público.
• Desgaste diferencial.
34
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseño por etapas
 Cuando todos los candidatos deben recibir el
programa, podemos escoger aleatoriamente
quién participa en la primera etapa y quién
participa en las etapas subsiguientes.
 En una fase dada, los grupos que no han
participado aún forman el grupo de control. Los
participantes forman el grupo tratado.
35
Oport./Restricc.
Diseño por etapas
Muestreo
Unidad
Diseños
Pasos
3
1
Ronda 1
2
3
2
2
Tratamiento: 1/3
Control: 2/3
3
3
2
1
1
Ronda 2
2
3
2
3
1
2
1
3
3
3
2
La evaluación
aleatoria finaliza
3
3
2
Tratamiento: 2/3
Control: 1/3
2
3
1
2
1
2
2
2
1
3
3
Ronda 3
1
3
1
3
Tratamiento: 3/3
Control: 0
1
2
1
1
2
3
1
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseños por etapas
¿Cuándo es útil?:
 Nadie está siendo excluido totalmente:
A la larga, todos obtienen algo.
 Progresa/Oportunidades (1997) se implementó en
etapas.
¿Qué posible restricción podría tener?
37
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseños de asignación aleatoria recapitulación
Diseño
Son más útiles
cuando…
• Diseño por etapas
• El programa es universal, pero se
implementa en etapas.
Ventajas
• Fáciles de entender.
• La restricción es fácil de explicar.
• El grupo de control cumple, porque ellos
esperan beneficiarse más tarde.
Desventajas
• La anticipación del tratamiento puede
afectar la conducta a corto plazo.
• Es difícil medir el impacto a largo plazo.
38
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Aleatorización en “la burbuja”
 Cuando la selección de los participantes de un
programa se basa en un puntaje (e.g.
programas de crédito, becas, o basados en
necesidades), una lotería simple puede no ser
viable.
 La lotería se lleva a cabo solo para aquellos
que están ligeramente por encima o
ligeramente por debajo de cierto umbral de
elegibilidad
39
Muestreo
Pasos
Unidad
Asignación
aleatoria
en Diseños
“la burbuja”
Oport./Restricc.
Tratamiento
Dentro de la
burbuja,
compare el
tratamiento
con el control
Claramente no
elegibles
Muy apropiados
Control
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Aleatorización en “la burbuja”
 ¿Costo de sacrificar buenos candidatos?
 Ejemplo: Microfinanzas.
 La institución implementadora podría estar dispuesta a
aleatorizar en “la burbuja”.
 Las personas “en la burbuja” están en el límite de elegibilidad.
 Las personas justo por encima del umbral no son elegibles, pero
casi.
 Karlan and Zinman (2007)
 Aleatorizan la asignación de crédito entre las solicitudes
“marginales” de un banco en Sudáfrica, establecidas por un
sistema de “credit scoring”.
¿Qué efecto del tratamiento se mide?
¿Qué significa esto para la validez externa?
41
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseños de asignación aleatoria recapitulación
Diseño
• Burbuja
Son más útiles
cuando…
• No se quiere aleatorizar dentro de todos
los elegibles.
• Hay personas “en la burbuja”, próximos al
umbral de elegibilidad.
Ventajas
• Los que “deben” recibir el programa lo
reciben.
Desventajas
• Mide el impacto sobre aquellos que
están en la burbuja.
42
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseño de rotación
 Las unidades elegibles se asignan
aleatoriamente a dos grupos, y ambos grupos
se turnan para recibir el programa.
 El grupo que participa en el programa es el
grupo tratado durante un periodo, y el otro
grupo es el control. Posteriormente, se
intercambian.
43
Oport./Restricc.
Unidad
Diseño
de rotación
Fase 1
Tratamiento: 1/2
Control: 1/2
Fase 2
Tratamiento en
Fase 1 
Control
Control en
Fase 1 
Tratamiento
——————————————————————————
Muestreo
Diseños
Pasos
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseños de asignación aleatoria recapitulación
Diseño
Son más útiles
cuando…
Ventajas
Desventajas
• Rotación
• Todos deben recibir el tratamiento en
algún momento
• No hay suficientes recursos para cubrir a
todos a la vez
• Más datos que en el diseño por
etapas.
• Dificultad de medir efectos a largo
plazo.
45
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseño de estímulos
 En ocasiones, es práctica o éticamente imposible asignar el
acceso al programa en forma aleatoria.
 Pero la mayoría de los programas tiene una aceptación inferior al
100%.
 Puede asignarse aleatoriamente el estímulo de recibir
tratamiento.
 Ejemplo: Elecciones en Perú
 Votación en Perú es obligatoria y la ausencia supone una multa.
 En el 2006, sin embargo, una ley redujo estas multas, aunque
pocos sabían al respecto, especialmente en zonas más pobres.
 Se hizo una asignación aleatoria de los barrios de Lima, de
modo que en algunos se proveía información acerca de la
reducción de la multa y en otros no.
46
Oport./Restricc.
Diseño de estímulos
Unidad
Estimular
No estimular
Muestreo
Diseños
Pasos
Compare los
estimulados con los no
estimulados
Estos deben estar correlacionados
Participó
No participó
No compare participantes
con no participantes
Cumplió
No cumplió
Ajuste por incumplimiento en la
fase de análisis
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Diseños de asignación aleatoria recapitulación
Diseño
Son más útiles
cuando…
• Estímulo
• El programa debe estar abierto a todos los
recién ingresados.
• Cuando la aceptación es baja, pero se puede
mejorar fácilmente con un estímulo.
Ventajas
• Se puede asignar en forma aleatoria a
nivel individual, aún cuando el programa
no sea administrado a ese nivel.
Desventajas
• Mide el impacto de aquellos que responden al
estímulo.
• Necesita un aliciente suficientemente grande para
mejorar la aceptación.
• El estímulo mismo puede tener un efecto directo.
48
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Tratamiento Múltiples
 Para testear:
Distintos componentes.
Diferentes intervenciones posibles.
Distintas hipótesis
 Se puede aleatorizar múltiples tratamientos y
analizar cómo se comparan unos con otros, y
cómo se complementan.
49
Oport./Restricc.
Muestreo
Diseños
Unidad
Tratamientos
múltiples
Tratamiento 1
Tratamiento 2
Tratamiento 3
Pasos
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Te gustaría evaluar un programa de formación laboral,
asignando a la mitad de los candidatos a participar en él.
No obstante, no todos los candidatos a los que se les da la
oportunidad de participar se inscribirán en el programa.
¿Qué método de aleatorización
escogerías si no puedes
forzar a participar?
A.
B.
C.
D.
E.
20%
20%
20%
B.
C.
20%
20%
Lotería básica
Lotería en la burbuja
Diseño por etapas
Diseño de rotación
Diseño de estímulo
A.
D.
E.
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
¿Qué diseño de aleatorización escogerías si
quieres que todos los candidatos reciban el
programa en algún momento del tiempo?
20%
A.
B.
C.
D.
E.
20%
20%
B.
C.
20%
20%
Lotería básica
Lotería en la burbuja
Diseño por etapas
Diseño de rotación
Diseño de estímulo
A.
D.
E.
Oport./Restricc.
Unidad
Muestreo
Diseños
5. Aleatorización paso por
paso
Pasos
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Pasos: Aleatorización individual
Seleccionar lugar de estudio
Dentro del lugar elegido,
aplicar criterio de elegibilidad:
Ej.: programa ofrecido
solo a mujeres
54
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Pasos: Aleatorización individual
Aleatorizar acceso al programa
entre participantes elegibles para
formar el grupo Tratamiento
Encuestar a las personas del grupo
Tratamiento (reciben programa) y del
grupo Control (no reciben programa)
55
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Pasos: Aleatorización por clúster
Opcional: Aleatorizar selección
de departamentos.
Dentro de los departamentos elegidos,
aplicar criterio de elegibilidad:
Ej.: solo comunidades
grandes
56
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
Pasos: Aleatorización por clúster
encuestado
no encuestado
De las comunidades elegibles,
asignar aleatoriamente algunas
al grupo Tratamiento (reciben
programa) y el resto al grupo
Control (no reciben programa)
Encuestar una muestra aleatoria
de personas de ambos grupos:
Tratamiento y Control
57
Oport./Restricc.
Unidad
Muestreo
Diseños
Pasos
¿Pero cómo aleatorizar en la
práctica?
 Lotería desde una canasta.
 Excel
 Programas estadísticos
 Stata
 Optimal Design
58
¡Gracias!
Claudia Martínez A.
Profesora Asistente de Economía
Universidad de Chile
[email protected]