1. Educación

TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
¿Cómo aleatorizar?
Francisco Gallego
Abdul Latif Jameel
Poverty Action Lab
povertyactionlab.org
Agenda del curso
1. Evaluaciones de impacto: ¿Qué son? ¿Por qué hacerlas? ¿Cuándo hacerlas?
2. Marco lógico, indicadores y medición del impacto
3. ¿Por qué aleatorizar?
4. ¿Cómo aleatorizar?
5. El tamaño muestral
6. Implementar una evaluación
7. Análisis e inferencia
Agenda del curso
1. Evaluaciones de impacto: ¿Qué son? ¿Por
qué hacerlas? ¿Cuándo hacerlas?
2. Marco lógico, indicadores y medición del impacto
3. ¿Por qué aleatorizar?
4. ¿Cómo aleatorizar?
5. El tamaña muestral
6. Implementar una evaluación
7. Análisis e inferencia
Resumen de la exposición
• Unidad y método de aleatorización
• Restricciones del mundo real
• Revisando de nuevo la unidad y el método
• Variaciones en análisis tratamiento‐control simple
Objetivos de la clase
• Entender cómo aleatorizar (mecánica) y decidir entre alternativas.
– Conceptos clave: Unidad y método de aleatorización, estratificación
• Cómo adaptar (de modo creativo) la aleatorización a las restricciones del mundo real
• Entender algunas variaciones en análisis tratamiento‐control simple
Asignación aleatoria
Ingresos por persona,
por mes, rupias
1457
1442
1000
2006
500
0
Trat.
Comp.
•Cómo aleatorizar, Parte I -
5
Mecánica de la aleatorización
• Es necesario un marco muestral (lista de donde aleatorizar)
• Opciones:
– Sacar del sombrero
– Utilice un generador de números aleatorios en un programa de planilla de cálculo para ordenar las observaciones de manera aleatoria
– Utilice un código del programa Stata
• ¿Qué ocurre si no hay lista existente?
Fuente: Chris Blattman
•6
Resumen de la exposición
• Unidad y método de aleatorización
• Restricciones del mundo real
• Revisitar la unidad y el método
• Variaciones en un grupo de tratamiento‐
control simple
Unidad de aleatorización
1. Aleatorizar al nivel individual
2. Aleatorizar al nivel del grupo “Estudio aleatorio con observaciones agrupadas”
• ¿A qué nivel se debe aleatorizar?
•8
Unidad de aleatorización: consideraciones
• ¿A qué unidad apunta el programa para tratamiento?
• ¿Cuál es la unidad de análisis?
Unidad de aleatorización: ¿individual?
Unidad de aleatorización: ¿individual?
Unidad de aleatorización: ¿unidades agrupadas?
“Grupos de personas”: Estudio aleatorio en unidades agrupadas
Unidad de aleatorización: ¿clase?
Unidad de aleatorización: ¿clase?
Unidad de aleatorización: ¿escuela?
Unidad de aleatorización: ¿escuela?
Unidad de aleatorización: población objetivo
• ¿De qué manera se administra la intervención?
• ¿Cuál es el área de captación de cada “unidad de intervención”?
• ¿Cuál es la amplitud del posible impacto?
Unidad de aleatorización: análisis
• Recuerde: ¿cuál es nuestra medición del impacto?
• ¿Dónde/cómo obtenemos estos datos?
Lotería: Comience con los estudios clínicos como punto de referencia
• Tome a 1000 personas y dele el medicamento a la mitad
• ¿Podemos simplemente aplicar este enfoque a programas sociales?
•Cómo aleatorizar, 19
Las loterías son simples, comunes y transparentes
• Elegido al azar de una selección de postulantes
• Los participantes conocen a los “ganadores” y “perdedores”
• La lotería simple es útil cuando no existe un motivo a priori para discriminar
• Se percibe como justo
• Transparente
• Comúnmente viable políticamente
•Cómo aleatorizar, Parte I 20
Resumen de la exposición
•
•
•
•
Unidad y método de aleatorización
Restricciones del mundo real
Revisitar la unidad y el método
Variaciones en un grupo de tratamiento‐
control simple
Restricciones: recursos
• Por qué las restricciones de recursos son el mejor amigo de un evaluador • Muchos programas tienen recursos limitados
• Muchos más receptores elegibles que recursos que permitan servir a estos
• Bastante comunes en la práctica:
– Capacitación para empresarios o granjeros
– Vouchers en educación
– Transferencias monetarias
•Cómo aleatorizar, Parte I 22
Restricciones: contaminación
• ¡Recuerde el contrafactual!
• Si el grupo de control es diferente al del contrafactual, nuestros resultados pueden estar sesgados
Restricciones: contaminación
Externalidad/control tratado
• Externalidad
• Control tratado
• Cumplimiento parcial o incumplimiento del tratamiento
Restricciones: logísticas
• Suponga que la administración de medicamentos de desparasitación fuera una de las responsabilidades de un trabajador de la salud
• Suponga que el trabajador de la salud prestó servicios a los miembros de los grupos de control y tratamiento
• Podría ser difícil capacitarlos para seguir diferentes procedimientos para diferentes grupos y llevar un registro de qué se administra a quién
Restricciones: justicia, política
• Aleatorizar a nivel del niño dentro de las clases
• Aleatorizar a nivel de la clase dentro de colegios
• Aleatorizar al nivel de la comunidad
Restricciones: Tamaño de la muestra
• El programa es sólo lo suficientemente grande para prestar servicios a un puñado de comunidades
Resumen de la exposición
•
•
•
•
Unidad y método de aleatorización
Restricciones del mundo real
Volviendo a revisar la unidad y el método
Variaciones en un grupo de tratamiento‐
control simple
¿Qué ocurre si tiene 500 postulantes para 500 cupos?
• Considere los diseños de lotería no estándares
• Podrían aumentar las actividades de divulgación
• ¿Es esto ético?
•Cómo aleatorizar, Parte I 29
A veces el filtrado importa
• Suponga que hay 2000 postulantes
• El filtrado de las solicitudes produce 500 candidatos “elegibles”
• Hay 500 cupos
• Una lotería simple no funcionará
• ¿Cuáles son nuestras opciones?
Considere las normas de filtro o focalización
• ¿Se filtra para qué?
• ¿Qué elementos son esenciales?
• Los procedimientos de selección sólo pueden existir para reducir los candidatos elegibles para cumplir una restricción de capacidad o para focalizar el programa
• Si ciertos mecanismos del filtro aparecen como “arbitrarios” (pero no aleatorios), la aleatorización puede servir para el propósito de filtrar y ayudarnos a evaluar
Aleatorización en la burbuja
• A veces puede que un socio no esté dispuesto a aleatorizar entre las personas elegibles.
• Un socio podría estar dispuesto a aleatorizar en “la burbuja”.
• Las personas “en la burbuja”, son personas que están en el límites en términos de elegibilidad
– Justo sobre el unbral  no elegible, pero casi
• ¿Qué efecto en el tratamiento medimos? ¿Qué significa para la validez externa?
Aleatorización en “la burbuja” Tratamiento
Dentro de
la burbuja,
compare el
tratamiento
con el
control
No participantes
Participantes
Control
Cuando el análisis importa: Lotería parcial
• Los funcionarios del programa pueden mantener la discreción
• Ejemplo: Programa de capacitación
• Ejemplo: Expansión de los créditos de consumo en Sudáfrica
Diseño escalonado: aprovecha la expansión
• Eventualmente todos reciben el programa
• El enfoque natural al expandir el programa enfrenta restricciones de recursos
• ¿Qué determina que las escuelas, ramas, etc. se incluirán cada año?
Diseño escalonado
3
1
Ronda 1
2
3
3
3
1
3
3
2
3
2
Tratamiento: 2/3
Control: 1/3
2
3
1
2
1
3
3
3
2
3
1
2
1
2
2
2
1
3
3
Ronda 3
Tratamiento: 3/3
Control: 0
2
1
Ronda 2
Finaliza la
evaluación aleatoria
2
2
Tratamiento: 1/3
Control: 2/3
2
1
3
1
3
1
2
1
1
2
3
1
Diseño escalonado
Ventajas
• Eventualmente todos reciben algo
• Proporciona incentivos para mantener el contacto
Preocupaciones
• Puede complicar el cálculo de efectos a largo plazo
• Atención con las ventanas de escalonamiento
• Expectativas cambian acciones hoy?
Diseño por rotación
• Los grupos reciben tratamiento en turnos
• Ventajas
• Preocupaciones
•Cómo aleatorizar, Parte I 38
Diseño por rotación
Ronda 1
Tratamiento:
1/2
Control: 1/2
Ronda 2
Tratamiento de
la Ronda 1 
Control
Control de la
Ronda 1 
Tratamiento
——————————————————————————
“¿Desea encuestarme? Entonces, trate conmigo”
• La introducción escalonada puede no proporcionar suficiente beneficio para los participantes de la ronda posterior
• La cooperación del grupo de control puede ser esencial
•
•
•
•
Considere la aleatorización entre‐grupo
Por ejemplo, programa de balsakhi
Todos los participantes obtienen algún beneficio
Preocupación: mayor probabilidad de contaminación
Diseño por estímulo a participar: ¿Qué hacer cuando no puede aleatorizar acceso?
• A veces es práctica o éticamente imposible aleatorizar el acceso al programa
• Sin embargo, la mayoría de los programas tiene menos de 100% de tasa de participación
• Aleatorice por estímulo a recibir tratamiento
Diseño por estímulo
Estímulo
No Estímulados
participó
no participó
compare
estimulados con
no estimulados
Éstos se deben correlacionar
no compare
participantes con
no participantes
Cumplimiento
No cumplimiento
Ajuste para el no cumplimiento
en la fase de análisis
¿Qué es “estímulo”?
• Algo que hace que algunas personas sean más propensas a utilizar este programa que otras
• No es un “tratamiento” en sí
• ¿Para quiénes estamos calculando el efecto del tratamiento?
• Piense en quiénes responden a la motivación
Para resumir: Posibles diseños
•
•
•
•
•
Lotería simple Aleatorización en la “burbuja”
Aleatorización por escalonamiento
Rotación
Diseño por estímulo
– Nota: Éstos no son mutuamente exclusivos.
Métodos de aleatorización ‐
recapitulación
Diseño
Más útil cuando
Ventajas
Lotería simple
Programa supersuscrito
Está bien que algunos que no
reciben nada
Familiar
Fácil de comprender
Fácil de implementar
Se puede implementar en público
Escalonamiento
Se amplía con el tiempo
Fácil de comprender
Finalmente, todos deben recibir
tratamiento
Rotación
Estímulo
Todos deben recibir algo en algún
punto, no hay suficientes recursos
en el año para todos
El programa debe estar abierto para
todos
Cuando la tasa de participación es
Baja, pero se puede impactar
fácilmente con incentivos.
Restricción fácil de explicar
El control acepta dado que espera
beneficio posterior
Más datos que en la
introducción escalonada
Desventajas
Puede que el grupo de control
no coopere
Desgaste diferencial
La anticipación del tratamiento
puede impactar la conducta a
corto plazo
Dificultad para medir el impacto
a largo plazo
Difícil de medir a largo plazo
Puede aleatorizar en el nivel individual Mide el impacto de quienes
incluso cuando el programa se
responden al incentivo
entrega a nivel individual
Necesita un incentivo lo
suficientemente grande para
la adquisición
El estímulo puede tener un
efecto directo
•Cómo aleatorizar, Parte I 45
Resumen de la exposición
•
•
•
•
Unidad y método de aleatorización
Restricciones del mundo real
Revisitar la unidad y el método
Variaciones a tratamiento‐control simple
Tratamientos múltiples
• A veces la pregunta central es decidir entre diferentes intervenciones posibles
• Usted puede aleatorizar estos programas
• ¿Esto nos enseña acerca del beneficio de alguna intervención particular?
• ¿Existe un grupo de control? •Cómo aleatorizar, Parte I 47
Tratamientos múltiples
Tratamiento 1
Tratamiento 2
Tratamiento 3
Interacción de tratamiento
• Prueba diferentes componentes de tratamiento en diferentes combinaciones
• Prueba si los componentes sirven como sustitutos o complementos
• ¿Cuál es la combinación más económica? • Ventaja: situación gana‐gana para operaciones, pueden ser útiles para responder preguntas para ellos, ¡más allá del simple “impacto”!
Variando intensidad del tratamiento
• A algunas escuelas se les asigna tratamiento completo
– Todos los niños reciben píldoras
• A algunas escuelas se les asigna tratamiento parcial
– Se designa que el 50% recibirá píldoras
• En otros experimentos: cambiar el precio que se cobra por un bien o servicio
Estratificación
• Objetivo: equilibrar su muestra cuando tiene una muestra pequeña
• ¿Qué es? – dividir la muestra en diferentes subgrupos
– seleccionar el tratamiento y control de cada subgrupo
• ¿Qué ocurre si no estratifica?
•51
Cuándo estratificar
• Estratificar en variables que podrían tener un impacto importante en la variable de resultados (un poco al ojo)
• Estratificar en subgrupos que le interesan particularmente (donde pudiese creer que el impacto del programa será diferente)
• La estratificación es más importante cuando base de datos son pequeñas • Puede ser complejo estratificar con demasiadas variables
• Pareamiento es menos transparente mientras más se estratifica
• También puede estratificar con variables índice que resumen •52
múltiples dimensiones
Objetivos de la clase
• Entender cómo aleatorizar (mecánica) y decidir entre alternativas.
– Conceptos clave: Unidad y método de aleatorización, estratificación
• Cómo adaptar (de modo creativo) la aleatorización a las restricciones del mundo real
• Entender algunas variaciones en análisis tratamiento‐control simple
Preguntas, Comentarios, Dudas
Francisco Gallego Abdul Latif Jameel
Poverty Action Lab
[email protected]
povertyactionlab.org