1. No category

Taller sobre Conceptualizacion,
planeamiento y uso de las evaluaciones
de impacto
Mario G. Picon and Benjamin K. Wood
International Initiative for Impact Evaluation
Taller 3ie y SINERGIA
Bogota, Abril 2016
Objetivos
• Entender el sitio de la evaluacion de impacto en la caja
de herramientas del evaluador.
• Tener argumentos para decidir cuando llevar a cabo una
evaluacion de impacto es adecuado.
• Demistificar la evaluacion de impacto en termino de
metodos, dilemas eticos, y costo.
• Entender la importancia de teorias de cambio,
distinguiendolas del marco logico.
• Mostrar como las evaluaciones de impacto pueden ser
utiles para el diseno de politicas y reformas.
Conociendo a 3ie
• ONG internacional que financia y produce evidencia de alta
calidad sobre la efectividad de políticas y programas: que
funciona, cómo, por qué, y a qué costo.
• 3ie está basada en membresía de agencias gubernamentales,
donantes y ONGs de todo el mundo.
• En Latinoamérica, CONEVAL (México), SINERGIA (Colombia),
MIDIS y MINEDU (Perú), STP (Paraguay), y próximamente en
Argentina.
Como para entrar en confianza
Cuantos de ustedes trabajan…
- En M&E?
- Otras unidades técnicas de
Ministerios?
- Otros?
Como para entrar en confianza (2)
Cuantos de ustedes han recibido un taller de
evaluación de impacto en el pasado?
Para aquellos que lo
recibieron…
Sobre que fue? Metodos?
Que le gusto o llamo la atencion del mismo?
Que no le gusto o no lo convencio?
Para todos…
Que es lo primero que viene a la mente
cuando hablamos de evaluacion de
impacto?
Respuestas que normalmente recibimos…
• RCTs
• Costos elevados
• Poco practicas
• Demasiado academicas
• Extensas/complicadas
• Rigor
• Costo/efectividad
• Encontrando la major
intervencion
• Planificacion
• Atribucion
Un par de cosas sobre sus facilitadores…
• Futbolista frustrado
• Buen cocinero
• Me dedicaba a M&E y
evaluacion de cartera
antes de hacer evaluacion
de impacto
Un par de cosas sobre su otro facilitador…
• Quinta visita a Colombia
• Comedor aventurero
• Trabaje en Corea y China
antes de hacer evaluacion
de impacto
Evaluacion de
impacto en
contexto
M&E of a development project
La Evaluacion de Impacto en Contexto
Monitoreo: ‘esta el proyecto haciendo las cosas
bien?’
• Monitoreo: recoleccion regular de informacion sobre
progreso en la implementacion. Parte integral de reporte
y para determinar responsabilidades para la accion.
• Monitoreo genera data interna al proyecto y esta
enfocada en el cumplimiento de procesos y progreso de
acuerdo al plan del Proyecto. Por ejemplo:
• Se usan los insumos tal como se planeo?
• Se usan los insumos de acuerdo a procesos aceptados?
(ej. adquisiciones?)
• Estan las actividades resultando en los productos
esperados?
Evaluacion: ‘esta el proyecto haciendo lo
correcto?
Es decir, representa el Proyecto un uso efectivo de
recursos para los propositos que se persiguen?
Resultsbased
formativa
externa
proceso
internal
proyecto
cartera
impacto
program
a
independiente
implementacion
Efectividad en
implementacion
Resultados
Evaluacion
Monitoreo basado en resultados y el Marco Logico
Impactos
Resultados
Implementacion
Monitoreo
Productos
Actividades
Insumos
•
Mejoras a nivel sociedad,
amplias y largo plazo
• Efectos intermedios de
productos sobre beneficiarios
•
Productos y servicios
producidos
• Tareas del personal para
•
transformer insumos en
productos
Recursos financieros,
humanos y materiales
A que nos referimos con evaluacion de
impacto?
• Estos son estudios que miden un impacto
neto atribuible usando un contrafactual: que
hubiera pasado si el programa no hubiese
existido.
• NO unicamente evaluacion experimental /
randomizacion.
Los retos de evaluar
• “Existe una tendencia general a monitorear en lugar
de evaluar.” (Sri Lanka)
• “…esta distorsion encontrada en la mayoria de
paises de un exceso d emonitoreo y la escasez de
evaluacion genuina” (World Bank)
• “…M&E no se esta orientando a entender
causalidad y atribucion en las etapas de
cambio y desarrollo” (Uganda)
• “Mientras el Tesoro a nivel nacional y provincial ha
enfatizado el recojo de informacion basado en el
marco logico, los mismos no se han preocupado de
determiner atribucion
(South Africa)
y causalidad.”
Utilidad de las
Evaluaciones de
Impacto
Evaluaciones de impacto
• Creando un contrafactual valido, i.e. causalidad
Por que no puedo
comparar personas
que recibieron el
programa con
personas que no lo
recibieron?
Porque necesitas
un contrafactual
valido!
A que nos referimos con evaluacion de
impacto?
• Estos son estudios que miden un impacto
neto atribuible usando un contrafactual: que
hubiera pasado si el programa no hubiese
existido.
• NO unicamente evaluacion experimental /
randomizacion.
La identificacion de Evaluacion de Impacto con
Randomizacion (RCTs)
• Randomizacion tiene el
potencial de eliminar el
problema de sesgo de
seleccion…porque asigna el
tratamiento/intervencion de
manera aleatoria.
Hay mas en la evaluacion de impacto que RCTs
• RCT, sin embargo puede ser muy efectiva en eliminar el
sesgo de seleccion (validez interna)
• Buena manera de determinear que el efecto medido es
causado por la intervencion
• Enfatizado en la literatura, pero:
• Riesgo 1: el reducir el ambito de la evaluacion rigurosa a
preguntas que pueden ser respondidas con RCTs.
• Riesgo 2: usar RCT de manera mecanica, sin considerar
disenos alternativos o complementarios
No hace mucho tiempo, tuvo lugar un
importante debate sobre la major manera de
hacer evaluacion (de impacto)
RCTs, Esther Duflo y los
denominados ‘randomistas’
Angus Deaton y la invocacion
a hacer “Evaluacion basada en
Teoria”
Que significa incidir en politicas publicas?
Incidencia puede manifestarse:
• Expansion de programas exitosos
• Cierre de programas que no funcionan
• Cambio en el diseno de un programa o politica
• Informacion de discusiones de politicas en un sector, pais,
o a nivel global.
• Fortalecimento de la cultura de evaluacion.
Influyen las evaluaciones de impacto las
politicas publicas? (1)
Si, cuando:
• Se involucra a los hacedores de politica desde el inicio
• Se elabora un plan de incidencia en la etapa de diseno.
• La evaluacion tiene un enfoque en responder lo que los
policymakers y sociedad civil necesitan saber
• No solo saber que funciona, sino por que y como (usando
metodos mixtos)
• Plan de comunicacion y diseminacion de resultados
Argumentos en contra (1): Las evaluaciones de
impacto no responden lo que se necesita saber
• La identificacion de Evaluacion de
Impacto con Randomizacion (RCT)
• El metodo en base al problema a ser
abordado
• Angust Deaton y la evaluacion de
“teorias”
• Lant Pritchett y el MeE (aprendizaje
basado en experiencia/testeo)
Respuesta (1): Involucramiento de policymakers
desde el inicio / Plan de incidencia
• El Modelo de Ventanas de Politica de 3ie – un primer
paso
• La Clave: Manejo adecuado de Teorias de Cambio del
programa y de la evaluacion
• Caja de herramientas -> de evidencia a politicas
Argumento (2): La evidencia es importante pero
su uso depende solo de factores politicos
• Liderazgo tecnico y politico
• Involucramiento de sociedad civil
• “Cultura de Evaluacion”
• Agencias independientes
• Diseminacion de informacion como compromiso
Respuesta (2): Crear las condiciones para el uso
de evidencia en politicas publicas
• Evidencia como bien publico global
• Generacion de capacidades sociedad civil y sector publico
• Como lo han hecho en otros paises?
Modelos de las
Evaluaciones de
Impacto
Modelo SINERGIA en Colombia
• “Sistema” de Gestion por Resultados dependiente de
Direccion Nacional de Planeacion
• Cambios en el Tiempo (tres fases desde 1990)
• Coordinacion/ diseminacion de cultura de evaluacion sector
publico
Modelo CONEVAL en Mexico
• Agencia independiente en terminos administrativos,
presupuestarios.
• Palanca: mandato de monitorear y evaluar organismos del
estado en base a indicador de pobreza multidimensional
• Razon politica de fondo: fomenter que los recursos
publicos se usen adecuadamente.
Modelo basado en Ministerios de
linea – por ejemplo, Peru
• Liderazgo del MIDIS desde su origen
• Atraccion de cuadros calificados
• Fuerte trabajo dentro del Gobierno, obteniendo fuerte
apoyo presidencial.
• Foco del gobierno en inclusion social como legado como
oportunidad.
Los “Labs” dentro del Sector
Publico
• A nivel tecnico, permiten pilotos de nuevas intervenciones,
nuevas formas de hacer las cosas
• A nivel institucional, fomentan el involucramiento de
distintas unidades de una agencia de gobierno
• Punto de entrada para sociedad civil: El Lab busca
soluciones a problemas concretos.
• El caso del EduLab en Peru, y el Lab de Desarrollo urbano
en Buenos Aires  Behavioural Insights Team en Gran
Bretana.
Retos por el Lado de la Oferta
• El rol de los think tanks Latinoamericanos
• En evaluacion de impacto: pocos proveedores
• 3ie esta probando: asesores expertos / incubadoras
Experiencia 1
Experimento para Impuestos a la
Propiedad en Pakistan
Evaluacion de Impacto en areas
consideradas “no conducentes” a EI
• Equipo: Adnan Q. Khan (LSE), Asim I. Khwaja (Harvard) and Benjamin A. Olken
(MIT)*
• Recaudacion fiscal en Pakistan de las mas bajas
• Ingresos fiscales provinciales de Punjab estancados en alrededor de 0.5% del PBI
por mas de 10 anios.
• Impuesto a la propiedad entre los de peor desempeno.
• Departamento de Impuestos de Punjab introduce reformas en recursos humanos
desde 2009.
• Reformas: incentivar la recoleccion de impuestos y mejorar desempeno en
general.
Influencia en Politicas
El Experimento
• Diseño/ Evaluación de alternativas en modelo de pago por desempeño
• Objetivo: incrementar recaudación pero manteniendo o aumentando la
satisfacción de los contribuyentes.
• Ensayo controlado aleatorio (RCT): 482 zonas tributarias asignadas a uno de tres
modelos de pago por desempeño o un grupo control.
• Honorarios basados en Ingresos
• Honorarios basados en Ingresos PLUS monitoreo de recolección agresiva.
• Salario fijo condicional (mayor parte de bono entregado a final del año)
Influencia en Politicas
Resultados
• Incentivos funcionan: mejoras sustantivas e impactos no ambiguos sobre
recolección tributaria.
• Zonas tributarias con incentivos tuvieron mejor desempeño que grupo control
por un margen de más de 12% en recolección total en 2 años.
• De los tres esquemas, el primero (Honorarios basados en ingreso) el de mayor
efecto y mejor retorno a la inversión.
• El Departamento de Impuestos de Punjab no registró efectos negativos en
satisfacción de contribuyentes o calidad de reporte como consecuencia de los
incentivos.
Influencia en Politicas
Influencia – Siguientes Pasos
• Simple es mejor.
• Importancia de monitoreo regular de satisfacción de clientes
• Beneficios de pago por desempeño se mantienen más allá del periodo de pago:
los incentivos no se necesitan cada año.
• El experimento no como el fin sino un inicio
• El uso del incentivo se expandirá en Punjab, con encuestas y chequeos regulares
del reporte.
• Departamento de Impuestos quiere ahora comparar el incentivo que funciono
mejor contra incentivos no monetarios.
Influencia en Politicas
3ie evidence gap maps
Experiencia 2
Escuelas Vocacionales vs.
Escuelas Generales en China
obDiseño: combinando análisis para resultados
mas robustos
• Autores: Rozelle, S, Park, A, Wang, S, Zhang, L, Rong, W, Song, Y, Loyalka, P, Shi,
Yaojiang
• Gobierno Chino interesado en como balancear inversión en educación vocacional
y en educación general.
• Solo un 40% de estudiantes que se gradúan del inicio de la escuela secundaria en
zonas rurales pobres continúan sus estudios.
• Experimento 1: Expansión de Modelo Vocacional vs. Reducción de Pagos
escolares
• Experimento 2: Vouchers de ayuda financiera Y Asesoría.
• Ensayos controlados aleatorios ( a nivel individual y cluster)
Influencia en Politicas
Resultados
• Escuela vocacional secundaria muestra resultados muy malos en términos de
adquisición de habilidades generales (esp. Matemáticas).
• No efecto en mejorar habilidades especificas, como computación, comparado a
escuelas regulares.
• Efectos son mayores entre estudiantes de bajos recursos.
• Probabilidad mayor de dejar la escuela entre estudiantes de escuelas
vocacionales.
Influencia en Politicas
Influencia
• El concejo del Estado Chino anuncio reformas a su politica de ayuda financiera en
base a los resultados del estudio.
• Tendencia: Mayor concentracion en politicas en apoyo a escuelas regulares.
• Educacion, Finanzas y el Banco de China acordaron establecer un nuevo sistema
para distribuir ayuda financiera a estudiantes usando una tarjeta bancaria.
• Siguiendo una de las recomendaciones, la distribucion de ayuda financiera se
hace ahora antes..
Influencia en Politicas
Pasos para administrar y
comisionar una evaluacion
de impacto
Pasos para comisionar una evaluacion de
impacto
1. Identifique el programa de interes y obtenga
informacion detallada del mismo.
2. En base a los objetivos de aprendizaje, determinar
si una EI es apropiada o no.
3. Mapear la teoria de cambio.
4. Determinar las preguntas de la evaluacion
(incluyendo los resultados).
5. Examinar las potenciales fuentes de sesgo.
6. Considerar posibles estrategias de identificacion.
7. Escribir la descripcion de la asignacion y saca la
convocatoria de propuestas.
Cuando hacer una evaluacion de impacto?
• Para establecer una ‘prueba de concepto’ para un
programa cuya efectividad no ha sido probada
todavia.
• Testear la implementacion piloto de un nuevo
programa—evidencia de efectividad
• Testear diferentes disenos para determinar mayor
impacto – evidencia para diseno de programas.
• Conducir analisis de costo-beneficio o costoefectividad- evidencia para guiar la decision de
asignacion de recursos.
Una evaluacion de impacto BIEN HECHA
puede…
• Resolver el problema de atribucion: logra la intervencion
alcanzar los resultados deseados?
• Identificar como la intervencion funciona, es decir, que
mecanismos o comportamientos son activados por la
intervencion.
• Indicar por que es que la intervencion funciona (o no)
Determinando el impacto de un programa de
entrenamiento en “habilidades blandas” sobre…
Empleo pagado para mujeres
Antes
Despues
Proyecto
0.346
0.618
Comparacion
0.328
0.550
(0.618 – 0.346) – (0.550 – 0.328) = 0.150
Diff en Diff indica un impacto positivo
Determinando el impacto de un programa de
entrenamiento en “habilidades blandas” sobre…
Empleo pagado para hombres
Proyecto
Antes
Despues
0.427
0.702
Comparacion
Analisis Antes-Despues sugiere resultado
positivo
Determinando el impacto de un programa de
entrenamiento en “habilidades blandas” sobre…
Empleo pagado para hombres
Antes
Despues
Proyecto
0.702
Comparacion
0.689
Comparacion ex-post sugiere efecto positivo,
aunque muy pequeno.
Determinando el impacto de un programa de
entrenamiento en “habilidades blandas” sobre…
Empleo pagado para hombres
Antes
Despues
Proyecto
0.427
0.702
Comparacion
0.358
0.689
(0.702 – 0.427) – (0.689 – 0.358) = -0.056
Diff-in-Diff indica no efecto, o en todo caso
negative.
Pasos para comisionar una evaluacion de
impacto
1. Identificar el programa de interes y obtener
informacion detallada del mismo.
2. En base a los objetivos de aprendizaje, determinar
si una EI es apropiada o no.
3. Mapear la teoria de cambio.
4. Determina las preguntas de la evaluacion
(incluyendo los resultados).
5. Examina las potenciales fuentes de sesgo.
6. Considera posibles estrategias de identificacion.
7. Escribe la descripcion de la asignacion y saca la
convocatoria de propuestas.
Teorias de Cambio
Hipotesis Contexto  Mecanismo  Resultado
…no tan rapido!
Construyendo una teoria de cambio:
Programas de entrenamiento
vocacional
Participantes
reciben
entrenamiento
vocacional: training
en clase, OTJ, cash
transfer
Aumento en
empleo pagado /
incremento en
empleo formal /
Aumento en
ingresos
Theory of change
“Creo que
necesitas ser un
poquito mas
especifico aqui
en la segunda
etapa…”
Teoria de cambio – Programa de
entrenamiento vocacional
Aumenta
empleo
Participa de
entrenamiento
en clase
Recibe
transferencia
en efectivo
Obtiene
habilidades
relevantes
Participa de
OTJ
Aumenta
empleo
formal
Aumenta
salarios
Aumenta
bienestar
Teoria de Cambio
• Cada paso representa una relacion causa-efecto e
involucra supuestos.
• Entender la teoria y supuestos que conectan cada paso
con el siguiente es lo que hace la diferencia entre un
marco de resultados y una cadena causal.
Teoria de cambio – Programa de
entrenamiento vocacional
Participa de
entrenamiento
en clase
Participantes
Recibe
asisten al
transferencia
entrenamiento
en efectivo
Participa de
OTJ
Aumenta
empleo
Obtiene
habilidades
relevantes
Aumenta
empleo
formal
Aumenta
salarios
Aumenta
bienestar
Teoria de cambio – Programa de
entrenamiento vocacional
Aumenta
empleo
Participa de
entrenamiento
en clase
Participantes
Recibe
asisten al
transferencia
entrenamiento
en efectivo
Entrenamien
Obtiene
to construye
habilidades
habilidades
Participa de
OTJ
relevantes
Aumenta
empleo
formal
Aumenta
salarios
Aumenta
bienestar
Teoria de cambio – Programa de
entrenamiento vocacional
Aumenta
empleo
Participa de
entrenamiento
en clase
Participantes
Recibe
asisten al
transferencia
entrenamiento
en efectivo
Entrenamien
Obtiene
to construye
habilidades
habilidades
Participa de
OTJ
relevantes
Las nuevas
habilidades
sonAumenta
las
“correctas”
empleo
formal
Aumenta
salarios
Aumenta
bienestar
Son las habilidades las correctas?
Teoria de cambio – Programa de
entrenamiento vocacional
Aumenta
empleo
Participa de
entrenamiento
en clase
Participantes
Recibe
asisten al
transferencia
entrenamiento
en efectivo
Entrenamien
Obtiene
to construye
habilidades
habilidades
Participa de
OTJ
relevantes
Las nuevas
habilidades
sonAumenta
las
“correctas”
empleo
formal
El Mercado
de trabajo
funciona
Aumenta
salarios
Aumenta
bienestar
Teoria de cambio – Programa de
entrenamiento vocacional
Aumenta
empleo
Participa de
entrenamiento
en clase
Participantes
Recibe
asisten al
transferencia
entrenamiento
en efectivo
Entrenamien
Obtiene
to construye
habilidades
habilidades
Participa de
OTJ
relevantes
Las nuevas
habilidades
sonAumenta
las
“correctas”
empleo
formal
El Mercado
de trabajo
funciona
Aumenta
salarios
Resultados
Aumenta
laborales
incrementan
bienestar
bienestar
Posibles preguntas de evaluacion
Aumenta
empleo
Participa de
entrenamiento
en clase
Recibe
transferencia
en efectivo
Obtiene
habilidades
relevantes
Participa de
OTJ
Aumenta
empleo
formal
Aumenta
salarios
Aumenta
bienestar
Pasos para comisionar una evaluacion de
impacto
1. Identifica el programa de interes y obtiene
informacion detallada del mismo.
2. En base a los objetivos de aprendizaje, determiner
si una EI es apropiada o no.
3. Mapea la teoria de cambio.
4. Determinar las preguntas de la evaluacion
(incluyendo los resultados).
5. Examina las potenciales fuentes de sesgo.
6. Considera posibles estrategias de identificacion.
7. Escribe la descripcion de la asignacion y saca la
convocatoria de propuestas.
Cuales son las posibles preguntas
de la evaluacion?
• Las personas capacitadas, requieren de la
transferencia para participar?
• Es un tipo de entrenamiento mas efectivo que el
otro? O son interdependientes?
• Cuales habilidades son las mas relevantes?
• Que resultados son los mas afectados por el
entrenamiento vocacional?
• Como se diferencia el impacto entre diferentes
grupos?
• Cual es el impacto de largo plazo?
Posibles preguntas de evaluacion
Aumenta
empleo
Participa de
entrenamiento
en clase
Recibe
transferencia
en efectivo
Obtiene
habilidades
relevantes
Participa de
OTJ
Aumenta
empleo
formal
Aumenta
salarios
Aumenta
bienestar
TdC: Otro ejemplo
Design
Design of
insurance
product
Marketing
Intermediate
outcomes
Final outcomes (insured)
Consumption
smoothing
and assets protected
Average income may be
lower
Savings utilized and
for more productive
(possibly riskier)
investments
Income increase
Employment
generation
Increased utilization
health services (and
better quality health
services)
Better health
Positive health
spillover effects
Adoption of insurance
product
Ambiguous impact on out of
pocket expenses. Likely
reduction in catastrophic
expenses
A
s
s
u
m
p
t
i
o
n
s
Design is
appropriate
(something
people need)
(Relevance)
Final outcomes
(uninsured)
Product is well-marketed
to target market
Concept of insurance is
well-understood
Premiums are affordable
Take up is sufficient for
product to be sustainable
(Sustainability)
Premiums are paid
Lack of adverse selection
in measurement of
impact on utilization
Insurance pays out in a timely
manner
Insurance accepted by service
providers
Absence of moral hazard in
behavioural response of insured
Lack of adverse selection in
measurement of impact on
health status
Estrategias de identificacion:
los “Metodos”
Pasos para comisionar una evaluacion de
impacto
1. Identifica el programa de interes y obtiene
informacion detallada del mismo.
2. En base a los objetivos de aprendizaje, determiner
si una EI es apropiada o no.
3. Mapea la teoria de cambio.
4. Determina las preguntas de la evaluacion
(incluyendo los resultados).
5. Examina las potenciales fuentes de sesgo.
6. Considera posibles estrategias de identificacion.
7. Escribe la descripcion de la asignacion y saca la
convocatoria de propuestas.
Brevemente cubriremos…
Construccion de Grupos de Comparacion
• Randomizacion (RCT)
• Regresion discontinua (RD)
• Matching (y propensity score matching)
Analizando la data
• Diferencias en Diferencias
• Metodos de Regresion
De donde sale el contrafactual?
Experimental:
• RCT
• Experimentos naturales
No-experimental:
• Quasi-experimental
(pareo estadistico)
• Otros metodos
estadisticos (ej.,
variables
instrumentales)
El dilema del sesgo de seleccion
• Participantes de un programa, tipicamente no son
seleccionados aleatoriamente, sino a traves de:
• Colocacion en el programa
• Auto seleccion
• Este es un problema si las variables
correlacionadas con la seleccion estan tambien
correlacionadas con los resultados de interes,
dado que aquellos que participan tendrian
mejores (o peores) resultados
independientemente de la intervencion.
En resumidas cuentas…
• Existe ‘seleccion’ en quien se beneficia
para la mayoria de las intervenciones.
• Por esto, necesitamos un grupo de
comparacion que tenga las mismas
caracteristicas que aquellos
seleccionados por la intervencion.
Beyond RCT
• Randomizacion ataca
el probblema del sesgo
de seleccion con la
asignacion aleatoria
del tratamiento.
• La unidad de
asignacion no
necesariamente es al
nivel de la unidad de
analisis. Por ejemplo
• Randomizacion a nivel
poblado pero que mide
resultados de
aprendizaje individual.
Randomizacion a nivel
sub-diistrito pero
medicion de resultados
a nivel poblado.
Table 4. Verification of Randomization
Characteristics at Baseline
Age
Number of children under 9
Business Owner(Yes=1)
Digit Span Recall
Risk Tolerance (0=Risk Averse; 10= Risk Lover)
Land
Years of Education of Spouse
Member of a Mixed Group (Yes=1)
Own Education
Decision Making
Pct. Borrowing from … at the time of Baseline*
Commercial Bank
Microfinance Institution
Friends and Relatives
Informal lenders
All members
P-val of
Means
N.
Male Female t-test
Obs. Brochure Brochure (2)-(3)
(1)
(2)
(3)
(4)
Male
Female
P-val of
P-val of
Means
Means
N.
Male Female t-test
N.
Male Female t-test
Obs. Brochure Brochure (6)-(7) Obs. Brochure Brochure (11)-(12)
(5)
(6)
(7)
(8)
(9)
(10)
(11)
(12)
3,451
3,451
3,451
3,451
3,451
3,451
3,451
3,451
3,451
3,451
37.95
1.73
0.60
3.36
3.71
4.38
3.69
0.04
4.26
2.74
37.81
1.83
0.59
3.28
3.52
4.58
3.71
0.08
3.95
2.57
0.74
0.77
0.57
0.85
0.25
0.82
0.69
0.10
0.14
0.35
1,880
1,880
1,880
1,880
1,880
1,880
1,880
1,880
1,880
1,880
37.98
1.92
0.63
3.82
3.81
5.83
2.72
0.02
5.27
3.41
38.40
1.99
0.59
3.88
3.81
6.05
2.73
0.06
5.36
3.26
0.89
0.53
0.75
0.83
0.53
0.77
0.86
0.06
0.78
0.77
1,571
1,571
1,571
1,571
1,571
1,571
1,571
1,571
1,571
1,571
37.91
1.45
0.57
2.72
3.57
2.36
5.05
0.07
2.84
1.82
37.20
1.40
0.60
2.65
3.22
3.05
4.75
0.10
2.47
1.85
0.85
0.17
0.79
0.82
0.49
0.55
0.55
0.89
0.07
0.61
2,931
2,931
2,931
2,931
2.38
71.34
7.71
0.7
1.7
67.62
6.58
0.2
0.64
0.30
0.48
0.07
1,616
1,616
1,616
1,616
3.69
69.44
7.85
0.83
2.71
63.74
5.16
0.26
0.60
0.98
0.05
0.19
1,315
1,315
1,315
1,315
0.51
74.06
7.5
0.51
0.69
71.74
8.09
0.13
0.74
0.46
0.14
0.23
Pct. Offered Business Training
3,451
52.47
51.82 0.83 1,880
51.29
52.03 0.93 1,571
54.1
51.6
0.48
Member is eligible for loan lottery (Yes=1)
3,451
63.72
69.00 0.54 1,880
64.63
59.69 0.82 1,571 62.45
62.21
0.66
P-val of F-test that all baseline characteristics
0.19
0.24
0.14
are jointly insignificant
Notes: * denotes variable measured at follow-up, conducted in December 2008. Pct. Offered Business Training and Member eligibility come from administrative data from
NRSP
Mas alla de RCTs
• Randomizacion puede ser difícil
Como puedo selecionar
aleatoriamente una
intervencion a nivel nacional?
Evaluaciones cuasi--experimentales
• Tal y como disenos experimentales, evaluan
hipotesis causales.
• Por definicion, no presentan asignacion aleatoria.
• Identifican un grupo de comparacion que es lo mas
similar possible al grupo de tratamiento en base a
caracteristicas d elinea de base (antes de la
intervencion).
• Existen diferentes tecnicas para crear un grupo de
comparacion valido tales como regresion
discontinua y propensity score matching (PSM).
Cuando utilizarlos?
• Cuando no es posible randomizar individuos o grupos
en tratamientos y controles.
• Para diseños ex-post (retrospectivos).
• Evaluacion ex-ante cuando existen restricciones éticas,
politicas o logísticas.
• Altamente recomendable que la evaluacion se planee
con mucho tiempo de anticipacion antes de la
intervencion. Linea de base debe recolectarse antes de
que los beneficiarios esten expuestos a las actividades
del programa.
Retos al usar metodos cuasi-experimentales
• Riesgo de un match no adecuado.
• Centrarnos en resultados estadisticamente significativos
y no en los no estadisticamente significativos y tratar de
explicarlos.
• Se necesita un efecto suficientemente grande para que
sea detectado.
• Chequeos de calidad de la data deben ser hechos
regularmente.
Propensity Score Matching
Propensity Score Matching (PSM)
• Con PSM, el match del individuo no se hace para cada
características observable, sino en una propension en
base a puntaje – la probabilidad que el individuo
participe en la intervencion dadas sus caracteristicas.
• PSM agrupa individuos/hogares en el grupo de
tratamiento con similares en el grupo de comparacion, y
subsecuentemente calcula la diferencia promedio en los
indicadores de interes.
QED: Matching
Source: Gertler, et.al, Impact Evaluation in Practice
Propensity Score Matching
Características observables
• Aldeano A
• Tratamiento
Aldeano B
Control?
Aldeano C
Control?
Propensity Score Matching
Características observables
• Pueblo A
• Tratamiento
Pueblo B
Control
Propensity Score Matching
Características observables
• Comunidad A
• Tratamiento
Comunidad B
Control
Propensity score matching
20
30
Age
40
50
Education & Age of SW Beneficiaries & PSID Respondents
0
5
10
Education
15
Propensity Score Matching
• Pero muchas características no son observables…
•
•
•
•
Emprendimiento
Preferencias de riesgo
Rasgos de personalidad
Capacidad intelectual
Retos del PSM
• PSM requiere data tanto de grupo de tratamiento como
de grupo de control. Busca tener mayor muestra de lo
que las formulas de poder indican.
• Siempre es posible si la data esta disponible, y puede
hacerse incluso una vez que la intervencion concluyo,
incluso sin linea de base (pero esto no es ideal)
• Si linea de base no esta disponible, ‘recall’ puede ser
usado para reconstruir caracteristicas pre-tratamiento.
Esto puede ser poco preciso.
• Si hay caracteristicas ‘no observadas’ que afectan la
particpacion y que cambian en el tiempo, los estimados
seran sesgados y afectaran los resultados.
Regresion Discontinua (RDD)
• Cuando existe algun tipo de criterio que debe ser
cumplido antes que la gente pueda participar de la
intervencion (Threshold).
• Usualmente se basa en una variable continua evaluada
para todos los individuos potencialmente elegibles.
• Por ejemplo, estudiantes bajo un cierto score, inscritos
en un programa de recuperacion/refuerzo.
Retos de RDD
• Data sobre la variable de seleccion y el indicador de
resultado para todos aquellos considerados para la
intervencion, sean admitidos o no.
• Muchos programas no mantienen informacion de
individuos no aceptados en el programa, lo que hace
RDD mas dificil.
• El criterio de seleccion y el limite o threshold no siempre
estan claros y la muestra puede resultar muy pequeña.
• RDD da un ‘efecto tratamiento para area local’. Es decir,
el impacto estimado es valido solo para aquellos
alrededor de el limite
Regresion Discontinua
Deon Filmer y Norbert Schady
“School Enrollment, Selection and Test Scores”
Regresion Discontinua
• Inscripción= El aprendizaje del estudiante?
Regresion Discontinua
• Inscripción= El aprendizaje, Control
Regresion Discontinua
• CCT  Inscripción El aprendizaje del estudiante?
•
•
Una muestra grande de hogares de Camboya
Incentivos monetarios para familias con estudiantes
con probabilidades altas de abandonar la escuela
•
•
•
Los incentivos son condicionados a continuar estudiando
Inscripción = asistencia, inscripción y tiempo
Aprendizaje = resultados de las pruebas de vocabulario
y matemáticas
Regresion Discontinua
• CCT intervención Inscripción
Regresion Discontinua
• Intervención Inscripción
Regresion Discontinua
• CCT Intervención Inscripción
Regresion Discontinua
• CCT Intervención El aprendizaje del estudiante
Regresion Discontinua
• Puntos clave:
•
•
•
La importancia de un contrafactual valido
La inscripción por si sola  El aprendizaje del estudiante
Sólo un efecto local, los estudiantes en el margen
Differences –in-Differences
• Conocido como metodo de doble diferencia
• Compara cambios en resultado en el tiempo
entretratamientoos y controles para estimar impacto.
• Su aplicacion remueve la diferencia en los resultados
entre tratamiento y control a nivel linea de base.
• El metodo es major usado en conjunction con otros
metodos como PSM y RDD
• Si se usa sin matching, se debe testear ‘elsuupuesto de
tendencia paralela’; es decir, que la tendencia en los
resultados en tratamientoo y control fue similar antes de
la intervencion..
Experimentos Naturales
• Ciertos eventos resultan en una asignacion casi
aleatoria de beneficiaries y no beneficiaries.
• Temas burocraticos pueden resultar en tratamiento no
aplicandose o siendo accidentalmente retenido.
• Preferencias del administrador del programa pueden
llevar a escoger un tipo particular de intervencion.
• Variaciones al azar pueden ser analizadas como
RCT o como si promocion aleatoria de la
intervencion fue hecha.
• Esta es la base de el diseno d evariables instrumentales
• Pero estas cosas usualmente no las puedes
planear.
• Adicionalmente, la asignacion cuasi aleatoria puede
aplicar solo a ciertas unidades.
Experimentos Naturales
Matias D. Cattaneo, Sebastian Galiani, Paul J. Gertler,
Sebastian Martinez, y Rocio Titiunik
“Housing, Health and Happiness”
Experimentos Naturales
Gómez Palacios/Lerdo (control) and Torreón (tratamiento)
Experimentos Naturales
• Gómez Palacios/Lerdo (control) y Torreón (tratamiento)
Experimentos Naturales
Experimentos Naturales
Experimentos Naturales
Experimentos Naturales
Experimentos Naturales
Metodos mixtos
• Data cualitativa puede ser
integrada en estudios
experimentales y cuasiexperimentales.
• Metodos mixtos pueden
significativamente mejorar
el analisis
• Responder otras preguntas a
lo largo d ela cadena causal
• Explorar el como una vez
que sabes el que y si es que
la intervencion funciona o no.
Consideraciones
presupuestarias y de
administracion
Pasos para comisionar una evaluacion de
impacto
1. Identificar el programa de interes y obtener
informacion detallada del mismo.
2. En base a los objetivos de aprendizaje, determinar
si una EI es apropiada o no.
3. Mapear la teoria de cambio.
4. Determinar las preguntas de la evaluacion
(incluyendo los resultados).
5. Examinar las potenciales fuentes de sesgo.
6. Considerar posibles estrategias de identificacion.
7. Escribir la descripcion de la asignacion y sacar la
convocatoria de propuestas.
Cost and Time considerations
Cost and Time considerations
Algunas consideraciones
• En nuestros inicios, la mayoria de las EI recibiendo
financiamiento tenian algun tipo de diseno experimental.
• Esto no por ser RCT, sino por la capacidad de
establecer atribucion de la intervencion.
• Se dice normalmente que ‘RCTs son caras’. Mas bien,
estudios multi-anuales con varias rondas de recoleccion
de datos y una combinacion de metodos son caras.
• Mayor tiempo de implementacion tienen que ver con
falta de alineacion entre la implementacion de la EI y la
implementacion del programa.
A tener en cuenta
• Asignaciones “Provisionales”  Equipo seleccionado
recibe un grant provisional ($20K en el caso de 3ie) para
hacer investigacion formativa que lleve a acabar el
diseno de la EI y motive mayor coordinacion con la
agencia de implementacion.
• “Plan de Influencia en Politicas” : equipos de
investigacion deben presentar un plan de interaccion
con hacedores de politica y listar los agentes relevantes
a la evaluacion.
• Referencia explicita a como la evaluacion o la
intervencion evaluada se basa o mejora/expande la
base de evidencia.
• Equipo de investigacion debe contar con miembros con
experiencia sectorial relevante.
A tener en cuenta (2)
• Nunca demasiado temprano para planear una
evaluacion de impacto.
• Presupuesto puede ser distribuido en evaluacion
formative y monitoreo considerando la evaluacion de
impacto que se viene.
• Discute los metodos mas apropiados a las preguntas de
investigacion acordadas, NO lo contrario.
• Habiendo dicho eso, no descartar RCT. Elementos de
aleatoriedad pueden fortalecer el diseno y
ultimadamente la confianza en los resultados.
• Resultados de EI son/deben ser bienes publicos
globales  invertir en ellos con una vision programatica.
Trabajando con 3ie
Algunos de nuestros Productos
• Financiamiento de Evaluaciones de Impacto y de Asesores
Expertos
• Repositorio de Evaluaciones de Impacto
• Roster de Expertos
• Mapas de Brecha de Evidencia
• Desarrollo de Capacidades
EL FACTOR COMUN:
Facilitar el acceso a
la evidencia para los
agentes de politica
Mapas de Brechas de
Evidencia
(Banco Mundial,
MasterCard- MacArthur
Foundations, USAID)
• Get the free PowerPoint add-in, and then …
• Record, write, and draw on your slides, just like a
• Add quizzes, video, and interactive content
• Share in the cloud and play on any device
Capacitacion –
Generacion de
Capapcidades
whiteboard
(UNICEF, AfDB,
ONGs, US State
Department,
Agencias de
Gobierno)
3ie Servicios
• Get the add-in: http://aka.ms/officemix
Profesionales
•
(Copy the link and paste into your browser. Or, when in a slide show, click the link.)
•
Read on to learn more …
Control de
Calidad /
Revision de
Pares(DFID,
PEPFAR, USAID)
Servicios de
Administracion
de EI (DFID,
AusAID, CIDA,
USAID, MCC,
BBC, Sector
Privado)
Creando las Condiciones para el Uso de
Evidencia en Politicas Publicas
•
•
•
•
3ie monitorea si las evaluaciones que financia influyen o no politicas
Participacion en diversos foros
Asesores Senior que acompanan a equipos locales
Generacion de Capacidades
i. Talleres de Generacion de Demanda
ii. Toolkit para influir en politicas
iii. Matchmaking / Incubadoras
iv. Cursos-Videos-Seminarios
Thank you