1. No category

TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
Evaluaciones de impacto: ¿Qué son? ¿Por qué hacerlas? ¿Cuándo hacerlas?
Claudia Martínez A.
Universidad de Chile
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org
Contexto del curso
1 - Monitoreo y
Evaluación
2 - Evaluación
de programas
3 - Evaluación
de impacto
4 - Evaluación
Aleatoria
Agenda del curso
1. Evaluaciones de impacto: ¿Qué son? ¿Por qué hacerlas? ¿Cuándo hacerlas?
2. Marco lógico, indicadores y medición del impacto
3. ¿Por qué aleatorizar?
4. ¿Cómo aleatorizar?
5. El tamaño muestral 6. Implementar una evaluación
7. Análisis e inferencia
Agenda de esta presentación
I.
Introducción
II.
¿Por qué evaluar impacto?
III. ¿Qué es una evaluación de impacto?
IV. ¿Cuándo realizar una evaluación de impacto?
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
I ‐ Introducción
Pregunta #1
• Piense en un programa social en el cual Usted está involucrado y por favor indique:
– Nombre del programa
– ¿Es un buen programa?
– ¿Cómo sabe si es un buen programa? Pregunta #1b

¿Es un buen programa?
– Sí
– No
– No se
La gran pregunta: ¿Cómo decidimos cuales programas implementar?
Ideología
• Propia
• Externa
Conocimiento
Apoyo
• Evidencia
• Experiencia
• Personal
• Colectiva
• Presupuesto
• Político
• Capacidad
Programas/
Políticas
Dos Objetivos Críticos de la Evaluación
1. Responsabilidad
2. Aprendizaje
Contexto del Curso
1 - Monitoreo y
Evaluación
2 - Evaluación
de programas
3 - Evaluación
de impacto
4 - Evaluación
Aleatoria
Tipos de Evaluación
•
Rossi (1999) clasifica a las evaluaciones en 5 tipos:
a)
b)
c)
d)
e)
•
Necesidades
Diseño
Implementación
Impacto
Eficiencia
En este curso nos enfocamos en evaluaciones de impacto
Evaluaciones de Impacto
• Buscan contestar la siguiente pregunta: ¿cuál es el efecto del un programa social sobre sus beneficiarios?
• Ejemplos:
– ¿Cuál es el efecto de un programa de entrenamiento laboral en los ingresos de los beneficiarios?
– ¿Cuál es el efecto de un programa de becas en la tasa de matriculación de los beneficiarios?
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
II ‐ ¿Por qué evaluar impacto?
¿Por qué evaluar impacto?
• Premisa: La mayoría de los programas sociales tienen una intención genuina de mejorar las condiciones de vida de la población de beneficiarios
• Realidad: Del dicho al hecho hay un trecho
Pregunta #2
•
¿Cuál de las siguientes intervenciones es más
costo‐efectiva para mejorar la asistencia a clases en pueblos rurales en Kenia?
A – Programa escolar alimenticio
B – Medicinas para eliminar gusanos intestinales
C – Becas para niñas
D – Provisión de uniformes escolares Pregunta #3
•
¿Cuál de las siguientes intervenciones es menos
costo‐efectiva para mejorar la asistencia a clases en pueblos rurales en Kenia?
A – Programa escolar alimenticio
B – Medicinas para eliminar gusanos intestinales
C – Becas para niñas
D – Provisión de uniformes escolares ¿Por qué evaluar impacto? (Cont)
• Una buena evaluación de impacto puede ayudar a:
– Identificar programas que están funcionando bien
– Identificar aspectos de un programa que pueden ser mejorados
– Identificar programas que no están funcionando bien
• En resumen, las evaluaciones pueden contribuir a un uso más racional de los recursos que se dedican a los programas sociales
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
III ‐ ¿Qué es una evaluación de impacto?
Impacto
El impacto de un programa es la diferencia entre:
1. Los resultados que los participantes del programa obtienen un tiempo después de participar en el programa y 2. Los resultados que esos mismos participantes hubieran
obtenido en ese mismo momento si no hubiesen participado en el programa
Impacto
• Tomamos la diferencia entre Qué ocurrió (con el programa) y ‐ Qué habría ocurrido (sin el programa)
=IMPACTO del programa
• Este último escenario se denomina el contrafactual
20
Resultado primario
Impacto: ¿Qué es?
Intervención
Impacto
Tiempo
Contrafactual
• El contrafactual representa el estado del mundo que participantes del programa habrían experimentado en la ausencia del programa
• Problema: No se puede observar el contrafactual
• Solución: Tenemos que “replicar” o “construir” el contrafactual
Construyendo el contrafactual
• El contrafactual generalmente se construye a partir de la selección de un grupo no afectado por el programa
• Evaluación Aleatoria:
– Usa una asignación aleatoria del programa para crear un grupo de control.
• Evaluación No Aleatoria:
– Argumenta que un cierto grupo excluido del programa “replica” el contrafactual. 23
¿De qué manera las evaluaciones de impacto difieren de las de proceso?
• Proceso: Describimos lo que ocurrió
• Impacto: Comparamos lo que ocurrió con lo que habría ocurrido en la ausencia del programa
24
Análisis Costo‐Beneficio
• Evaluación de necesidades: nos da la métrica para medir el impacto
• Evaluación de proceso: nos da los costos • Evaluación de impacto: nos da los beneficios 25
Ejemplo: Comparación de costo efectividad
Fuente: Poverty Action Lab (2010)
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
IV ‐ ¿Cuándo evaluar?
¿Cuándo realizar una evaluación aleatoria?
1. Cuando hay una pregunta importante para la cual desea/necesita una respuesta 2. El programa a ser evaluado es representativo
3. Plazo: no muy temprano ni muy tarde
4. Tiempo, experticia y dinero para hacerlo bien
28
¿Cuándo NO se debe realizar una evaluación aleatoria?
• Cuando el programa es prematuro y aún requiere cambios considerables antes de ser llevado a escala o ser replicado
• Cuando el programa es demasiado pequeño en escala para aleatorizar
• Si se ha probado un impacto positivo utilizando una metodología rigurosa y los recursos son suficientes para cubrir a todos
• Después de que el programa ya ha empezado
Aprendizaje a partir de las evaluaciones de impacto
• Aprendizaje a partir de un único estudio
• Aprendizaje a partir de una acumulación de estudios • Aprendemos más si colocamos cada evaluación dentro de una estrategia general de aprendizaje y existe una teoría detrás.
30
Desarrollando una estrategia de evaluación
1. Determinar preguntas claves para su organización
–
¿Cuántas ya puede responder? 2. Seleccionar preguntas de alta prioridad para la evaluación de impacto
3. Establecer un plan para responderlas
31
Estrategia de evaluación: Dos principios
1. Algunos pocos estudios de impacto de alta calidad valen más que muchos estudios de mala calidad
2. Si hace la pregunta correcta, es más probable que use los resultados de la evaluación
32
TRADUCIENDO LA INVESTIGACIÓN EN ACCIÓN
FINAL ([email protected])
Universidad de Chile
Abdul Latif Jameel Poverty Action Lab
povertyactionlab.org