1. Educación

¿Cómo lograr una relación efectiva
entre agencia evaluadora y
evaluador?
Dan Levy
Lecturer in Public Policy
Kennedy School of Government, Harvard University
Seminario de Evaluación de Políticas Públicas,
Tecnológico de Monterrey, Mayo 2010
Backup Slides
Dan Levy
Lecturer in Public Policy
Kennedy School of Government, Harvard University
Ejercicio
Piense en un programa social en el cual Usted está
involucrado y por favor indique:
 
 
 
Nombre del programa
¿Qué criterio usaría usted para decidir si este programa es un
buen programa?
Etapas en una evaluación
de impacto
Etapas Clave de una Evaluación de Impacto
1 - Diseño
•  Diseño de la
muestra
•  Método de
Estimación
•  Selección de
Indicadores
3 - Análisis
2 - Implementación
•  Recolección de
Datos
•  Monitoreo
povertyactionlab.org
•  Estimación de
Impactos
•  Significancia
Estadística
•  Significancia
Práctica
5
4 – Diseminación
•  Audiencia
•  Medios
1 - Diseño
 
 
 
 
 
Selección de indicadores
Selección de grupo de comparación
Tamaño de muestra
Estrategia de recolección de datos
Método de estimación de impacto
 
 
 
Experimentales
No Experimentales
Amenazas a integridad de la evaluación
Principios claves para la selección de un buen
diseño de evaluación
1. 
2. 
3. 
4. 
Seleccionar el diseño de evaluación más riguroso y confiable que
sea factible
El evaluador puede realizar un mejor trabajo si se involucra
desde el inicio del proceso
Es importante entender bien cómo el programa ha sido
implementado
Es importante que los actores claves (administradores, agencias
de financiamiento, etc.) estén involucrados desde el principio
en la evaluación
2 - Implementación
 
Recolección de datos
 
 
 
 
 
 
 
Encuesta píloto
Encuesta de Línea de Base
Encuesta de Seguimiento
Datos Secundarios
Otros Aspectos
Integridad del grupo de participantes
Integridad del grupo de comparación
3 - Análisis
 
 
 
 
 
Usar correctamente los métodos estadísticos
Asegurarse que los resultados sean robustos
Utilizar métodos estadísticos para lidiar con
diferencias entre la implementación de la evaluación
que se llevó a cabo y la implementación ideal
Difícil arreglar con métodos lo que no se diseñó
bien
Evaluar si el impacto de la intervención es
estadística y prácticamente significativo
4 - Diseminación
 
 
 
Diferentes audiencias
Explicaciones de resultados
Importancia de involucrar desde el inicio a los
diferentes “stakeholders”
Pasos claves en una evaluación de impacto
1. 
Diseñar la evaluación
2. 
Recolectar información de línea de base para el
grupo de participantes y el grupo de
comparación
3. 
Monitorear para asegurar la integridad de la
evaluación
11
Pasos claves en una evaluación de impacto
(cont)
4. 
Recolectar datos de indicadores para ambos grupos un
tiempo después de la intervención
5. 
Estimar el impacto de la intervención comparando los
indicadores del grupo de participantes vs. los
indicadores del grupo de comparación
6. 
Evaluar si el impacto de la intervención es
estadística y prácticamente significativo
12
Pregunta #1
¿Cuál de las siguientes opciones describe mejor su
experiencia en el área de evaluación de programas?
 
a. 
b. 
c. 
Productor (realiza el análisis y produce el informe de
evaluación)
Consumidor (contrata a alguien para que haga la
evaluación)
Administrador de programa (implementa el programa a
ser evaluado)
Métodos Diferentes: Impactos Diferentes
******TABLA SIMILAR PARA
PROGRESA*****
Impacto
Método #1 – Antes y Después
7 puntos
Método #2 – No participantes
-3 puntos
Método #3 – No participantes similares
1 puntos