1. Educación

La gestión del desempeño y la
evaluación en el sector público
(elementos conceptuales)
Lucy Winchester
Guadalajara, Jalisco, México
mayo 2013
Contenidos
1. La GpRD y el desempeño
2. Evaluación y monitoreo (Relación
cadena de valor)
3. Marco metodológico de la
evaluación y la teoría del programa
4. Tipos de evaluación
5. Comentarios finales: universo y
población – introducción a la
focalización
Gestión
Gestión
Pública
Pública
por
Tradicional
Resultados
Inversión
pública
GESTIÓN
PÚBLICA
INFORMACIÓN
DESICIONES
INFRAESTRUCTURA
GASTO SOCIAL
RECURSOS
INVERSIÓN
RECURSOS HUMANOS
OTROS GASTOS
RESULTADOS
E IMPACTOS
SERVICIOS
PRODUCTOS
PROCESO
INSUMOS
Gestión por resultados
• Es una estrategia de gestión cuyo objetivo principal es mejorar el
desempeño del gobierno en relación a los resultados
– mejorar la eficiencia (relacionar el presupuesto con resultados) y
– mejorar la eficacia (relacionar los productos con los resultados para la
ciudadanía)
– a través de procesos de aprendizaje al nivel de las organizaciones
– responder a mayores exigencias de rendición de cuentas
(accountability) en relación a los resultados.
• Niveles nacionales, sectorales, subnacionales
• Nivel de agencia (PE), y de política, programa y proyecto (MML)
• Herramientas: PE, manejo de riesgo, monitoreo y evaluación de
desempeño
4
Focos del GPR
• Énfasis en el desempeño entendido como productos
(outputs) y resultados (outcomes).
• Énfasis en la Eficiencia del Gasto Público (en la
provisión de productos)
• Énfasis en Eficacia de las Políticas, programas y
proyectos públicos (relación entre productos ->
resultados para la población.
• Información y rendición de cuentas respecto a los
resultados
5
Proceso GpRD a nivel conceptual y global
1. Identificación clara de objetivos (resultados) medibles (Plan est)
2. Selección de indicadores (resultados) para medir progreso hacia
objetivos (Plan Est)
3. Identificación de metas específicas para cada indicador (Plan Est)
4. Desarrollo de sistema de indicadores de progreso (Sistema de
seguimiento y medición desempeño)
5. Revisión, análisis e informes de resultados realmente alcanzados,
vs. las metas (Sistema de seguimiento, medición desempeño)
6. Integración y utilización de evaluaciones complementarias a la
información de seguimiento (Gestión desempeño – incentivos)
7. Utilización de información de progreso para la gestión de rendición
de cuentas (accountability), aprendizaje, toma de decisiones y
reporte a los involucrados. (Gestión desempeño – incentivos,
decis.)
6
Marco de resultados para mejorar la
efectividad del desarrollo (cadena de valor en
PORQUÉ?
la intervención pública)
Efecto en largo
Impacto
(Resultado final)
Desde
un
Efecto mediano
plazo
(Resultados
intermedios/ efectos)
acercamiento
lineal
Productos
(outputs)
Procesos
(actividades)
Transporte
Salud
Productos Serv Transp, aerop, pte Vacunas, serv salud Agua pot –
Resultados Pers y mercad trasladan Bajan enfermedades
Impacto
Comercio X,M
Vidas más largas y sanas
Insumos
(inputs)
plazo en
bienestar, Fin
MML
CUÁLES resultados
esperamos de la
inversión?
Beneficio de corto
mediano plazo, para
Beneficiarios
Propósito MML
QUÉ?
Bienes y servicios
generados al
finalizar
…Componentes
COMO?
Producir
Hacia
Aprendizaje
Hipótesis
Realidad
Cambiante
COMO?
Recursos
utilizados,
combinarlos
para …
7
el desempeño global del gobierno y de las
políticas públicas
• la importancia de lograr resultados públicos
significativos
• la probidad y eficiencia en el uso de los recursos
• el logro de ciertos estándares o normas (metas) de
parte de los directivos y agencias a través de una
gestión estratégica
8
La medición del desempeño
(indicadores de resultados)
Mediciones de desempeño
Productos
Cantidad, calidad, costo y oportunidad de entrega de los
bienes y servicios
Eficiencia
Producto/costos
Productividad
Producto/insumos
Logro de objetivos de
política, programa,
proyecto
Resultados intermedios
Resultados finales (impactos)
Efectividad
Contribución del producto hacia
el resultado esperado
Costo-efectividad
Resultado (intermedio o
final)/costos
Debe haber claridad
sobre la causalidad
entre los productos y
los resultados.
Complejidad de
definir indicadores de
impacto
9
Dimensiones del desempeño y la cadena de
resultados
Eficacia
Eficiencia
Grado de logro del objetivo
Relación insumos/productos
INSUMOS
ACTIVIDADES
(PROCESO)
PRODUCTOS
(BIENES Y
SERVICOS)
Calidad
de los bienes y
servicios
Economía
Uso de los recursos
RESULTADOS
INTERMEDIOS
(MEDIANO
PLAZO)
RESULTADOS
FINALES
(IMPACTOS)
(LARGO
PLAZO)
El monitoreo
“Es una función continua que utiliza la recopilación sistemática
de datos sobre indicadores predefinidos para proporcionar a
los administradores y a las principales partes interesadas de
una intervención para el desarrollo, indicaciones sobre el
avance y el logro de los objetivos así como de la utilización de
los fondos asignados” (OCDE).
Es un instrumento para gestionar el sector público mediante un
conjunto de indicadores que permiten verificar el
cumplimiento de los objetivos y de sus expresiones
cuantitativas: las metas.
La evaluación
• Es la “apreciación sistemática y objetiva de un proyecto, programa o
política en curso o concluido, de su diseño, su puesta en práctica y sus
resultados.” (OCDE, 2002)
• El objetivo es determinar la pertinencia y el logro de los objetivos, así
como la eficiencia, la eficacia, el impacto y la sostenibilidad para el
desarrollo.
• Deberá proporcionar información creíble y útil, que permita incorporar las
enseñanzas aprendidas en el proceso de toma de decisiones.
• Emite juicios sobre las causas y las razones de los resultados, examina
resultados no buscados, estudia el proceso que se ha seguido para
obtenerlos y proporciona recomendaciones para acciones futuras.
• Es mediante un proceso sistemático de recolección y de análisis de
información relevante, de acuerdo a una marco metodológico explícito.
La diferencia fundamental entre el monitoreo y
la evaluación
• el monitoreo ofrece información sobre la situación
relativa al cumplimiento de los objetivos y los efectos
de una política, programa o proyecto.
• la evaluación explica por qué los objetivos o efectos
se están logrando (o se han logrado) o no, y expone
los cambios que se han producido en los
beneficiarios y en la sociedad.
La evaluación corresponde a estudios o revisiones
técnicas
que haciendo uso de un conjunto de información
ordenada y relacionada según un marco
metodológico,
tienen por finalidad construir valoraciones de
aspectos concretos de un ámbito del quehacer de
políticas públicas, como un programa,
y encontrar factores explicativos (porqué?) a estos
juicios evaluativos (Guzmán, 2007).
Y hacer recomendaciones respecto a los hallazgos
significativos.
Marco Metodológico
• Garantizar independencia y confiabilidad, relevancia o
•
•
•
•
•
pertinencia y oportunidad.
Tipo de evaluación en función de lo que se desea averiguar:
evaluaciones rápidas o de escritorio (MML; otros) ; evaluaciones
de impacto; evaluaciones ex ante (costo – beneficio, costo –
efectividad)
Marco de evaluación:
– ámbitos de control (procesos, productos, resultados)
– focos a analizar
– hipótesis a testear
– criterios técnicos (eficacia, calidad, eficiencia, economía,
sostenibilidad)
– dimensiones a medir
Mediciones de desempeño a través de indicadores (temporalidad
y fuentes de información)
Métodos de análisis
Métodos de recolección de información
Los focos o ámbitos de una evaluación de PP
¿qué se va a analizar?
• Justificación. Diagnóstico o problema abordado. Población objetivo y
focalización.
• Diseño. Ordenamiento y consistencia de objetivos, y componentes y
actividades para responder a cada uno; y en relación a la evolución del
diagnóstico (lógica horizontal y vertical MML, análisis de supuestos e
indicadores).
• Organización y Gestión. Principales aspectos institucionales dentro de
los cuales opera el programa, y los principales procesos, instancias de
coordinación e instrumentos de que éste dispone.
• Resultados. Eficacia (y calidad, sustentabilidad de R.) desde la
perspectiva de los procesos, productos, y resultados intermedios y
finales, y eficiencia (y economía).
• Sostenibilidad Institucional. Soporte institucional (dependencia
administrativa, rel. autoridad / programa, recursos institucionales).
• Continuidad. Necesidad de existencia (relacionar diagnóstico y
resultados alcanzados).
Relación Causa-Efecto / Resultados esperados
• Los resultados esperados de un programa corresponden a los
efectos que se supone tendrán los bienes y servicios en la
población beneficiaria.
• Se basan en la teoría y la evidencia empírica en la materia, y en
análisis y discusión en relación al inicio del programa (forman parte
de la justificación del PP).
• Explicitar las hipótesis de causa – efecto que están expresados
genéricamente en los resultados esperados de un programa
permite delimitar el objeto de la evaluación, y a la vez, precisar los
hallazgos.
• Forman parte del marco metodológico de la evaluación, en
conjunto con otros aspectos como las dimensiones a medir,
criterios de valoración, métodos cuantitativos y cualitativos, entre
otros.
(Se fundamenta en la Teoría del Cambio.)
Relación Causa-Efecto y Hipótesis. Ejemplos
Caso: Programa de empleo que entrega servicios de capacitación al
interior de la empresa.
Hipótesis: Servicios de capacitación al interior de la empresa
(causa) logran aprendizajes más relevantes que mejoran las
competencias de los trabajadores (efecto).
Caso: Programa de innovación tecnológica que incluye el
financiamiento de actividades de selección de socios estratégicos y
de prospección asociativa (por parte de estos).
Hipótesis: Las actividades de prospección asociativas (causa)
facilitan la formulación, evaluación y el desarrollo de proyectos de
inversión (efecto).
Caso: Programa de bibliotecas en el aula en establecimientos de
educación primaria.
Hipótesis: La disponibilidad de textos en un espacio físico cercano y
familiar (causa) facilita su incorporación en las prácticas
pedagógicas (efecto).
Teoría del Programa
Insumos
Prioridades
Situación
Necesidades y
activos
Problemática
Participación
Misión
Visión
Valores
Mandatos
Recursos
Resultados
Esperados
Productos
Resultados – Impactos
Actividades y Beneficiarios
Corto plazo – Mediano plazo – Largo plazo
?Qué
invertimos?
?Qué
hacemos?
Personal
Tiempo
Dinero
Conocimiento
Materiales
Equipos
Tecnología
Redes
Talleres
Reuniones
Servicios
Desarrollo de
productos
Capacitación
Asesoría
Facilitación
Asociación
…
Supuestos
?Quiénes
reciben
beneficios?
Participantes
Clientes
Tomadores de
decisión
Consumidores
Aprendizaje
Socialización
Conocimiento
Atitudes
Habilidades
Opiniones
Aspiraciones
Motivaciones
Acción
Comportamiento
Práctica
Decisiones
Políticas
Acción social
Condiciones
sociales,
Económicas,
políticas,
medioambiente
OBJETIVOS
Satisfacción
Factores externos
EVALUACIÓN
Focos – Recopilación de información – Análisis e interpretación - Informar
Herramientas de evaluación
•
PP pueden presentar aspectos tanto cualitativos como cuantitativos que
deben formar parte del desempeño de un programa:
– un programa de apoyo y asistencia técnica para trabajadores en un programa de
reconversión laboral :
• Cuantitativo: el porcentaje de trabajadores egresados del programa, la tasa de
empleo post egreso del programa, el porcentaje de empleo formal e informal,
la duración del primer empleo encontrado, el ingreso promedio del trabajador,
etc
• Cualitativos: la actitud de trabajadores frente al programa, la satisfacción con
la asistencia recibida, la percepción de los trabajadores respecto de sus
posibilidades de reconversión laboral, etc.
•
•
•
•
Herramientas ad hoc. a estas necesidades (recolección de data, índices desde
encuestas, grupos focales, entrevistas en profundidad a informantes claves y
actores del programa, etc.)
Herramientas cualitativas: conflictos explícitos o implícitos que forma parte del
contexto del programa, comportamientos sociales y organizacionales, valores,
expectativas, cuellos de botella
Triangulación de data a través de aplicar distintos métodos.
Preparación de fichas, encuestas, etc.
ROL DE LA EVALUACIÓN EN LA TOMA DE
DECISIONES
DISEÑO Y FORMULACIÓN DE
POLÍTICAS Y PROGRAMAS
TOMA DE
DECISIONES
POLITICAS, PROGRAMAS
EVALUACION
DESEMPEÑO, GESTION
EJECUCIÓN E IMPLEMENTACIÓN
TOMA DE
DECISIONES
21
La evaluación
Es ¨la medición sistemática de la operación o impacto de un
programa o política pública, comparada con estándares
implícitos o explícitos en orden a contribuir a su
mejoramiento¨ (Weiss, 1998).
Es ¨el aprendizaje a través del estudio sistemático de cómo
mejor diseñar, implementar y entregar los programas y
políticas públicos¨ (Evalsed, Unión Europea, 2008)
Para que la evaluación sea útil, el sistema de evaluación debe
debe formar una parte integral de los procesos de decisión y
de gestión.
Beneficios:
• Mejoramiento en la gestión y
• Mejoramiento en las políticas
en el mediano plazo
la entrega de los servicios y
• Diseño de programas
bienes públicos
• Selección entre alternativas de • Identificación de los productos,
soluciones /intervención
resultados, e impactos
22
La evaluación apunta al mejoramiento del diseño e
implementación de los programas públicos.
• Dos papeles:
– retroalimentación permanente, en fases de diseño o de
ejecución (aporta al proceso de aprendizaje institucional, y
mejoramiento del desempeño del PP).
– informar, a partir de criterios técnicos, el proceso de toma
de decisión sobre la asignación de recursos públicos.
Se defiere del monitoreo en que éste suele ser parte de
procesos internos de gestión programática, más regulares, y
que utilizan mediciones a través de indicadores,
principalmente de procesos y productos.
Políticas y programas públicos
• Son soluciones específicas de cómo manejar los asuntos
públicos. ?Qué hace algo un “asunto público”?
• Una política pública es un conjunto de actividades (programas,
estrategias, procedimientos, leyes, reglamentos) dirigido hacia
un objetivo general. Estas actividades frecuentemente se
acumulan durante años. (Planes, END, PND, entre otros)
• La política pública se diferencia de un programa pública en que
un programa es una intervención pública directa sobre una
realidad social, que se usa, en conjunto con otros programas (y
otros instrumentos de política), para implementar una política.
• Un programa es el conjunto de actividades ordenadas en
componentes que persiguen un objetivo o propósito común.
24
Ámbito de acción
gubernamental
¿Qué se evalua?
Metodologías/
Fuentes de datos
Planes y Estrategias
Nacionales de Desarrollo
Cumplimiento de
compromisos, prioridades
nacionales
Sistemas de Estadísticas
Nacionales, encuestas,
paneles de expertos y
Evaluación de impacto
Institucional (Ministerios),
Entidades Públicas
Cumplimiento de metas de
gestión y resultados finales
Eficiencia, Eficacia, Calidad
y Economía
Sistema de indicadores de
Desempeño
Evaluación de programas
(Marco Lógico)
Programas Públicos
Resultados, gestión e
impacto
Eficiencia, Eficacia, Calidad
y Economía
Evaluación de programas
públicos – inversión
(Escritorio, impacto, MML)
Inversiones
Rentabilidad Social
Costo - Beneficio
Evaluación de inversiones
Costo – Beneficio exante y
expost
(Armijo, 2011. Manual de Planificación Estratégica, ILPES/CEPAL)
25
Evaluación
Según su objetivo:
• Planificación/eficiencia: Validación de la justificación de a intervención.
Mejor asignación de recursos entre objetivos competitivos, beneficios
versus costos. Evaluación ex ante.
• Accountability: Desempeño de la acción gubernamental al nivel de
resultados e impacto. Uso de recursos. Evaluación de procesos, resultados.
• Implementación: Mejoramiento en la gestión y entrega. Efectividad de los
arreglos institucionales y de gestión. Focalización. Coordinación en la
implementación.
• Creación de conocimiento: Confirmación de los supuestos de la
intervención del programa. Aprendizaje sobre lo que funciona, porqué.
Sustentabilidad de los resultados. Explicativo (uso de metodologías
experimentales, también meta evaluación).
• Fortalecimiento institucional: Cómo puede mejorar la efectividad y las
capacidades. Cómo mejorar involucramiento de los beneficiarios?
Participativo
26
ETAPAS DEL PROCESO DE EVALUACION
EX -ANTES
ETAPAS
Diseño de Programas y
Proyectos
OPERATIVA
Ejecución del Programa o
Proyecto, Productos, Servicios
EX-POST
Medición del desempeño o Impacto
27
Evaluación
Según la etapa de la intervención:
Ex ante – previa a la implantación de una acción
gubernamental. Documenta necesidades iniciales y la
factibilidad de programas y políticas. (estudios de diseño de
políticas y programas, estudios de pre-inversión de
proyectos).
Procesos – durante el ejercicio de la acción gubernamental.
Se examina el uso de recursos para el cumplimiento de los
objetivos, el ajuste de la programación de la generación de
los productos.
Ex post – una vez finalizada la intervención o acción, o la
gestión de un determinado período . Involucra análisis y
pronunciamiento de los resultados inmediatos, intermedios e
impactos o resultados finales.
28
Evaluación
• Según el objeto:
Evaluación de políticas públicas: resultados sobre el
cumplimiento de las políticas generales, sectoriales –
decisiones sobre políticas públicas.
Evaluación de programas públicos: impacto o resultados de
una intervención pública directa sobre una realidad social –
mejorar el funcionamiento del programa y el impacto hacia la
población beneficiaria.
Evaluación de la gestión y resultados de entidades públicas:
resultados obtenidos por las instituciones públicas y su
comparación con aquellos planeados – mejorar desempeño.
Evaluación del desempeño individual
29
Según ciclo de vida de proyectos y
programas
Se funden en el caso de programas
Preinversión
Formulación
y evaluación
Inversión
Evaluación de
gestión
Operación
Evaluación de
resultados e
impactos
Evaluación
Ex-Post
Población: conceptos importantes para el diseño
y la evaluación de la eficacia
•
•
•
•
Población de referencia
Población potencial
Población objetivo
Focalización de la población objetivo
Análisis de Población
POBLACION
SIN PROBLEMA
POBLACIÓN
POTENCIAL
(Población
con problema)
POBLACION
POTENCIAL
POSTERGADA
POBLACION
OBJETIVO
Población de Referencia
• Corresponde a la población global (con y sin
problema), que se toma como referencia para el
cálculo, comparación y análisis de la población
objetivo.
• La importancia de definir la población de
referencia, está en que para esta suele conocerse
con mayor precisión. Datos estadísticos, tasa de
crecimiento, y otros suelen estar asociados a
áreas geográficas y grupos etareos, étnicos,
laborales, etc..
Población Potencial
• Es el aquella parte de la población de
referencia, que es afectada por el problema
(o será afectada por el), y que por lo tanto
requiere de los servicios o bienes que
proveerá el programa.
• Indica la magnitud total de la población en
riesgo. Dicha estimación permitirá proyectar
a largo plazo el aumento de dicha población,
si no se interviene adecuadamente.
Población Objetivo
• Es el número de beneficiarios potenciales del
programa (personas, familias, empresas,
instituciones).
• Es aquella parte de la población potencial a la que
el programa (una vez analizados algunos criterios
y restricciones), estará en condiciones reales de
atender.
• La población objetivo será la “meta” del
programa, y constituirá la base de su
dimensionamiento.
Focalización de la Población Objetivo
• La focalización es la selección de la población a
atender con el programa (población objetivo).
• La focalización, se puede realizar mediante
diferentes criterios, por ejemplo:
•
•
•
•
•
•
•
•
Lineamientos de política
Ubicación espacial
Grupos etarios
Género
Nivel de ingreso
Grupos vulnerables
Límites administrativos
Limitaciones técnicas
Muchas gracias!