PERSPECTIVAS DE LA EVALUACIÓN EN EL PANORAMA POST ELECTORAL Karina Peñaloza y Viviana Cruzado Dirección de Calidad del Gasto Público Dirección General de Presupuesto Público EVALUANDO LA GESTIÓN PÚBLICA PERSUPUESTO POR RESULTADO: Alta PRIORIDAD DE ASIGNACIÓN Y BUEN DESEMPEÑO D A PRIORIDAD Con el PpR se busca que las asignaciones presupuestales S/ S/ Baja respondan a los criterios de prioridad y desempeño. B C Bajo Alto DESEMPEÑO * Sujeto a estabilidad fiscal PRIORIDAD DESEMPEÑO OBJETIVO PPR 1: PRIORIDAD EFICIENCIA ASIGNATIVA DESEMPEÑO 5 OBJETIVO PPR 2: PRIORIDAD MEJORA DEL DESEMPEÑO DESEMPEÑO 6 PRESUPUESTO POR RESULTADO: HERRAMIENTAS 1. Evaluaciones de Diseño y Ejecución Presupuestal (EDEP) . Incentivos PRIORIDAD 55 EDEP (2008) 36 matrices de compromiso Programas Presupuestales Seguimiento Evaluación 2. Evaluaciones de Impacto 14 EI (2010) DESEMPEÑO EVALUACIONES INDEPENDIENTES: ASPECTOS NORMATIVOS PRESUPUESTO POR RESULTADOS EVALUACIONES INDEPENDIENTES Ley N°28927 del Presupuesto del Sector Público Ley N°28411 del Sistema Nacional de Presupuesto Público Estrategia de gestión pública que vincula la asignación de recursos a productos y resultados medibles. Análisis sistemático y objetivo de una intervención pública. • Artículo 81. Sobre la evaluación en el marco del Presupuesto por Resultados • Artículo 84. Generación de información estadística para el seguimiento de indicadores y evaluación de intervenciones públicas • Articulo 6: Instrumentos de evaluación independiente • Evaluaciones de Diseño y Ejecución Presupuestal: Análisis del diseño, implementación y desempeño de las intervenciones públicas. • Evaluaciones de Impacto : Estudios que buscan generar evidencia en torno a los efectos directamente atribuibles a las intervenciones públicas. EVALUACIONES INDEPENDIENTES: LINEAMIENTOS Y USOS LINEAMIENTOS 1. INDEPENDENCIA 2. RIGUROSIDAD TÉCNICA 3. TRANSPARENCIA 4. PARTICIPACIÓN DEL SECTOR USOS DECIDIR Aprendizaje sobre mejoras en la gestión pública de recursos Toma de decisiones de política informadas Rendición de cuentas EVALUACIONES INDEPENDIENTES: CRITERIOS DE SELECCIÓN 1. PRIORIDAD SECTORIAL O DEL GOBIERNO 2. RELEVANCIA DEL PRESUPUESTO 3. COBERTURA DE LA INTERVENCIÓN 4. NECESIDAD DE INFORMACIÓN DE DESEMPEÑO Vinculado al Acuerdo Nacional, el Plan Estratégico de Desarrollo Nacional, ODS, Programa País de Acceso a la OECD, prioridades sectoriales Relevancia presupuestal en la función Requerimiento de evidencia para expansión o continuidad Falta de información y consenso sobre efectividad EVALUACIONES INDEPENDIENTES Y EL CICLO PRESUPUESTAL Fases del Presupuesto Hitos 1. Diseño programas presupuestales i) Anexo 2 del PP ii) EFP 2. Programación Formulación i) Directiva de Programación/ Formulación: sustentación ii) Ley Presupuesto: Demandas adicionales 3. Aprobación i) Proyecto de Ley ii) Aprobación Ley en Congreso Recomendaciones de las Evaluaciones Independientes 4. Ejecución i) Modificaciones presupuestarias Evaluaciones de Diseño y Ejecución Presupuestal (EDEP) ¿QUÉ ES UNA EDEP? Evalúa el diseño, la implementación y los resultados de una intervención pública en marcha o culminada. Marco lógico Las recomendaciones de las EDEP llevan a la firma de compromisos entre el MEF y la entidad evaluada. Flujo de procesos Análisis presupuesto FASES DE LA EDEP 1. Selección de IPE • Preparación TdR • Selección de Evaluaciones independientes 2. Desarrollo de la Evaluación • Comentarios • Recomendaciones 3. Firma de Compromisos • Definir acuerdos sobre • acciones, plazos y responsables Firma de matriz 4. Seguimiento de Matrices • • Generar mecanismos para facilitar cumplimiento de compromisos. Reportar cumplimiento ante espacios de accontability. CONTENIDOS CENTRALES DE LOS INFORMES DE LA EDEP LABORES 1° INFORME 2° INFORME INFORME FINAL iniciales Construcción de plan de evaluación Construcción de análisis Construcción de recomendaciones 1. Parte 1: Información - Reuniones con MEF y sector evaluado para generar preguntas de evaluación. - Plan de trabajo con definición de actividades. Diseño de intervención. Procesos de implementación. Presupuesto y resultado. 2. Matriz de preguntas de evaluación. 3. Propuesta de contenidos de análisis (índice). 1. Parte 1: Información. 2. Parte 2: Análisis según propuesta. 3. Resultados trabajo campo. 4. Conclusiones borrador. 1. Parte 1 y 2 información. 2. Conclusiones y recomendaciones validadas. 3. Resumen ejecutivo 4. Parte 2: Análisis del diseño 1. 2. 3. 4. El Punto de partida de la evaluación es la información de diseño, proceso y presupuesto/resultados, mas las reuniones con involucrados. Periodo de evaluación (3 últimos años) No se busca hacer TODOS los contenidos de análisis sino aquellos vinculados a preguntas de evaluación. Las recomendaciones deben estar alineadas con las preguntas de evaluación. Tiempo de duración de la evaluación: 120 días efectivos PREGUNTAS DE EVALUACIÓN Preguntas de Evaluación Método de análisis/Fuente Información Diseño ¿El modelo conceptual presentado cuenta con los componentes suficientes y necesarios para llegar al objetivo atribuible al Programa / Intervención? Sistematización de evidencias / Revisión de literatura ¿La población objetivo ha sido bien definida en función del problema / necesidad que dio origen a la Intervención? Análisis cualitativo / cuantitativo Revisión secundaria Procesos de Implementación Es adecuada la estructura organizacional del Programa / Intervención? ¿Cuáles son las principales barreras institucionales para entregar los servicios/bienes considerados por la intervención? Análisis cualitativo Revisión documental / Entrevistas funcionarios Identificar en cada uno de los sub-procesos, los cuellos de botellas para la entrega de los bienes y/o servicios. Asimismo, identificar los responsables de tomar acciones Mapeo y documentación de los procesos / Revisión documentos normativos, fuentes secundarias y trabajo de campo Presupuesto y Resultados ¿Las acciones del Programa / Intervención son ejecutadas y los bienes y servicios son generados incurriendo en el menor costo unitario posible (en comparación con alguna intervención que otorgue servicios similares o un referente internacional)? Análisis presupuestal / SIAF y bases de datos del Programa La evaluación debe considerar los distintos niveles de maduración de la intervención (diseño, en marcha, consolidada con cambios en el beneficiario) No todas las intervenciones tienen la mismas condiciones para ser evaluadas ni soportan las mismas preguntas Distribución de EDEP realizadas según sector, 2008-2016 Avances en las EDEP 2008-2016 ›Las EDEP realizadas aumentaron de 4 en 2008, a 55 a julio del 2016. 2016 2016 Distribución de EDEP realizadas según sector, 2008-2016 Avances en las EDEP 2008-2016 ›Las EDEP realizadas aumentaron de 4 en 2008, a 55 a julio del 2016. 2016 Cuna Más 2016 Programa Pensión 65 INDICADORES EDEP › El porcentaje del presupuesto evaluado aumentó de 0% a 32% entre 2007 y 2015. Avances en Evaluaciones de Diseño y Ejecución Presupuestal (2012-2015) 2012 2013 2014 2015 102,236 113,590 79,190 129,276 12.0 15.9 23.9 32.0 Porcentajes de avance A Presupuesto Evaluado modificado acumulado B Avance del Presupuesto acumulado, % Evaluado (1) modificado Notas: (1) En millones de nuevos de nuevos soles corrientes. Se considera el PIM correspondiente a cada año, excluyendo el presupuesto de la deuda y pensiones. (2) Porcentaje con relación al presupuesto total , excluyendo el presupuesto de la deuda y pensiones. USOS EDEP TRES FRENTES: Los usos principales de las EDEP se dan en tres frentes: i) Mejorar la gestión institucional: Se realizaron eventos de difusión a tomadores de decisión, se publicaron 9 resúmenes ejecutivos y 8 se encuentran en elaboración ii) Compromisos para mejorar las intervenciones evaluadas: Existe un avance de aproximadamente 50% en los compromisos (*). iii) Uso de los resultados en la gestión presupuestaria: Avances en la normatividad del Sistema Nacional de Presupuesto que vinculo uso de evaluaciones con toma de decisión. (*) Dato preliminar http://www.mef.gob.pe/index.php?option=com_conte nt&view=article&id=3332&Itemid=101532&lang=es EDEP y el ciclo presupuestal Ley Anual de Presupuesto Público • Se define el listado de intervenciones a evaluar. EDEP y el ciclo presupuestal Ley Anual de Presupuesto Público Artículo 17º • Se estipula la firma de matrices entre entidad evaluada y MEF EDEP y el ciclo presupuestal Ley Anual de Presupuesto Público • Se indica que el cumplimiento de compromisos es requisitos para la asignación de recursos adicionales. Cartera de EDEP Intervención Pública Evaluada Sector PP Mejoramiento de la Empleabilidad e Inserción Laboral – PROEMPLEO Especializaciones a Formadores y Acompañantes de Instituciones Educativas Públicas (PELA) PP Incremento de la práctica de actividades físicas, deportivas y recreativas en la población peruana Educación Acciones y procedimientos de DIGESA relativos al recurso hídrico Salud Empleo Educación Tamizaje y atención de Hipertensión Arterial y Diabetes, del Programa Presupuestal Enfermedades No Transmisibles Acciones de mantenimiento y de aquellas dirigidas a garantizar la seguridad vial en el transporte terrestre Transportes y Comunicaciones Iniciativas de apoyo a la Competitividad Productiva - PROCOMPITE Economía y Finanzas PP Gestión integral de residuos sólidos Salud Ambiente Cartera de EDEP Intervención Pública Evaluada Sector Intervenciones en vivienda social y entorno de la vivienda del Vivienda Ministerio de Vivienda, Construcción y Saneamiento. Programa Presupuestal “Aprovechamiento de las Comercio Exterior y oportunidades comerciales brindadas por los principales Turismo socios comerciales del Perú”. Programa Presupuestal “Desarrollo de la ciencia, tecnología e Presidencia del Consejo innovación tecnológica”. de Ministros Programa Presupuestal “Acceso de hogares rurales con economías de subsistencia a mercados locales” y Programa Desarrollo e Inclusión Presupuestal “Mejora de la articulación de pequeños Social productores al mercado”. Fondo de Promoción a la Inversión Pública Regional y Local Economía (FONIPREL). Acciones vinculadas a la promoción y desarrollo de industrias Cultura culturales Evaluaciones de Impacto ¿QUÉ ES UNA EVALUACIÓN DE IMPACTO? Mide los efectos enteramente atribuibles a la intervención sobre los resultados de interés, mediante la estimación de escenarios contra-factuales y metodologías rigurosas. Productos Identifica si política contribuye al logro de resultados Dimensiona la magnitud del impacto Identifica los componentes a través de los cuáles la intervención genera mejoras Diferencia impactos según grupos poblacionales Diferencia impactos según intensidades de tratamiento Sostenibilidad de los impactos Descomponer impacto 27 PREGUNTAS DE EVALUACIÓN Preguntas de Evaluación Método de análisis/Fuente Información ¿Cuál es el efecto de un programa de entrenamiento laboral en los ingresos de los beneficiarios? Atribución básica ¿Cuánto cambió el número de horas trabajadas por los adultos mayores en Pensión 65 respecto a los que no reciben la subvención económica? Atribución básica ¿El impacto del Acompañamiento Pedagógico sobre los logros de aprendizaje es alto o bajo ? ¿La intervención es costo – efectiva? Costo - Efectividad ¿El impacto sobre la tasa de inserción laboral (empleo) de los beneficiarios de Beca 18 es mayor Impactos heterogéneos por componentes en becarios de institutos o en becarios de Universidades? ¿El impacto sobre el acceso a servicios de salud y horas de trabajo es mayor en los AM que tienen más tiempo afiliados a Pensión 65, respecto a los que llevan menos tiempo? Intensidad del tratamiento (multidosis) ¿El impacto de JUNTOS sobre la tasa de matrícula es significativo o mayor en niños o en niñas? Impactos heterogéneos por población ¿Los impactos del AP son sostenibles? Efectos en el tiempo ¿Los impacto de los esquemas de incentivos en salud, se mantienen cuando se elimina el incentivo? Sostenibilidad de los impactos • Se evalúan programas, productos, actividades, proyectos de inversión, políticas nuevas, en cuso o concluidas • Se compara lo que ocurrió respecto a lo que habría ocurrido en la ausencia del programa (contrafactual) • Requiere grupo de control válido (condición de evaluabilidad) y aplicación de metodologías rigurosas • Requerimiento de información es alto: mediciones de línea de base y de seguimiento adhoc y muestras representativas y con potencia) Finales Intermedios Productos Implementación Diseño Resultados EVALUACIÓN DE IMPACTO Actividades Insumos EVALUACIÓN DE IMPACTO RETROSPECTIVAS PROSPECTIVAS Cuasi-experimentales Experimentales+Cuasi-experimentales X Después de la intervención (ex post) Antes y durante la intervención X Sin línea de base adhoc ni muestras representativas. Fuentes: ENAHO, ENDES, ENEDU, ENAPRES, registros administrativos o mediciones especiales. X Horizonte multianual Mediciones de línea de base y de seguimiento a muestras representativas. Trabajo conjunto con sectores e INEI para recojo de información (flexibilidad y calidad técnica) X Requiere un monitoreo continuo a la muestra de evaluación y estado de intervención Alto compromiso del sector evaluado 30 FASES DE LA EVALUACIÓN DE IMPACTO Uso y recomendaciones para políticas públicas Diseminación de resultados Análisis Datos Metodología Análisis estadístico y econométrico para medir impactos Línea de base y mediciones de seguimiento, desarrollo de instrumentos de medición Fuentes: operativo de campo, información administrativa Determinar cómo se puede evaluar la intervención Teoría de cambio Preguntas de evaluación Cadena de resultados Definir variables sobre las que se evaluaría el impacto Entender el contexto del programa, objetivos, componentes y población relevante La DGPP dirige, participa y/o supervisa cada una de estas etapas. Las EVI brindaron estudios basados en metodologías especializadas que den cuenta de la eficacia, atribución de políticas, así como el costo - efectividad de las intervenciones públicas. • Evaluaciones retrospectivas que emplea información del seguimiento del desempeño y registros administrativos (desde 2010) • Énfasis en evaluaciones prospectivas de alta calidad y con horizontes de evaluación multianuales para programas nuevos • La participación del MEF desde el diseño de la evaluación asegura su independencia y uso en ciclo presupuestario • 16 evaluaciones de impacto de alta calidad y rigurosidad académica • 8 evaluaciones culminadas • 7 en curso en diferentes sectores, sociales y productivos, seleccionadas en base a su relevancia presupuestal actual y futura, prioridades sectoriales y necesidad de información acerca de su expansión Usos Evaluaciones de impacto Vínculo con asignación presupuestal Continuar, limitar o expandir intervenciones Atribución de las políticas públicas en el logro de resultados • Valorar el impacto del programa: Costo–Beneficio y Costo-Efectividad • Identificar impactos en el corto, mediano y largo plazo • Identificar componentes más efectivos. ¿Qué? ¿Cuánto? ¿Cuándo? Redistribuir recursos entre componentes para potenciar impacto Condicionar asignación de recursos a mejoras en el diseño (focalización, priorización) e implementación Generar sustente públicas. evidencia que intervenciones Mejorar la calidad del gasto 33 El uso de las EVI ha abarcado múltiples sectores y son base de recomendaciones y acciones de mejora. Intervención evaluada Programa Articulado Nutricional Sector: Salud Piloto Retén Franco Sector: Interior Construyendo Perú Sector: Trabajo Acompañamiento Pedagógico Sector: Educación Resultados Uso Impactos significativos en la reducción de la desnutrición crónica infantil. Los resultados permitieron validar la importante asignación de recursos al PP No se encontró evidencia robusta que el Piloto contribuya a la reducción de la incidencia de robo. No es costo efectiva El Programa no fue expandido. Implicó un ahorro de S/. 1,384 mill. Se encuentra evidencia de impactos de corto plazo sobre los ingresos que no se sostienen en el mediano plazo. Se restringió la población objetivo del PP y los requerimientos presupuestales asociados Mayor impacto en el logro académico en escuelas poli docentes urbanas. Impacto sobre el aprendizaje en matemática es mayor que en comprensión lectora Se cambió la focalización de escuelas beneficiarias USOS Y RECOMENDACIONES: CASO ACOMPAÑAMIENTO PEDAGÓGICO Intervención Indicadores de resultado Acompañamiento Pedagógico a docentes (2009 -2012) Sector: Educación Visitas en aula microtalleres materia: matemática y comprensión lectora Focalización : escuelas primarias (1 y 2do grado) priorizadas Nivel de logro de aprendizaje en matemática Nivel de logro de aprendizaje en comprensión lectora Principales hllazgos Mayor nivel de aprendizaje en comprensión lectora y en matemática (en el tercer año) El impacto sobre el aprendizaje en matemática es mayor que en comprensión lectora Mayor impacto en las escuelas polidocentes completas que en las escuelas multigrado. • Mayor impacto en el aprendizaje en matemática en escuelas urbanas • No hay efecto adicional si el docente recibe más de dos años de AP Decisiones Recomendar Continuidad, pero no expansión hasta mejoras en el diseño Revisar protocolos y estrategias diferenciadas por materia Diseñar estrategias diferenciados para contextos multigrado, bilingües y rurales (SPI) Supervisar implementación en zonas rurales (con mayor rotación ) Nª de años que docente recibe 35 intervención por grados USOS Y RECOMENDACIONES: CASO BECA 18 Resultado: Equidad en el acceso a educación superior, garantizando permanencia y culminación. Correlacionar impacto con distintos aspectos de la intervención (efectos heterogéneos) Componentes Matrícula oportuna Subsidio Tutoría Ciclo 0 Beca IES Universidades Institutos Carreras IES elegibles Acceso, permanencia y culminación Rendimiento académico Empleo Capital social Habilidades nocognitivas Toma de decisiones: Acceso a mejores IES (calidad) (re)Definir Número de becas Mejor desempeño en Universidades Estrategias para priorizar U e IST Tutorias aumentan notas en universidades Priorizar IES (calidad) Reduce deserción en IST Priorizar carreras Eliminar/reforzar Ciclo 0 y Tutorías Mejora del diseño del PP Reduce empleo no calificado AGENDA DE EVALUACIONES DE IMPACTO EN CURSO INTERVENCIÓN TIPO / METODOLOGÍA ESTADO VAR. DE RESULTADO Fondo Mi Riego Agricultura Prospectiva Cuasi-experimental: RDD (espacial) + DiD • • • Línea de Base en 2014 Informe de LdB en elaboración Follow-up para 2016 Ingresos agropecuarios; valor de la producción; rendimiento y diversificación de cultivos Pensión65 Desarrollo e Inclusión social Prospectiva Cuasi-experimental: RDD • • • Línea de Base en 2012 Follow-up 2015 Informe finalizado Oferta laboral, acceso a servicios de salud, gasto y consumo del hogar, salud física y emocional Cuna Más Acompañamiento a familias (Rural) Desarrollo e Inclusión social Prospectiva Experimental: aleatorización • • Línea de Base en 2013 Follow-up para 2015 Desarrollo infantil Juntos Desarrollo e Inclusión social Prospectiva Cuasi-experimental: Matching + DiD • • • Línea de Base en 2011 Informe LdB finalizado Follow-up para 2015 Incidencia de pobreza; desnutrición infantil asistencia y atraso escolar Redes Educativas Rurales Educación Matching + DiD • • Línea de Base 2012 Follow-up para 2015 Logros de aprendizaje 37 EVALUACIONES INDEPENDIENTES CASO APLICADO: ACOMPAÑAMIENTO PEDAGÓGICO Evaluación EDEP ¿Cuán bien está organizado el servicio de Acompañamiento en las Regiones? Evaluación de impacto ¿El acompañamiento pedagógico ha generado algún impacto atribuible en los logros de aprendizaje de estudiantes de 2do grado? ¿Se cumplieron los protocolos en la implementación respecto del número de docentes por acompañante y el número de visitas por semestre? ¿Cuál ha sido la magnitud de dichos impactos? ¿El servicio de formación de los acompañantes abarca todas las áreas curriculares? ¿Hay impactos diferenciados por tipo de escuela y por ámbito? ¿Hay impactos diferenciados por año de implementación ¿Hay impactos diferenciados por intensidad de tratamiento? ¿Cuál es el ratio beneficio - costo? ESTRATEGIAS DE DIFUSIÓN 8 documentos breves dirigidos a operadores de los sectores, evaluadores, miembros de la DGPP. 10 policy briefs dirigidos a los tomadores de decisiones. 1 documentos de difusión masiva de la herramienta EDEP, donde se explica en forma sencilla el instrumento 1 Evaluación a la herramienta EDEP, donde se presentan recomendaciones con el fin de fortalecer el proceso de implementación de las EDEP LECCIONES APRENDIDAS Y RETOS EN EL PANORAMA POST ELECTORAL LECCIONES APRENDIDAS 1. El compromiso y la participación de los sectores es clave. 2. Las EDEP y las EI son complementarias: Ambas potencian la evidencia sobre el desempeño de la intervención 3. Las matrices de compromisos brindan el espacio para que los especialistas prioricen las mejoras necesarias producto de la evaluación 4. La apropiación de resultados a nivel técnico es fundamental para impulsar las mejoras en el desempeño de las intervenciones. 5. La generación de contrapartes técnicas a través de desarrollo de capacidades en los Pliegos es crítico para el buen desarrollo de las evaluaciones 6. Establecer condiciones técnicas de las intervenciones nuevas para su futura evaluación de impacto y condiciones expansión a resultados (DS, ley de presupuesto) 7. Mayores riesgos de evaluaciones prospectivas con horizontes temporales multianuales 8. Fortalecer la información administrativa para abaratar costo de evaluaciones y resultados relativamente pronto obtener RETOS Legitimidad y credibilidad de las Evaluaciones como instrumento para la toma de decisiones Definición de la agenda de evaluaciones concertada con los sectores y con las direcciones del MEF Mayor difusión de los criterios para la definición de la agenda de evaluación Comisión Consultiva de Evaluaciones Independientes, creada mediante DS 108-2016-EF Adaptación del formato de las Evaluaciones a las necesidades particulares de cada Intervención Pública Evaluada Diversos tipos de Evaluación: i. EDEP ii. Impacto iii. Evaluación Rápida de Diseño iv. Evaluación de Procesos v. Evaluación Estratégica (Políticas Públicas) Estandarizar procesos (peer reviewers) Potenciar su uso en las políticas públicas Motivar a los encargados de las evaluaciones y la Alta Dirección de las Entidades la importancia de la evaluación, no como un elemento punitivo, sino para mejorar los procesos de la gestión pública Espacios para la difusión de los resultados de la evaluación entre la ciudadanía y demás actores nogubernamentales Retos Fortalecer la oferta para Evaluaciones Fortalecer capacidad de evaluación: firmas consultoras, equipos en entidades públicas, cultura evaluación Generar mercados de proveedores para terciarizar etapas de las evaluaciones Generar mecanismos para facilitar cumplimiento de compromisos. Mejorar oportunidad de evaluaciones de impacto LOGROS 1. Reconocimiento en los Premio 2016 a las Buenas Prácticas en Gestión Pública (BGP) 2. Finalista en el II Premio Anual 2016 GESTIÓN PARA RESULTADOS (COPLAC) ¡GRACIAS!
© Copyright 2024