Diplomado en Regulación Introducción a la Evaluación de Impacto Regulatorio CASO DE ESTUDIO: TIPOS DE EVALUACIONES DIPLOMADOS COFEMER/LATIN-REG Documento reservado para uso interno de los servidores públicos de la COFEMER Aspectos Principales1: INTRODUCCIÓN A LA EVALUACIÓN DE IMPACTO REGULATORIO REGULACIÓN De acuerdo con la Ley General de Salud, “la protección social en salud es un mecanismo por el cual el Estado garantizará el acceso efectivo, oportuno, de calidad, sin desembolso al momento de utilización y sin discriminación a los servicios médico-quirúrgicos, farmacéuticos y hospitalarios que satisfagan de manera integral las necesidades de salud, mediante la combinación de intervenciones de promoción de la salud, prevención, diagnóstico, tratamiento y de rehabilitación, seleccionadas en forma prioritaria según criterios de seguridad, eficacia, costo, efectividad, adherencia a normas éticas profesionales y aceptabilidad social”. Sin embargo, y a pesar de la descripción plasmada en la norma, se podía observar que una gran parte de la población no podía tener acceso a servicios de salud de manera gratuita y que esto generaba grandes pérdidas patrimoniales a las familias en caso de que algún integrante experimentara padecimientos catastróficos. Con la finalidad de resolver esta problemática se implementó un sistema novedoso de protección social en salud. El Sistema de Protección Social en Salud (SSPS) tiene un esquema tripartito de financiamiento, en el que participan los gobiernos federal y estatal por cada familia afiliada, y la cuota de los afiliados, que se determina en función de su capacidad de pago. En este sentido, las familias de escasos recursos están exentas de la contribución familiar o cuota. Este Programa contempla al ejercicio de evaluación como una parte inherente de su diseño y lo considera “…como mecanismo esencial para identificar las deficiencias en la operación de este sistema y para identificar las prácticas positivas que debían ser reiteradas. La evaluación constituye, además, un instrumento que facilita la rendición de cuentas ante el poder legislativo, los medios de comunicación y, esencialmente, la ciudadanía.”2 Como todos los programas de carácter social que emprende el Gobierno Federal, este también tiene que someterse al ejercicio de evaluación para conocer su desempeño y efectos. A la luz de lo anterior, el modelo de evaluación de impacto utilizado para este Sistema, verifica en qué medida se está contribuyendo a alcanzar los objetivos básicos el sistema de salud: garantizar la protección financiera en materia de salud, ofrecer un trato adecuado a los usuarios y mejorar las condiciones de salud de la población. Basado en el documento llamado “Evaluación de Efectos del Sistema de Protección Social en Salud” que esta disponible en: http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/EVAL_IMPAC_2007_2011/Salud_2 008.es.do 2 Ibídem. 1 Comisión Federal de Mejora Regulatoria 2 DIPLOMADOS COFEMER/LATIN-REG Documento reservado para uso interno de los servidores públicos de la COFEMER INTRODUCCIÓN A LA EVALUACIÓN DE IMPACTO REGULATORIO REGULACIÓN Desde el punto de vista del propio SPSS, esta evaluación tiene como objetivo “… analizar en qué medida se están alcanzando las metas y objetivos (…), identificando los elementos exitosos y detectando los problemas a fin de adecuar las estrategias de operación y las políticas relacionadas con el mismo.”3 El diseño de la evaluación de impacto proviene originalmente de un grupo de investigadores de la Universidad de Harvard, en colaboración con el Instituto Nacional de Salud Pública y de la Secretaría de Salud. Mientras que el Instituto Nacional de Ciencias Médicas y Nutrición “Salvador Zubirán” (INCMN) coordinó los esfuerzos para esta reciente medición. En el diseño se planteaba establecer una línea basal para el año 2005 (es decir identificar un referente para realizar una comparación posterior), para después realizar levantamientos de información que pudieran registrar los cambios experimentados por la intervención del Sistema (en 2006 y 2008). Este modelo de evaluación estableció dos grupos de comparación (control y de intervención). Se cuidó que ambos tuvieran características similares en cuanto a ubicación geográfica y relación con el centro de salud. Para el grupo de intervención se difundió la afiliación al SPSS, además de que a sus centros de salud se les fortalecieron los servicios según los lineamientos del sistema. Mientras que para el grupo de control, no existieron campañas de afiliación ni tampoco el fortalecimiento de los servicios de salud proporcionados en sus unidades. Para el diseño de esta evaluación se consideraron inicialmente 12,284 conglomerados de salud (población y unidad médica), posteriormente se seleccionaron 50 pares de conglomerados de manera aleatoria en una primera etapa y otra de 29 pares en una segunda etapa (esto con la finalidad de darle mayor representatividad a las zonas urbanas), entre los cuales se obtendrán los grupos de intervención y de control. El levantamiento de las encuestas para determinar el estado inicial de los individuos pertenecientes a los grupos se realizó por un equipo de 160 encuestadores y 40 técnicos de laboratorio, que sumados a los supervisores implicó un total de 230 personas levantando la información en campo. El instrumento de aplicación fue un cuestionario de más de 70 páginas y duró más de 12 semanas de levantamiento para la información. Durante la realización de los cuestionarios se enfrentaron inconvenientes que pusieron en riesgo la evolución de la evaluación, ya que entre otros casos no pudieron encontrar al hogar seleccionado, hubo rechazo para responder la encuesta y por causa de la inseguridad en algunas zonas fue imposible visitar sus conglomerados. 3 Ibídem. Comisión Federal de Mejora Regulatoria 3 DIPLOMADOS COFEMER/LATIN-REG Documento reservado para uso interno de los servidores públicos de la COFEMER INTRODUCCIÓN A LA EVALUACIÓN DE IMPACTO REGULATORIO REGULACIÓN Estos cambios en el levantamiento de la información orillaron a que los evaluadores modificaran la estrategia original de análisis. Para aquellos conglomerados en los que no hubo pérdida de información se mantuvo el análisis agregado, mientras que para aquellos en los que no se completaron las encuestas, se decidió analizar de manera desagregada el resultado, es decir, a nivel hogar, e incluso a nivel individuo. Para el caso de conglomerados, en general se optó por utilizar tratamientos que ayudaran a minimizar las diferencias previas entre los grupos de comparación (sea que las hayamos identificado o no), específicamente se aplicó el estimador de “diferencias en diferencias”. A la luz de los resultados observados, esta evaluación llegó a dos conclusiones relevantes: a) El sistema tiene efectivamente impactos en la reducción de gastos en salud para los hogares que se afilian al sistema, lo que a su vez ha mejorado la cobertura médica a padecimientos como la diabetes y la hipertensión. b) El diseño de la evaluación debe ser modificado para los siguientes años, ya que ha mostrado una gran pérdida de conglomerados de referencia (por modificaciones poblacionales) y por el éxito de afiliación al Sistema (pasan de ser no beneficiarios a beneficiarios). 1. Evaluación de Diseño del Programa de Fortalecimiento a la Transversalidad de la Perspectiva de Género Este Programa tiene como objetivo general contribuir a la institucionalización de la perspectiva de género en las políticas públicas en las Entidades Federativas para lograr la disminución de las brechas de desigualdad entre mujeres y hombres. Es operado por el Instituto Nacional de las Mujeres (INMUJERES), y cuenta con la participación de sus institutos equivalentes en las entidades federativas, mismos que se encargan de gestionar recursos para la realización de estudios o proyectos que contribuyan a alcanzar los objetivos del Programa. Con la finalidad de realizar una valoración previa a la instrumentación del programa, se decidió realizar un análisis de su diseño, que diera elementos para decidir sobre la ejecución del mismo. Desde el propio punto de vista de esta evaluación de diseño, se considera que “…ofrece un diagnóstico sobre la lógica y congruencia en el diseño de los programas, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable a los programas, la complementariedad o similitudes entre ellos.”4 4 Evaluación en materia de diseño del programa: Fortalecimiento a la Transversalidad de la Perspectiva de Génerohttp://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/EVAL_DISENO/inmujeres_ 2010.es.do Comisión Federal de Mejora Regulatoria 4 DIPLOMADOS COFEMER/LATIN-REG Documento reservado para uso interno de los servidores públicos de la COFEMER INTRODUCCIÓN A LA EVALUACIÓN DE IMPACTO REGULATORIO REGULACIÓN Esta evaluación es de tipo social y tiene como metodología el análisis de Marco Lógico, mientras que la recolección de datos e información se basó en el trabajo de gabinete y en el trabajo de campo realizando entrevistas a actores claves para la implementación del Programa. Para el trabajo realizado durante la evaluación, intervinieron tanto la consultora privada como personal del Instituto. Para determinar si el diseño del Programa fuera coherente, se buscó responder a una serie de 27 preguntas que había diseñado el CONEVAL y que permitirían determinar dicho grado de coherencia y alineación. Dichos reactivos buscan encontrar básicamente: 1) Si hay una identificación precisa del problema a resolver. 2) Si existe un diagnóstico adecuado sobre la problemática. 3) Si el fin y propósito planteados para el Programa son precisos. 4) Si existe una coherencia con planes y programas más amplios (dependencias, sectoriales, nacionales). 5) Si cuenta con una Matriz de Indicadores. 6) Si las actividades son suficientes y necesarias para producir cada uno de los componentes del Programa. 7) Si los componentes son a su vez necesarios y suficientes para lograr el Propósito. 8) Si el Propósito contribuye a alcanzar el Fin. 9) Si existen indicadores estratégicos y de gestión. 10) Si los indicadores son claros, relevantes, económicos, monitoreables y adecuados. 11) Si tienen identificada su línea basal, temporalidad y medios de verificación los indicadores. 12) Si están claramente definidas las poblaciones que presentan el problema a resolver y si la población objetivo esta definido y cuantificada. 13) Si existe una justificación adecuada que respalde la selección de esa población potencial y objetivo. 14) Si el Fin y el Propósito corresponden a la solución del problema. Comisión Federal de Mejora Regulatoria 5 DIPLOMADOS COFEMER/LATIN-REG Documento reservado para uso interno de los servidores públicos de la COFEMER INTRODUCCIÓN A LA EVALUACIÓN DE IMPACTO REGULATORIO REGULACIÓN A partir del análisis de la evidencia documental revisada y de la obtenida a partir de la aplicación de entrevistas a actores clave, se logró identificar el grado de cumplimiento a cada uno de los reactivos planteados como eje de la evaluación de diseño. Entre las principales conclusiones y recomendaciones expedidas se encuentran: a) Existe una coherencia y claridad en las definiciones del Programa respecto del Fin, al igual que la Matriz de Indicadores cumple con las disposiciones planteadas por la Secretaría de Hacienda y Crédito Público. Mientras que la población potencial y objetivo está claramente definida, caracterizadas y cuantificadas, en este caso son las 32 instancias de mujeres de las Entidades Federativas. Mientras que respecto de la justificación para direccionar los beneficios a dichas poblaciones se consideró que era plena y adecuada. b) Se recomendó solventar algunas deficiencias entorno a la elaboración de un diagnóstico integral de la problemática, igualmente se sugirió adicionar al Propósito la promoción de políticas públicas con perspectiva de género en los niveles estatales. Por otra parte, se consideró necesario redireccionar los apoyos a aquellos proyectos que tengan como propósito fortalecer temas estratégicos del Programa. 2. Proyecto de la planta de tratamiento de aguas residuales “El Morro”, Municipio de Soledad de Graciano Sánchez, San Luis Potosí5 Proyecto consistente en la construcción de una Planta de Tratamiento de Aguas Residuales con una capacidad de 750l/s, con tres módulos de 250l/s cada uno, así como su sistema de colectores y PTAR El Morro, emisores que serán totalmente entubados. La planta será de lodos activados convencionales con pre tratamiento (desbaste, desarenado y desengrasado), tratamiento primario (sedimentación primaria), tratamiento secundario (lodos activados con nitrificación y desnitrificación y sedimentación secundaria), y desinfección. Todo esto con una inversión estimada de 334.7 millones de pesos6. El análisis de costo y beneficio para este proyecto se ubica en el contexto de la zona conurbada de San Luis Potosí en el año de 2007, la cual contaba con alrededor de 940,000 habitantes. El problema que pretendía atender este proyecto era la incapacidad de las plantas que operaban en la zona para tratar la totalidad del agua residual cruda generada. Esto tenía consecuencias ambientales debido a la descarga de agua residual sobre los cuerpos receptores, además de que no permitía atender la demanda de agua tratada por parte del sector industrial para que fuera utilizada en sustitución al agua de primer uso. 5 Comisión Estatal del Agua de San Luis Potosí, Evaluación socioeconómica del proyecto de la planta de tratamiento de aguas residuales “El Morro”, Municipio de Soledad de Graciano Sánchez, San Luis Potosí. México, 2008. 6 http://www.fonadin.gob.mx/work/sites/fni/resources/LocalContent/461/18/PTAR_ElMorro_SLP.pdf Comisión Federal de Mejora Regulatoria 6 DIPLOMADOS COFEMER/LATIN-REG Documento reservado para uso interno de los servidores públicos de la COFEMER INTRODUCCIÓN A LA EVALUACIÓN DE IMPACTO REGULATORIO REGULACIÓN El proyecto presentado consistía en la construcción de una planta de tratamiento de aguas residuales con una capacidad total para tratar 750 litros por segundo, además de obras complementarias como la construcción de varios colectores para conducir el agua a la planta así como de emisores para colocar el agua tratada en los puntos de reúso industrial. Los costos de inversión asociados a esos conceptos representaban la mayor parte de los costos del proyecto, adicionalmente se consideraron costos fijos y variables por la operación de la nueva infraestructura así como costos de supervisión. Todos estos recursos se consideraron parte de los costos del proyecto debido a que al ser empleados por este, no pueden utilizarse en la producción de otros bienes y servicios distintos a los que ofrece el proyecto. En lo referente a los beneficios del proyecto, fue identificado un importante ahorro en el agua de primer uso, debido a que con la construcción de la planta de tratamiento se permite la sustitución de esta por agua tratada, lo que libera el agua para otros usos y posibilita un ahorro en costos de captación. Por otra parte se identifican los beneficios indirectos del proyecto, que son aquellos que se presentan en mercados diferentes al del bien o servicio que genera el proyecto, en este caso los beneficios identificados se presentan principalmente en los sectores agrícola e industrial: a) En el sector agrícola el principal beneficio se asocia a que el cambio en la calidad del agua permite cumplir con las normas relevantes para poder realizar un cambio de cultivos que anteriormente estaban restringidos y que otorgan una mayor rentabilidad. El análisis de costos y beneficios contempla que de manera gradual en un periodo de 6 años, 1/3 de la superficie que se destinaba al cultivo de alfalfa fuera sustituida por cultivos más rentables. Además consideraba otros beneficios adicionales, debido a que al ser sustituidos los cultivos por otros que requieren menos agua, se haría posible ampliar la superficie de riego, incorporando aproximadamente 2 hectáreas. b) En el sector industrial, el proyecto de tratamiento de aguas residuales permite atender la demanda de agua tratada por parte de la industria, de esta manera se produce una modificación en los procesos productivos de este sector ya que el proyecto permite que puedan generar bienes y servicios a un costo menor. c) El análisis identifica las externalidades generadas por el proyecto, las cuales están relacionadas con el medio ambiente: el primero de estos efectos se refiere a la eliminación de las externalidades por descargas a cielo abierto debido a que el proyecto contemplaba la construcción de colectores que permitirían la clausura de canales a cielo abierto, eliminando de esta forma las molestias para los habitantes de las zonas en donde estos se ubicaban lo cual se reflejaría en la plusvalía de los terrenos aledaños, revelando así el valor que la sociedad asigna al servicio ambiental, en este caso a respirar aíre más limpio. Existe otra externalidad positiva y que se vincula con disminución de la presión sobre los cuerpos de agua, ya que Comisión Federal de Mejora Regulatoria 7 DIPLOMADOS COFEMER/LATIN-REG Documento reservado para uso interno de los servidores públicos de la COFEMER INTRODUCCIÓN A LA EVALUACIÓN DE IMPACTO REGULATORIO REGULACIÓN el proyecto permite que se disminuyan las necesidades de extracción, igualmente se reduce la descarga sobre cuerpos receptores. Debido a la dificultad que plantea la valoración de bienes ambientales, para efectos de este análisis este concepto fue únicamente abordado a nivel de beneficio intangible. Comisión Federal de Mejora Regulatoria 8 DIPLOMADOS COFEMER/LATIN-REG Documento reservado para uso interno de los servidores públicos de la COFEMER Actividades7: INTRODUCCIÓN A LA EVALUACIÓN DE IMPACTO REGULATORIO REGULACIÓN 1. Identifique a qué tipo de evaluación, según la etapa del proyecto o iniciativa, corresponde cada uno de los ejemplos planteados. 2. ¿Qué tipo de evaluación es la del segundo caso según el evaluador? 3. ¿Con qué tipo o tipos de herramientas de evaluación hubiera podido ser posible determinar los beneficios o costos ambientales del tercer caso? 4. Según el método de análisis, ¿cuál o cuáles fueron utilizados para evaluar el primer caso? Referencias: Comisión Estatal del Agua de San Luis Potosí, Evaluación socioeconómica del proyecto de la planta de tratamiento de aguas residuales “El Morro”, Municipio de Soledad de Graciano Sánchez, San Luis Potosí. México, 2008. Evaluación de Efectos del Sistema de Protección Social en Salud, http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/EVAL_I MPAC_2007_2011/Salud_2008.es.do Evaluación en materia de diseño del programa: Fortalecimiento a la Transversalidad de la Perspectiva de Género http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/EVAL_ DISENO/inmujeres_2010.es.do http://www.fonadin.gob.mx/work/sites/fni/resources/LocalContent/461/18/PTAR_El Morro_SLP.pdf 7 La contestación de las preguntas planteadas en esta sección es voluntaria (no serán calificadas) pero muy recomendable, ya que puede ayudarle significativamente como guía de estudios. Comisión Federal de Mejora Regulatoria 9
© Copyright 2024