1. No category

Diplomado en
Regulación
Introducción a la Evaluación
de Impacto Regulatorio
CASO DE ESTUDIO: TIPOS DE EVALUACIONES
DIPLOMADOS COFEMER/LATIN-REG
Documento reservado para uso interno de los servidores públicos de
la COFEMER
Aspectos Principales1:
INTRODUCCIÓN A LA EVALUACIÓN
DE IMPACTO REGULATORIO
REGULACIÓN
De acuerdo con la Ley General de Salud, “la protección social en salud es un mecanismo
por el cual el Estado garantizará el acceso efectivo, oportuno, de calidad, sin desembolso
al momento de utilización y sin discriminación a los servicios médico-quirúrgicos,
farmacéuticos y hospitalarios que satisfagan de manera integral las necesidades de salud,
mediante la combinación de intervenciones de promoción de la salud, prevención,
diagnóstico, tratamiento y de rehabilitación, seleccionadas en forma prioritaria según
criterios de seguridad, eficacia, costo, efectividad, adherencia a normas éticas
profesionales y aceptabilidad social”.
Sin embargo, y a pesar de la descripción plasmada en la norma, se podía observar que
una gran parte de la población no podía tener acceso a servicios de salud de manera
gratuita y que esto generaba grandes pérdidas patrimoniales a las familias en caso de que
algún integrante experimentara padecimientos catastróficos. Con la finalidad de resolver
esta problemática se implementó un sistema novedoso de protección social en salud.
El Sistema de Protección Social en Salud (SSPS) tiene un esquema tripartito de
financiamiento, en el que participan los gobiernos federal y estatal por cada familia
afiliada, y la cuota de los afiliados, que se determina en función de su capacidad de pago.
En este sentido, las familias de escasos recursos están exentas de la contribución familiar
o cuota.
Este Programa contempla al ejercicio de evaluación como una parte inherente de su
diseño y lo considera “…como mecanismo esencial para identificar las deficiencias en la
operación de este sistema y para identificar las prácticas positivas que debían ser
reiteradas. La evaluación constituye, además, un instrumento que facilita la rendición de
cuentas ante el poder legislativo, los medios de comunicación y, esencialmente, la
ciudadanía.”2
Como todos los programas de carácter social que emprende el Gobierno Federal, este
también tiene que someterse al ejercicio de evaluación para conocer su desempeño y
efectos. A la luz de lo anterior, el modelo de evaluación de impacto utilizado para este
Sistema, verifica en qué medida se está contribuyendo a alcanzar los objetivos básicos el
sistema de salud: garantizar la protección financiera en materia de salud, ofrecer un trato
adecuado a los usuarios y mejorar las condiciones de salud de la población.
Basado en el documento llamado “Evaluación de Efectos del Sistema de Protección Social en Salud” que
esta
disponible
en:
http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/EVAL_IMPAC_2007_2011/Salud_2
008.es.do
2 Ibídem.
1
Comisión Federal de Mejora Regulatoria
2
DIPLOMADOS COFEMER/LATIN-REG
Documento reservado para uso interno de los servidores públicos de
la COFEMER
INTRODUCCIÓN A LA EVALUACIÓN
DE IMPACTO REGULATORIO
REGULACIÓN
Desde el punto de vista del propio SPSS, esta evaluación tiene como objetivo “… analizar
en qué medida se están alcanzando las metas y objetivos (…), identificando los
elementos exitosos y detectando los problemas a fin de adecuar las estrategias de
operación y las políticas relacionadas con el mismo.”3
El diseño de la evaluación de impacto proviene originalmente de un grupo de
investigadores de la Universidad de Harvard, en colaboración con el Instituto Nacional de
Salud Pública y de la Secretaría de Salud. Mientras que el Instituto Nacional de Ciencias
Médicas y Nutrición “Salvador Zubirán” (INCMN) coordinó los esfuerzos para esta reciente
medición.
En el diseño se planteaba establecer una línea basal para el año 2005 (es decir identificar
un referente para realizar una comparación posterior), para después realizar
levantamientos de información que pudieran registrar los cambios experimentados por la
intervención del Sistema (en 2006 y 2008).
Este modelo de evaluación estableció dos grupos de comparación (control y de
intervención). Se cuidó que ambos tuvieran características similares en cuanto a
ubicación geográfica y relación con el centro de salud. Para el grupo de intervención se
difundió la afiliación al SPSS, además de que a sus centros de salud se les fortalecieron
los servicios según los lineamientos del sistema. Mientras que para el grupo de control, no
existieron campañas de afiliación ni tampoco el fortalecimiento de los servicios de salud
proporcionados en sus unidades.
Para el diseño de esta evaluación se consideraron inicialmente 12,284 conglomerados de
salud (población y unidad médica), posteriormente se seleccionaron 50 pares de
conglomerados de manera aleatoria en una primera etapa y otra de 29 pares en una
segunda etapa (esto con la finalidad de darle mayor representatividad a las zonas
urbanas), entre los cuales se obtendrán los grupos de intervención y de control.
El levantamiento de las encuestas para determinar el estado inicial de los individuos
pertenecientes a los grupos se realizó por un equipo de 160 encuestadores y 40 técnicos
de laboratorio, que sumados a los supervisores implicó un total de 230 personas
levantando la información en campo. El instrumento de aplicación fue un cuestionario de
más de 70 páginas y duró más de 12 semanas de levantamiento para la información.
Durante la realización de los cuestionarios se enfrentaron inconvenientes que pusieron en
riesgo la evolución de la evaluación, ya que entre otros casos no pudieron encontrar al
hogar seleccionado, hubo rechazo para responder la encuesta y por causa de la
inseguridad en algunas zonas fue imposible visitar sus conglomerados.
3
Ibídem.
Comisión Federal de Mejora Regulatoria
3
DIPLOMADOS COFEMER/LATIN-REG
Documento reservado para uso interno de los servidores públicos de
la COFEMER
INTRODUCCIÓN A LA EVALUACIÓN
DE IMPACTO REGULATORIO
REGULACIÓN
Estos cambios en el levantamiento de la información orillaron a que los evaluadores
modificaran la estrategia original de análisis. Para aquellos conglomerados en los que no
hubo pérdida de información se mantuvo el análisis agregado, mientras que para aquellos
en los que no se completaron las encuestas, se decidió analizar de manera desagregada
el resultado, es decir, a nivel hogar, e incluso a nivel individuo.
Para el caso de conglomerados, en general se optó por utilizar tratamientos que ayudaran
a minimizar las diferencias previas entre los grupos de comparación (sea que las
hayamos identificado o no), específicamente se aplicó el estimador de “diferencias en
diferencias”.
A la luz de los resultados observados, esta evaluación llegó a dos conclusiones
relevantes:
a) El sistema tiene efectivamente impactos en la reducción de gastos en salud para
los hogares que se afilian al sistema, lo que a su vez ha mejorado la cobertura
médica a padecimientos como la diabetes y la hipertensión.
b) El diseño de la evaluación debe ser modificado para los siguientes años, ya que
ha mostrado una gran pérdida de conglomerados de referencia (por
modificaciones poblacionales) y por el éxito de afiliación al Sistema (pasan de ser
no beneficiarios a beneficiarios).
1. Evaluación de Diseño del Programa de Fortalecimiento a la Transversalidad
de la Perspectiva de Género
Este Programa tiene como objetivo general contribuir a la institucionalización de la
perspectiva de género en las políticas públicas en las Entidades Federativas para lograr la
disminución de las brechas de desigualdad entre mujeres y hombres. Es operado por el
Instituto Nacional de las Mujeres (INMUJERES), y cuenta con la participación de sus
institutos equivalentes en las entidades federativas, mismos que se encargan de gestionar
recursos para la realización de estudios o proyectos que contribuyan a alcanzar los
objetivos del Programa.
Con la finalidad de realizar una valoración previa a la instrumentación del programa, se
decidió realizar un análisis de su diseño, que diera elementos para decidir sobre la
ejecución del mismo. Desde el propio punto de vista de esta evaluación de diseño, se
considera que “…ofrece un diagnóstico sobre la lógica y congruencia en el diseño de los
programas, su vinculación con la planeación sectorial y nacional, la consistencia entre el
diseño y la normatividad aplicable a los programas, la complementariedad o similitudes
entre ellos.”4
4
Evaluación en materia de diseño del programa: Fortalecimiento a la Transversalidad de la Perspectiva de
Génerohttp://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/EVAL_DISENO/inmujeres_
2010.es.do
Comisión Federal de Mejora Regulatoria
4
DIPLOMADOS COFEMER/LATIN-REG
Documento reservado para uso interno de los servidores públicos de
la COFEMER
INTRODUCCIÓN A LA EVALUACIÓN
DE IMPACTO REGULATORIO
REGULACIÓN
Esta evaluación es de tipo social y tiene como metodología el análisis de Marco Lógico,
mientras que la recolección de datos e información se basó en el trabajo de gabinete y en
el trabajo de campo realizando entrevistas a actores claves para la implementación del
Programa. Para el trabajo realizado durante la evaluación, intervinieron tanto la consultora
privada como personal del Instituto.
Para determinar si el diseño del Programa fuera coherente, se buscó responder a una
serie de 27 preguntas que había diseñado el CONEVAL y que permitirían determinar
dicho grado de coherencia y alineación. Dichos reactivos buscan encontrar básicamente:
1) Si hay una identificación precisa del problema a resolver.
2) Si existe un diagnóstico adecuado sobre la problemática.
3) Si el fin y propósito planteados para el Programa son precisos.
4) Si existe una coherencia con planes y programas más amplios (dependencias,
sectoriales, nacionales).
5) Si cuenta con una Matriz de Indicadores.
6) Si las actividades son suficientes y necesarias para producir cada uno de los
componentes del Programa.
7) Si los componentes son a su vez necesarios y suficientes para lograr el Propósito.
8) Si el Propósito contribuye a alcanzar el Fin.
9) Si existen indicadores estratégicos y de gestión.
10) Si los indicadores son claros, relevantes, económicos, monitoreables y adecuados.
11) Si tienen identificada su línea basal, temporalidad y medios de verificación los
indicadores.
12) Si están claramente definidas las poblaciones que presentan el problema a resolver y
si la población objetivo esta definido y cuantificada.
13) Si existe una justificación adecuada que respalde la selección de esa población
potencial y objetivo.
14) Si el Fin y el Propósito corresponden a la solución del problema.
Comisión Federal de Mejora Regulatoria
5
DIPLOMADOS COFEMER/LATIN-REG
Documento reservado para uso interno de los servidores públicos de
la COFEMER
INTRODUCCIÓN A LA EVALUACIÓN
DE IMPACTO REGULATORIO
REGULACIÓN
A partir del análisis de la evidencia documental revisada y de la obtenida a partir de la
aplicación de entrevistas a actores clave, se logró identificar el grado de cumplimiento a
cada uno de los reactivos planteados como eje de la evaluación de diseño. Entre las
principales conclusiones y recomendaciones expedidas se encuentran:
a) Existe una coherencia y claridad en las definiciones del Programa respecto del Fin, al
igual que la Matriz de Indicadores cumple con las disposiciones planteadas por la
Secretaría de Hacienda y Crédito Público. Mientras que la población potencial y
objetivo está claramente definida, caracterizadas y cuantificadas, en este caso son
las 32 instancias de mujeres de las Entidades Federativas. Mientras que respecto de
la justificación para direccionar los beneficios a dichas poblaciones se consideró que
era plena y adecuada.
b) Se recomendó solventar algunas deficiencias entorno a la elaboración de un
diagnóstico integral de la problemática, igualmente se sugirió adicionar al
Propósito la promoción de políticas públicas con perspectiva de género en los
niveles estatales. Por otra parte, se consideró necesario redireccionar los apoyos a
aquellos proyectos que tengan como propósito fortalecer temas estratégicos del
Programa.
2. Proyecto de la planta de tratamiento de aguas residuales “El Morro”,
Municipio de Soledad de Graciano Sánchez, San Luis Potosí5
Proyecto consistente en la construcción de una Planta de Tratamiento de Aguas
Residuales con una capacidad de 750l/s, con tres módulos de 250l/s cada uno, así como
su sistema de colectores y PTAR El Morro, emisores que serán totalmente entubados. La
planta será de lodos activados convencionales con pre tratamiento (desbaste, desarenado
y desengrasado), tratamiento primario (sedimentación primaria), tratamiento secundario
(lodos activados con nitrificación y desnitrificación y sedimentación secundaria), y
desinfección. Todo esto con una inversión estimada de 334.7 millones de pesos6.
El análisis de costo y beneficio para este proyecto se ubica en el contexto de la zona
conurbada de San Luis Potosí en el año de 2007, la cual contaba con alrededor de
940,000 habitantes. El problema que pretendía atender este proyecto era la incapacidad
de las plantas que operaban en la zona para tratar la totalidad del agua residual cruda
generada. Esto tenía consecuencias ambientales debido a la descarga de agua residual
sobre los cuerpos receptores, además de que no permitía atender la demanda de agua
tratada por parte del sector industrial para que fuera utilizada en sustitución al agua de
primer uso.
5
Comisión Estatal del Agua de San Luis Potosí, Evaluación socioeconómica del proyecto de la planta de
tratamiento de aguas residuales “El Morro”, Municipio de Soledad de Graciano Sánchez, San Luis Potosí.
México, 2008.
6 http://www.fonadin.gob.mx/work/sites/fni/resources/LocalContent/461/18/PTAR_ElMorro_SLP.pdf
Comisión Federal de Mejora Regulatoria
6
DIPLOMADOS COFEMER/LATIN-REG
Documento reservado para uso interno de los servidores públicos de
la COFEMER
INTRODUCCIÓN A LA EVALUACIÓN
DE IMPACTO REGULATORIO
REGULACIÓN
El proyecto presentado consistía en la construcción de una planta de tratamiento de
aguas residuales con una capacidad total para tratar 750 litros por segundo, además de
obras complementarias como la construcción de varios colectores para conducir el agua a
la planta así como de emisores para colocar el agua tratada en los puntos de reúso
industrial. Los costos de inversión asociados a esos conceptos representaban la mayor
parte de los costos del proyecto, adicionalmente se consideraron costos fijos y variables
por la operación de la nueva infraestructura así como costos de supervisión. Todos estos
recursos se consideraron parte de los costos del proyecto debido a que al ser empleados
por este, no pueden utilizarse en la producción de otros bienes y servicios distintos a los
que ofrece el proyecto.
En lo referente a los beneficios del proyecto, fue identificado un importante ahorro en el
agua de primer uso, debido a que con la construcción de la planta de tratamiento se
permite la sustitución de esta por agua tratada, lo que libera el agua para otros usos y
posibilita un ahorro en costos de captación.
Por otra parte se identifican los beneficios indirectos del proyecto, que son aquellos que
se presentan en mercados diferentes al del bien o servicio que genera el proyecto, en
este caso los beneficios identificados se presentan principalmente en los sectores agrícola
e industrial:
a) En el sector agrícola el principal beneficio se asocia a que el cambio en la calidad
del agua permite cumplir con las normas relevantes para poder realizar un cambio
de cultivos que anteriormente estaban restringidos y que otorgan una mayor
rentabilidad. El análisis de costos y beneficios contempla que de manera gradual
en un periodo de 6 años, 1/3 de la superficie que se destinaba al cultivo de alfalfa
fuera sustituida por cultivos más rentables. Además consideraba otros beneficios
adicionales, debido a que al ser sustituidos los cultivos por otros que requieren
menos agua, se haría posible ampliar la superficie de riego, incorporando
aproximadamente 2 hectáreas.
b) En el sector industrial, el proyecto de tratamiento de aguas residuales permite
atender la demanda de agua tratada por parte de la industria, de esta manera se
produce una modificación en los procesos productivos de este sector ya que el
proyecto permite que puedan generar bienes y servicios a un costo menor.
c) El análisis identifica las externalidades generadas por el proyecto, las cuales están
relacionadas con el medio ambiente: el primero de estos efectos se refiere a la
eliminación de las externalidades por descargas a cielo abierto debido a que el
proyecto contemplaba la construcción de colectores que permitirían la clausura de
canales a cielo abierto, eliminando de esta forma las molestias para los habitantes
de las zonas en donde estos se ubicaban lo cual se reflejaría en la plusvalía de los
terrenos aledaños, revelando así el valor que la sociedad asigna al servicio
ambiental, en este caso a respirar aíre más limpio. Existe otra externalidad positiva
y que se vincula con disminución de la presión sobre los cuerpos de agua, ya que
Comisión Federal de Mejora Regulatoria
7
DIPLOMADOS COFEMER/LATIN-REG
Documento reservado para uso interno de los servidores públicos de
la COFEMER
INTRODUCCIÓN A LA EVALUACIÓN
DE IMPACTO REGULATORIO
REGULACIÓN
el proyecto permite que se disminuyan las necesidades de extracción, igualmente
se reduce la descarga sobre cuerpos receptores. Debido a la dificultad que plantea
la valoración de bienes ambientales, para efectos de este análisis este concepto
fue únicamente abordado a nivel de beneficio intangible.
Comisión Federal de Mejora Regulatoria
8
DIPLOMADOS COFEMER/LATIN-REG
Documento reservado para uso interno de los servidores públicos de
la COFEMER
Actividades7:
INTRODUCCIÓN A LA EVALUACIÓN
DE IMPACTO REGULATORIO
REGULACIÓN
1. Identifique a qué tipo de evaluación, según la etapa del proyecto o iniciativa,
corresponde cada uno de los ejemplos planteados.
2. ¿Qué tipo de evaluación es la del segundo caso según el evaluador?
3. ¿Con qué tipo o tipos de herramientas de evaluación hubiera podido ser posible
determinar los beneficios o costos ambientales del tercer caso?
4. Según el método de análisis, ¿cuál o cuáles fueron utilizados para evaluar el
primer caso?
Referencias:

Comisión Estatal del Agua de San Luis Potosí, Evaluación socioeconómica del
proyecto de la planta de tratamiento de aguas residuales “El Morro”, Municipio de
Soledad de Graciano Sánchez, San Luis Potosí. México, 2008.

Evaluación de Efectos del Sistema de Protección Social en Salud,
http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/EVAL_I
MPAC_2007_2011/Salud_2008.es.do

Evaluación en materia de diseño del programa: Fortalecimiento a la
Transversalidad
de
la
Perspectiva
de
Género
http://www.coneval.gob.mx/cmsconeval/rw/pages/evaluacion/evaluaciones/EVAL_
DISENO/inmujeres_2010.es.do

http://www.fonadin.gob.mx/work/sites/fni/resources/LocalContent/461/18/PTAR_El
Morro_SLP.pdf
7
La contestación de las preguntas planteadas en esta sección es voluntaria (no serán calificadas) pero muy
recomendable, ya que puede ayudarle significativamente como guía de estudios.
Comisión Federal de Mejora Regulatoria
9