1. No category

ANEXO 5
EVALUACIÓN DE EFICACIA DE LOS RESULTADOS DE LA IMPLEMENTACION DEL PROGRAMA
FAMILIAS FUERTES
DOCUMENTO TÉCNICO BASE PARA LA EVALUACIÓN.
ANTECEDENTES
De acuerdo con la Política Nacional de Reducción del Consumo de Sustancias Psicoactivas (SPA) del
2007 y su impacto, para abordar el fenómeno del consumo de SPA es necesario intervenir los
factores macrosociales, microsociales y personales que aumentan la vulnerabilidad al consumo de
SPA, para así contribuir a reducir su incidencia.
En el nivel macrosocial se sugiere implementar acciones que promuevan el desarrollo social, pues
se ha evidenciado que crecer y desarrollarse en un ambiente prosocial y recompensante ayuda a
disminuir la demanda de drogas. En el nivel microsocial el PNRSPA recomienda trabajar en
factores de riesgo y de protección desde los ámbitos de socialización más significativos para la
persona, entre los que se encuentran la familia, la escuela, el grupo de pares y la comunidad. En el
nivel personal, se hace énfasis en el desarrollo personal y de resiliencia, así como en la creación de
redes de información y servicios.
En línea con la Política Nacional, en 2014 se formuló el Plan Nacional de Promoción de la Salud,
Prevención y Atención del Consumo de SPA 2014 - 2021, que tiene dentro de sus premisas la
“acción basada en la evidencia”. Por ello, el Gobierno nacional está implementando el Programa
Familias Fuertes: Amor y Límites, el cual fue adaptado del Programa Iowa Strengthening Families
(ISFP), desarrollado en 1992 por el Centro para Estudios Sociales de la Universidad del Estado de
IOWA. Como resultado de la revisión de las evaluaciones realizadas a varios programas de
prevención del uso de drogas en Estados Unidos, el Programa Familias Fuertes fue acogido por
OPS/OMS y UNODC para ser utilizado en otras regiones, entre ellas América Latina. Anexo 1
(Manual del Programa).
El Programa Familias Fuertes está dirigido a padres y madres con hijos entre los 10 y 14 años de
edad y busca el desarrollo de habilidades en los padres, los adolescentes y la familia como un
todo, la reducción de factores de riesgo relacionados con la familia y la promoción de factores de
protección tanto para adolescentes como para sus padres o cuidadores.
Cuenta con una estructura de siete sesiones que se apoyan en recursos como manuales de
enseñanza, videos, dinámicas y prácticas individuales y de grupo. Dentro de las temáticas que se
abordan se encuentran:
• Uso de amor y límites
• Establecimiento de reglas en el hogar
• Fomento de la buena conducta / Afrontamiento del estrés
• Uso de las consecuencias
• Establecimiento de vínculos / Presión de grupo
• Protección de conductas de riesgo
• Conexiones con la comunidad
El programa ha sido diseñado para llegar a la población general y es apropiado para padres y
adolescentes de todos los niveles educativos. Familias Fuertes ha sido adoptado en varios países
de la región con el acompañamiento de OPS/OMS y UNODC.
Aunque el programa se introdujo al país desde el año 2012, fue en 2015 cuando el Ministerio de
Justicia y del Derecho y el Ministerio de Salud y Protección Social, acordaron aunar esfuerzos en
torno a la prevención del consumo de drogas, a través de la ampliación de la cobertura del
Programa Familias Fuertes. En ese sentido, se realizó un proceso de entrenamiento de
facilitadores del programa (180 facilitadores) y la implementación en diez (10) territorios del país,
con 18 facilitadores por región, beneficiando un total de 1.682 familias. Así las cosas, este
Programa se constituye en la principal apuesta del Gobierno nacional para trabajar la prevención
del consumo de drogas en el ámbito familiar, dadas sus fortalezas técnicas y la evidencia de sus
efectos.
De otra parte, actualmente los países Andinos son parte del proyecto de cooperación
internacional de “Apoyo a la Reducción de la Demanda de Drogas Ilícitas en la Comunidad Andina
– PREDEM, financiado por la Unión Europea. PREDEM es coordinado en Colombia por el Ministerio
de Justicia y del Derecho, en estrecha colaboración con el Ministerio de Salud y Protección Social y
UNODC. Dentro de las acciones programadas en el marco del PREDEM se contemplan recursos
para apoyar el Programa Familias Fuertes en los cuatro países Andinos. Para el caso de Colombia,
estos recursos se destinaran al proceso de evaluación del Programa Familias Fuertes en los 10
territorios abordados en 2015.
Este proceso riguroso de evaluación permitirá evidenciar los efectos del programa en territorios
como: Arauca- Arauca, Armenia - Quindío, Barranquilla - Atlántico, Cartagena - Bolívar, Chachagüi Nariño, Los patios - Norte de Santander, Rosas - Cauca, Líbano - Tolima, Roldanillo - Valle del Cauca
y Villavicencio – Meta.
Los resultados de la evaluación del Programa permitirán contar con insumos fundamentales para
la toma de decisiones de política y contar con evidencia sobre la efectividad de este programa de
prevención en el país, tema que se identifica como un vacío en el contexto nacional y regional.
El desarrollo de la evaluación deberá basarse en la aplicación de un postest de acuerdo con las
categorías seleccionadas en conjunto con el MJD y UNODC, a los (6) seis y (12) doce meses de
terminada la intervención a las familias control y las familias intervenidas seleccionadas a partir de
la muestra de las 1682 familias de 10 municipios del país, a las cuales se aplicaron pretest y
postest. Así mismo se deberá adelantar un componente cualitativo a través de grupos focales
OBJETIVO DE LA EVALUACIÓN
Realizar una evaluación de eficacia de los resultados de la implementación del Programa Familias
Fuertes: Amor Límites, en los diez territorios del país en los que se desarrolla el programa (AraucaArauca, Armenia - Quindío, Barranquilla - Atlántico, Cartagena - Bolívar, Chachagüí - Nariño, Los
patios - Norte de Santander, Rosas - Cauca, Líbano - Tolima, Roldanillo - Valle del Cauca y
Villavicencio - Meta), a los seis (6) y doce (12) meses de finalizada la implementación del mismo.
METODOLOGÍA
Diseño
Para la presente evaluación se utilizará un diseño pre-experimental, con una evaluación antes y
después del programa. Se pretende estudiar el impacto de los tratamientos y/o los procesos de
cambio en situaciones donde los sujetos o unidades de observación no han sido asignados de
acuerdo con un criterio aleatorio (ver Arnau, 1995)1.
Los cambios entre pre y post evaluación se atribuyen al efecto del programa. Sin embargo, tiene
problemas con la validez interna, ya que los cambios entre las dos evaluaciones pueden deberse a
cambios no relacionados con el programa (mortalidad experimental, selección de participantes,
efecto de completar el cuestionario, el deseo de complacer al investigador, etc.). Estos problemas
de validez son particularmente serios si el estudio fuera más largo, ya que se espera que los
adolescentes cambien su conducta por un efecto normal de maduración2.
Este análisis establece una medición previa a la intervención y otra posterior. Además, puede
incluir un grupo de comparación que no reciba la intervención y que se evalúa también antes y
después con el fin de medir otras variables externas que cambien el efecto esperado por razones
distintas a la intervención.
Muestra
De acuerdo a las familias con las que se finalizó proceso con el programa Familias Fuertes por
municipio y a las familias controles, se estableció una muestra de 381 evaluaciones postest a
aplicar en los 10 municipios como se puede ver en la tabla 1.
Tabla 1. Cálculo de la muestra
Municipios
Arauca
Líbano
Rosas
Roldanillo
Armenia
Villavicencio
1
Familias
Porcentaje
graduadas
190
188
187
165
175
165
11,04
10,92
10,87
9,59
10,17
9,59
Familias
Fuertes Controles Total
graduadas
26
25
25
22
23
22
15
15
15
15
15
15
41
40
40
37
38
37
Paula Fernández-García, Guillermo Vallejo-Seco, Pablo E. Livacic-Rojas y Ellián Tuero-Herrero. Validez Estructurada para una
investigación cuasi-experimental de calidad. Se cumplen 50 años de la presentación en sociedad de los diseños cuasi-experimentales.
Consulta http://scielo.isciii.es/scielo.php?pid=S0212-97282014000200039&script=sci_arttext.
2 Universidad de Georgia. Evaluación de Familias Fuertes en Tres Países de Latino América.2013.
Cartagena
Barranquilla
Patios
Chachagüí
159
9,24
21
173
10,05
23
155
9,01
21
164
9,53
22
Total
1721
100,00
231
Fuente. Gestión del Conocimiento –Área reducción del Consumo UNODC. 2015.
15
15
15
15
150
36
38
36
37
381
Técnicas de recolección de datos instrumentos y métodos de análisis
Pretest – postest
La evaluación de Familias Fuertes se basa en cuestionarios completados por los padres (88 item) y
los adolescentes (103 item) participantes en el programa, combinando los pre y post-test en una
base de datos única, con datos pareados por individuo según el código de identificación familiar.
Generando dos bases de datos una de padres y otra para hijos. Es importante aclarar que ya se
cuenta con una medición de pretest y postest aplicada por los operadores en cada territorio y que
los cuestionarios serán facilitados para su aplicación.
Se crearán escalas para medir constructos que evalúen relaciones familiares, para lo que se
agruparán ítems que serán conceptualmente coherentes y que estarán relacionados con el
modelo conceptual del Programa Familias Fuertes.
Para evaluar la consistencia interna de las escalas creadas se utilizará el coeficiente alfa de
Cronbach3 con los datos del pretest. Este valor indicará el grado de relación entre los ítems y será
trabajado en coordinación con el equipo de gestión del conocimiento del área de reducción del
consumo de UNODC y con el Ministerio de Justicia y del Derecho.
Por otra parte los cambios entre el pretest y postest se compararán con los promedios de escalas
usando la prueba de t para muestras apareadas, a partir de las bases de datos de pretest y postest
aplicados a las familias beneficiarias del Programa Familias Fuertes.
Es importante tener en cuenta que se debe aplicar nuevamente el pos test a jóvenes y padres a los
seis (6) y 12 meses de terminada la implementación del programa familias fuertes. Generando las
mismas bases y combinación de bases requeridas en el punto anterior.
Escalas de análisis
A continuación se pueden ver las agrupaciones de ítems de acuerdo a los constructos que se
evaluarán para padres y adolescentes (ver tabla 2 y 3).
Tabla 2. Constructos a evaluar – padres
Demuestra
amor
3
¿Ha dejado que su hijo/a note que verdaderamente se preocupa por él/ella?
¿Ha dejado que su hijo/a note que usted le aprecia a él/ella, a sus ideas y a las
Estos valores pueden fluctuar entre 0 y 1 pero se consideraran aceptables valores entre 0.70 y 0.95
cosas que hace?
¿Actuó de forma amorosa y afectiva hacia él/ella?
¿Gritó a su hijo/a porque estaba enojado/a con él/ella?
Demuestra
enojo
¿Le gritó o insultó cuando no estaban de acuerdo con su hijo/a?
¿Cuándo su hijo/a hizo algo mal, usted perdió los nervios o el control y le gritó?
Los padres poco pueden hacer para educar a los hijos frente al poder de la
escuela, los compañeros y la televisión.
Falta de
confianza rol
parental
Fuente. Evaluación de familias fuertes en tres países de Latinoamérica (anexo 1)
Tabla 3. Constructos a evaluar - adolescentes
Constructo
Relaciones positivas entre miembros de la familia
Familia comparte actividades cotidianas
Padres exigen cumplir las normas familiares positivas
Padres supervisan cumplimiento de normas familiares
Existe violencia en las relaciones familiares
Ítems
Ítems 7 a 17
Ítems 18 a 23
Ítems 27 a 35
Ítems 36 a 45
Ítems 46 a 52
Ítems 61 a 61, 68 a 69,
75 a 76
Padres desaprueban el uso tabaco, alcohol y drogas
Frecuencia con que los padres informan a los hijos sobre los peligros de
tabaco, alcohol y drogas
Ítems 82 al 85
Fuente. Evaluación de familias fuertes en tres países de Latinoamérica (anexo 6)
Análisis de documentos del Programa Familias Fuertes
Se deberá realizar revisión documental del contexto del Programa Familias Fuertes para el análisis
que se efectuará del programa.
Grupos focales
Se realizarán cinco (5) grupos focales, en la medida de facilitarse el contacto con las personas, de
la pertenencia que determinen los investigadores, el Ministerio de Justicia y del Derecho y UNODC,
teniendo en cuenta además los tiempos de ejecución de la evaluación.
Para el desarrollo de estas técnicas de recolección de datos se suministrará las preguntas
orientadoras a tener en cuenta por parte del Ministerio de Justicia y del Derecho y UNODC.
Indicadores
1) Porcentaje de padres intervenidos que mejoran sus habilidades parentales
Número de padres intervenidos que mejoran sus habilidades parentales/ Número de padres
intervenidos con siete sesiones de Familias Fuertes*100
2) Porcentaje de familias intervenidas que mejoran el Apgar Familiar
Número de familias intervenidas que mejoran el Apgar Familiar/ Número de familias intervenidas
con siete sesiones del programa*100
3) Porcentaje de adolescentes intervenidos que mejoran comunicación con sus padres
Número de adolescentes intervenidos que mejoran comunicación con sus padres / Número de
adolescentes intervenidos con siete sesiones de Familias Fuertes*100