eeec tutorial de evaluacion de resultados

ESQUEMA DE
DE EVALUACION
EVALUACION
ESQUEMA
EXTERNA DE
DE LA
LA CALIDAD
CALIDAD
EXTERNA
CONFORMEAAISO
ISO/IEC
/IEC17043:2010
17043:2010
CONFORME
FOR.SGC.38. VERSION 6.0 2015
FOR.SGC.38. VERSION 6.0 2015
EVALUACION DE
DE RESULTADOS
RESULTADOS
EVALUACION
DR. ARTURO
ARTURO MANLIO
MANLIO TERR
TERRÉS
SPEZIALE
DR.
ÉS SPEZIALE
México
M
éxico
www.qualitat.cc
[email protected]
www.qualitat.cc
[email protected]
EVALUACION EXTERNA DE LA CALIDAD
www.qualitat.cc
[email protected]
LA RELEVANCIA MEDICA ES LA PREMISA FUNDAMENTAL
EN EL GESTION DE CALIDAD DEL LABORATORIO CLINICO
www.qualitat.cc
[email protected]
VARIABILIDAD TOTAL
VT =
VB
2
2
+ VA
SESGO : IDS
VT
VA
www.qualitat.cc
[email protected]
VB
VARIABILIDAD TOTAL
2
VT =
VA = Variabilidad Analítica
www.qualitat.cc
[email protected]
VB
+
2
VA
VT = Variabilidad Total
VB = Variabilidad Biológica
LA VARIABILIDAD ANALITICA
DEBE SER MENOR QUE LA BIOLOGICA
CONTROL DE CALIDAD = VA < VB
VARIACION ANALITICA
www.qualitat.cc
[email protected]
VARIACION BIOLOGICA
CVR==COEFICIENTE
COEFICIENTEDE
DEVARIACION
VARIACIONRELATIVO
RELATIVO
CVR
CVa%
%/ /CVb
CVb%
%
CVa
CUANDOESTA
ESTAUN
UNMETODO
METODOEN
ENCONTROL?
CONTROL?
¿¿CUANDO
VARIABILIDAD
VARIABILIDAD
BIOLOGICA
BIOLOGICA
R:Cuando
Cuandola
laVA
VA <<VB:
VB:
R:
www.qualitat.cc
[email protected]
X
X
VARIABILIDAD
VARIABILIDAD
ANALITICA
ANALITICA
CVR <<1.0
1.0
CVR
VARIABILIDAD ANALITICA
www.qualitat.cc
[email protected]
EN TODA MEDICION SIEMPRE EXISTE CIERTO
GRADO DE VARIABILIDAD
www.qualitat.cc
[email protected]
EXACTITUD = VERACIDAD + PRECISION
ERROR TOTAL = SESGO + IMPRECISION
•
Precisión: Depende buen mantenimiento
del equipo y se verifica en el Programa
Interno de Control de Calidad calculando
el CV% que es el Coeficiente de Variación
Porcentual.
•
Veracidad: Depende de una buena
calibración y se verifica midiendo el sesgo
en el EEEC calculando Bias % y SDI que
es el Índice de Desviación Estándar.
•
Exactitud : La confiabilidad de una prueba
es el resultado de la suma de Precisión y
Veracidad
•
Error Total: Es la resultante de la suma
de la imprecisión más el sesgo.
SESGO
www.qualitat.cc
[email protected]
METAS ANALITICAS
META:MANTENER
MANTENERLA
LAVARIABILIDAD
VARIABILIDADANALITICA
ANALITICA
META:
ENCONTROL
CONTROL
EN
VARIACIONANALITICA
ANALITICA
VARIACION
6S
6S
VARIACIONBIOLOGICA
BIOLOGICA
VARIACION
Aspen
Aspen
Tonks
Tonks
-2ds
-2ds
www.qualitat.cc
[email protected]
-1ds
-1ds
+1ds
+1ds
+2ds
+2ds
www.qualitat.cc
www.qualitat.cc
[email protected]
[email protected]
METAS ANALITICAS
4 SIGMA = 1 DS = TONKS
5 SIGMA = ½ DS = ASPEN
6 SIGMA= 1/6 DS = SIX SIGMA
APLICABILIDAD EN EL CONTROL INTERNO
4S : Pruebas Manuales
5S : Pruebas Semi automatizadas
6S : Sistemas Automatizados
CONSULTE LA
LA TABLA
TABLA DE
DE METAS
METAS ANALITICAS
ANALITICAS
CONSULTE
EN www.qualitat.cc
www.qualitat.cc // metas
metas
EN
www.qualitat.cc
[email protected]
METAS ANALITICAS
www.qualitat.cc
[email protected]
TRAZABILIDAD ANALITICA
"LA PRINCIPAL DIFERENCIA ENTRE LOS PROGRAMAS DE EVALUACION EXTERNA
EXTERNA DE LA CALIDAD
DESARROLLADOS CONFORME A ISO /IEC 17043:2010 Y LOS QUE UTILIZABAMOS
UTILIZABAMOS EN EL PASADO
DEPENDE FUNDAMENTALMENTE DE QUE EN LOS PREVIOS EL VALOR ASIGNADO
DEPENDIA DEL CONSENSO DE RESULTADOS EMITIDOS POR LOS PARTICIPANTES
PARTICIPANTES
DENTRO DE CADA GRUPO DE TRABAJO EN CADA CICLO,
MIENTRAS QUE EN LA ACTUALIDAD DAMOS UNA MAYOR IMPORTANCIA A LA
TRAZABILIDAD Y A LA VALIDACION DE LOS VALORES ASIGNADOS"
- CONSENSO INTRAGRUPAL NO ES SINÓ
SINÓNIMO DE CONFORMIDAD -
PARA MAS INFORMACION CONSULTA
www.qualitat.cc/trazabilidad
www.qualitat.cc
[email protected]
CONTROLES CERTIFICADOS
www.qualitat.cc
[email protected]
INCERTIDUMBRE DEL VALOR ASIGNADO
El Error Estándar de la Media equivale al nivel Six Sigma cuando
la muestra contiene 36 datos
DS
10
N
36
RAIZ
6
ES=ERROR ESTÁNDAR
Incertidumbre de la Media
ES = DS / RA IZ n
www.qualitat.cc
[email protected]
ESM
1.7
INCERTIDUMBRE DEL VALOR ASIGNADO
DS
10
10
10
10
10
10
N
49
36
25
16
9
4
RAIZ
7
6
5
4
3
2
ESM
1.4
1.7
2.0
2.5
3.3
5.0
La incertidumbre será menor mientras mayor sea la magnitud de la N
ES=ERROR ESTÁNDAR
Incertidumbre de la Media
ES = D S / RAIZ n
www.qualitat.cc
[email protected]
EVALUACION DE RESULTADOS
CONSTA DE 4 GRUPOS
1: PARAMETRIZACION
2: VARIABILIDAD BIOLOGICA
3: METAS ANALITICAS
4: EVALUACION DEL DESEMPEÑO
www.qualitat.cc
[email protected]
EVALUACION DE RESULTADOS
www.qualitat.cc
[email protected]
CONSTA DE 23 ELEMENTOS
PARAMETRIZACION
www.qualitat.cc
[email protected]
VARIABILIDAD BIOLOGICA
www.qualitat.cc
[email protected]
METAS ANALITICAS
www.qualitat.cc
[email protected]
VALOR ASIGNADO
VALORASIGNADO
ASIGNADO
VALOR
MODOA:
A:TRAZABLE
TRAZABLE::INTERSISTEMAS
INTERSISTEMAS
MODO
MODOB:
B:CONSENSO:
CONSENSO:INTRAGRUPAL
INTRAGRUPAL
MODO
X
MODO A: EVALUACION AUTOMATICA
MODO A: EVALUACION AUTOMATICA
CUANDO EL PIV > 100 SE PROCEDE A
CUANDO EL PIV > 100 SE PROCEDE A
MODO B: CONSENSO MENSUAL
MODO B: CONSENSO MENSUAL
La vigilancia mensual y anual de la trazabilidad valida homogeneidad y estabilidad del control
La vigilancia mensual y anual de la trazabilidad valida homogeneidad y estabilidad del control
www.qualitat.cc
[email protected]
EVALUACION DE DESEMPEÑO
www.qualitat.cc
[email protected]
DELTA SCORE
SCORE
DELTA
VALOR ASIGNADO
VALOR REPORTADO
3 DS
X
www.qualitat.cc
[email protected]
LIMITES DE REFERENCIA
T SCORE
INDICE DE DESVIACION ESTÁNDAR
T=
RESULTADO
VALOR
ASIGNADO
-
MEDIANA DEL RANGO
VALOR OBSERVADO
DESVIACIÓN ESTÁNDAR
DSB BIOLOGICA
[ 90.0 mg/dL – 80.0 mg/dL] / 10.8 mg/dL = 0.9 DS
X
-1 SD
Esta Prueba Sirve Para Ubicar Un
Resultado Dentro De Los Limites De Referencia
En Función De La Curva De Gauss
+ 1DS
-2 SD
+ 2SD
-3 SD
+3 SD
T = IDS = 0.9
68%
95%
99.7
Límites de Referencia
www.qualitat.cc
[email protected]
DELTA SCORE
ENLA
LACURVA
CURVADE
DEGAUSS
GAUSS
EN
Dondese
seubica
ubicaelelresultado
resultadodel
del
¿¿Donde
reportadopor
porelellaboratorio?
laboratorio?
reportado
R.En
Enla
lacolumna
columnaPP==0.9
0.9DS
DS
R.
Dondese
seubica
ubicaelelvalor
valor
¿¿Donde
Asignadoalalcontrol?
control?
Asignado
R.En
Enla
lacolumna
columnaRR==0.6
0.6DS
DS
R.
DeltaScore
Score==0.9
0.9––0.6
0.6==0.3
0.3
Delta
www.qualitat.cc
[email protected]
EVALUACION DEL SESGO
Bias
Bias==%
%de
deError
Error==Sesgo
Sesgo
[[Valor
ValorObservado
Observado//Valor
ValorAsignado
Asignado]]--11XX100
100
Mientrasmas
masbajo
bajosea
seael
el %
%del
del Bias
Bias
Mientras
mayor ser
será
laveracidad
veracidaddel
delm
método
mayor
á la
étodo
www.qualitat.cc
[email protected]
ERROR TOTAL
ET%: :TODOS
TODOSLOS
LOSRESULTADOS
RESULTADOS
ET%
QUEEMITEN
EMITEN LOS LABORATORIO
QUE
www.qualitat.cc LOS LABORATORIO
TIENEN
BIAS%++CVa%
CVa%
TIENEN BIAS%
[email protected]
EMT%: :ERROR
ERRORMAXIMO
MAXIMOTOLERABLE
TOLERABLE
EMT%
CVb%++CVa%
CVa%
CVb%
ERROR TOTAL
OBSERVEQUE
QUEEN
ENEL
ELEJEMPLO
EJEMPLOUN
UN4%
4%DE
DEBIAS
BIAS
OBSERVE
CORRESPONDEAAUN
UN20%
20%DEL
DELERROR
ERRORMAXIMO
MAXIMO
CORRESPONDE
TOLERABLE
TOLERABLE
www.qualitat.cc
[email protected]
PIV = PROMEDIO DEL INDICE DE VARIANZA
ELINDICE
INDICEDE
DEVARIANZA
VARIANZACALCULADO
CALCULADOCORRESPONDE
CORRESPONDE
EL
AL%
%DE
DEERROR
ERRORTOTAL
TOTALEN
ENRELACION
RELACIONAL
ALERROR
ERRORMAXIMO
MAXIMO
AL
TOLERABLE%
%
TOLERABLE
EMT%
%
EMT
ET%
%
ET
www.qualitat.cc
[email protected]
NIVEL SIGMA
www.qualitat.cc
[email protected]
NIVELES DE CONFIABILIDAD
PIV
PIV
Esproporcional
proporcionalaa
Es
Lamagnitud
magnitudrelativa
relativade
delala
La
VariabilidadAnalítica
Analítica
Variabilidad
conrelación
relaciónaalala
con
VariabilidadBiológica
Biológica
Variabilidad
www.qualitat.cc
[email protected]
CONFIABILIDAD INTEGRADA
www.qualitat.cc
[email protected]
•
Precisión: Se verifica en el PICC.
Programa Interno de Control de Calidad
calculando CVa%
•
Veracidad: Se verifica en el EEEC.
Esquema de Evaluación Externa de la
Calidad midiendo Bias % y SDI
NIVELES DE CONFIABILIDAD
Tonks = Sigma 4
www.qualitat.cc
[email protected]
PIV
4,192 PROGRAMAS
3S
4S
www.qualitat.cc
[email protected]
CONFIABILIDAD INTEGRADA
•
Precisión: Se verifica en el PICC. Programa Interno de Control de Calidad
•
Veracidad: Se verifica en el EEEC. Esquema de Evaluación Externa de la Calidad
•
Exactitud: La Confiabilidad es la suma de Precisión y Exactitud
•
Error Total: Es la resultante de la falta de Precisión y de Exactitud combinadas.
•
Confiabilidad Integrada: Cada laboratorio debe calcular su CVR para poder
integrar los resultados de su PICC con los del EEEC utilizando la calculadora
sigmametrics que se presenta en la siguiente página y que se encuentra
disponible en nuestro portal de Internet.
ACCESA LA CALCULADORA SIGMAMETRICS
www.qualitat.cc/herramientas
www.qualitat.cc
[email protected]
www.qualitat.cc/herramientas
www.qualitat.cc
[email protected]
PRUEBAS CUALITATIVAS
CONTROLAR LAS UNIDADES DE REPORTE
Captura de resultados cualitativos en forma numérica
Positivo = 1.0 ( incluye la sensibilidad en el antibiograma )
Incierto = 0.50 ( incluye la zona gris en inmuno métodos )
Negativo = 0.01 ( incluye la resistencia en el antibiograma )
No valorado = 0.00 ( cuando se deja un resultado en blanco equivale a esta cifra )
www.qualitat.cc
[email protected]
Sensibilidad = Probabilidad de prueba (+) en presencia de enfermedad
Especificidad = Probabilidad de prueba ( - ) en ausencia de enfermedad
www.qualitat.cc
[email protected]
PRUEBAS CUALITATIVAS
A Nombre del Analito
B Unidad de Medición
C Resultado del Laboratorio
D Limite de Referencia Mínimo ( - 2ds)
E Límite de Referencia Máximo ( + 2ds)
F Mediana de los Límites de Referencia ( D + E ) / 2
G Rango = ( E - D )
H Tonks: Variabilidad Biológica Grupal = [ cuartil ] = ( G / 4 )
I CVB%: Coeficiente de Variación Biológico = ( H ) %
J Valor Esperado Mínimo = K - Ñ ( Nivel de Incertidumbre Six Sigma del Valor Asignado )
K Valor Esperado = Media de los Participantes en el Grupo de Trabajo Método Específico
L Valor Esperado Máximo = K + Ñ ( Nivel de Incertidumbre Six Sigma del Valor Asignado )
M Aspen: Expresado como Desviación Estandar
N Meta Analítica Aspen = Tonks CVB% / 2
Ñ Six Sigma: Expresado como Desviación Estandar
O Meta Analítica Six Sigma = Tonks CVB% / 6
P Score del Laboratorio = C
Q Banner
R Score del Grupo de Trabajo
S Banner
T Concordancia
V IV = Índice de Varianza = Varianza x 100 = ( U x 100 )
www.qualitat.cc
[email protected]
CALCULO DEL PIV
RESULTADO CUALITATIVOS
1.00
REACTIVO
ZONA GRIS
0.50
NO REACTIVO
0.01
LIMITES
RESULTADO
TORCH
0
Toxoplasma IgG
Toxoplasma IgM
Rubeola IgG
Rubeola IgM
CMV IgG
CMV IgM
Herpes 1 IgG
Herpes 1 Igm
Herpes 2 IgG
Herpes 2 IgM
Cualitativa
Cualitativa
Cualitativa
Cualitativa
Cualitativa
Cualitativa
Cualitativa
Cualitativa
Cualitativa
Cualitativa
Cualitativa
Cualitativa
Herpes 1 / 2 IgG
Herpes 1 / 2 IgM
1.0
0.0
0.0
0.0
1.0
0.0
1.0
0.0
0.5
0.0
2.0
1.0
NEG
POS
0
0
0
0
0
0
0
0
0
0
0
0
1
1
1
1
1
1
1
1
1
1
1
1
IV =SQRT((GPO-LAB)*(GPO-LAB))*200
LAB
GPO
RELEVANCIA MEDICA
www.qualitat.cc
[email protected]
1.0
0.0
0.0
0.0
1.0
0.0
1.0
0.0
0.5
0.0
2.0
1.0
0.5
0.0
1.0
0.0
1.0
0.0
1.0
0.0
0.5
0.0
2.0
1.0
COMPARADOR
CONCORDANCIA
FALSO
FALSO
FALSO
FALSO
FALSO
FALSO
FALSO
FALSO
FALSO NEGATIVO
FALSO
FALSO POSITIVO
FALSO
IV
30
101
0
200
0
0
0
0
0
0
0
0
0
BACTERIOLOGIA
www.qualitat.cc
[email protected]
BACTERIOLOGIA
www.qualitat.cc
[email protected]
www.qualitat.cc
[email protected]
www.qualitat.cc
RESUMEN DEL CICLO PREVIO
www.qualitat.cc
[email protected]
INFORME GRAFICO
ACUMULATIVO ANUAL Y
MENSUAL
www.qualitat.cc
[email protected]
ASESORIA
ON LINE..
[email protected]
www.qualitat.cc
www.qualitat.cc
[email protected]
REVISION DE RESULTADOS
www.qualitat.cc
[email protected]
ACCESA LA CALCULADORA
SIGMAMETRICS
www.qualitat.cc / herramientas
MEJORA: QQCDC
www.qualitat.cc
www.qualitat.cc
[email protected]
La entrega de los Diplomas
se realiza al terminar la ronda
anual en formato electrónico
a través del portal de cada Laboratorio.
REQUISITOS
• Participación puntual en 10/12
ciclos de la ronda anual.
• Todos los programas en control
con PIV < 100
• Evidencia de mejora continua
de la calidad.
www.qualitat.cc
[email protected]
“COMPRENDER GENERA EN EL SER HUMANO
UNA SENSACION DE FELICIDAD PORQUE LE
BRINDA UNA MAYOR POSIBILIDAD DE
SOBREVIVIR”
Carl Sagan (1996)
www.qualitat.cc
[email protected]
www.qualitat.cc
[email protected]
BIBLIOGRAFIA
www.qualitat.cc
[email protected]
BIBLIOGRAFIA
1.
2.
4.
5.
6.
8.
9.
10.
11.
12.
13.
14.
15.
16.
Importancia de la variabilidad biológica y de la relevancia médica en la Norma ISO-15189. Terrés-Speziale AM. Rev
Mex Patol Clin 2003; 50 (3)
La medicina de laboratorio en el tercer milenio. McClatchey KD, Terrés-Speziale AM. Rev Mex Patol Clin 2004; 51 (1)
Reingeniería de los programas de calidad para integrar los procesos de control analítico y de relevancia médica. TerrésSpeziale AM. Rev Mex Patol Clin 2006; 53 (1)
Requisitos para proveedores de esquemas de evaluación externa de la calidad. Terrés-Speziale AM. Rev Mex Patol Clin
2006; 53 (2).
Estimación de la incertidumbre y de la variabilidad total en el laboratorio clínico. Terrés-Speziale AM. Rev Mex Patol
Clin 2006; 53 (4).
Six Sigma: determinación de metas analíticas con base en la variabilidad biológica y la evolución tecnológica. TerrésSpeziale AM. Rev Mex Patol Clin 2007; 54 (1).
Garantizar la calidad. Terrés-Speziale AM. Rev Mex Patol Clin 2007; 54 (2).
Importancia de la relevancia médica en ISO 15189: 2003. Terrés-Speziale AM. Rev Mex Patol Clin 2007; 54 (2).
Diabetes Mellitus: metas Six Sigma para el control de calidad analítico. Terrés-Speziale AM. Rev Mex Patol Clin 2008;
55 (1)
Impacto de la certificación de los especialistas y de la acreditación de los laboratorios en la calidad de la práctica
médica. Navarrete CE, Terrés-Speziale AM. Rev Mex Patol Clin 2008; 55 (4)
El camino de la calidad y de la competitividad es el correcto. Terrés-Speziale AM. Rev Mex Patol Clin 2008; 55 (3)
Trazabilidad metrológica, validación analítica y consenso de resultados en la Confiabilidad del laboratorio clínico.
Terrés-Speziale AM. Rev Mex Patol Clin 2009; 56 (1).
Mejorar la calidad al nivel Six Sigma integrando los resultados de la evaluación externa con los del programa interno
aplicando el método QQCDC. Terrés-Speziale AM. Rev Mex Patol Clin 2010; 57 (3)
Cómo garantizar la calidad analítica. Westgard J, Mercapide L, Sáez A, Porras A, Martínez O, Amaya E, Iturriza M,
Mendoza E, Brambila E, Terrés A. Rev Mex Patol Clin 2010; 57 (4)
www.qualitat.cc
[email protected]