Bioquality7….
Validation de méthode
C Palette - 22 septembre 2018
Préambule
Types de portée
• Portée A : méthode adoptée = utilisation d’une méthode reconnue (méthode
marquée CE, respect strict des recommandations du fournisseur)
=> vérification de méthode
• Portée B : méthode adaptée = méthode développée par le laboratoire ou
modifiée à partir d’une technique CE pour l’ajuster aux besoins du laboratoire
=> validation de méthode
Processus analytique :
Ensemble de méthodes permettant l’obtention de résultats aboutissant au diagnostic
biologique.
• Processus simple : obtention du résultat en une seule étape
• Processus complexe : enchainement de plusieurs étapes faisant appel à des
méthodes quali/quanti pour obtenir le résultat permettant le diagnostic
Si le dossier de VM est bien complété, il vous servira. S’il renvoie seulement à des
documents externes, il ne vous servira pas beaucoup.
2
Organiser le calendrier de suivi
• Faire la liste des analyses du laboratoire à partir du catalogue du
laboratoire (sauf cas particuliers…)
• Rattacher au SH INF50 : liste de portées
• Sous domaine
• Famille
• Ligne de portée
• Portée (A ou B)
• Y reporter les indications demandées par le Cofrac :
• Nature de l’échantillon
• Principe de la méthode
• Dénomination de l’équipement
• Dénomination du programme d’EEQ
• Etablir le calendrier de travail des validations, préciser notamment :
• La date prévisionnelle d’accréditation
• L’état d’accréditation de l’examen
3
4
Organisation du dossier de ValMeth
• Aidé par les documents sur www.cofrac.fr : SH FORM 43 Fiche type de vérification
(portée A) / validation (portée B) d’une méthode de biologie médicale
Plan type :
• Description du processus : simple / complexe
• Description de la méthode :
• Mise en œuvre :
• Maîtrise des risques : analyse des risques + criticité
• Evaluation des performances de la méthode :
• Répétabilité, Reproductibilité, Variabilité inter-opérateurs
• Justesse, Exactitude, Sensibilité spécificité, Incertitude de mesure
• Etendue de la mesure, Valeurs de référence,
• Comparaison de méthode, interférences, Contamination, Robustesse et
stabilité des réactifs
• Conclusion
• Le but est de vérifier / démontrer que la méthode fonctionne correctement dans
les conditions opératoires du laboratoire et qu’elle donne des résultats fiables
pour les patients.
5
Vérification / validation de méthode en 5M
Méthode Matériel
Protocole Traçabilité du
analytique : mesurage
traitement de (métrologie)
l’échantillon Réactifs
Demande Résultat
d’examen d’examen
Matière Milieu Main d’œuvre
Formation
Echantillon Température
Habilitation
(Qualité du Hygrométrie
Compétences
prélèvement)
Description du processus
7
Description du processus (suite)
CRP
Fibrinogène
Digoxine NFS
… GDS
ECBU
….
8
Description de la méthode
9
Mise en œuvre
Pas de nécessité de
détailler : le renvoi à vos
documents de référence
interne est suffisant
Il s’agit de la période
durant laquelle les essais
ont été réalisés
Il s’agit de la date de rendu du 1er
résultat même si c’est antérieur à
la validation de méthode
10
Maîtrise des risques
C’est l’ensemble des points sensibles pouvant avoir un impact sur le rendu du résultat
• Touche l’ensemble des phases : de la prescription au rendu du résultat
Ne lister que les points
critiques = nécessitent
la mise en place
d’actions de maîtrise
Prioriser les points à
surveiller = échelle de
criticité
Définir :
• Des critères de gravité
• Des critères de fréquence
• Des critères de détection
Criticité = G x F x D
Lister les points Lister les Détailler la manière
critiques éléments à de les maîtriser
surveiller
11
Exemple d’échelle de criticité
Gravité Prévoir ensuite une évaluation de la prise en charge
Note Critère de cette criticité : poids de l’élément critique
1 Aucune incidence sur le résultat = CONFORME
2 Non-conforme mais sans impact sur le résultat
3 Non-conforme avec impact sur le résultat
Préciser à quel stade les actions de prévention
4 Non conforme avec mise en danger du patient seront déclenchées
Fréquence
Note Critère
1 Au maximum une à deux fois par an
2 Au moins une fois par mois
3 Au moins une fois par semaine
4 Au moins une fois par jour
Détection Exemple pour une gravité = 1, faire varier la
Note Critère fréquence et la détection. Idem en faisant varier la
1 Détection automatisée (100%) gravité.
2 Détection humaine Indiquer à partir de quel seuil on va prendre le
3 Détection aléatoire critère en charge . Ici :
4 Aucun moyen de détection
• > 16 : action systématique
• ≤ 12 : action non systématique
12
Evaluation des performances
de la méthode
Le dossier de validation de méthode implique l’intervention des biologistes et des techniciens.
C’est au biologiste
de définir :
• Le choix des matrices à utiliser (CIQ, patient, pool…)
• Les concentrations pour les différents essais (seuil décisionnel, seuils pathologiques, seuils toxiques…)
d’interpréter les résultats et de conclure sur les essais effectués par les techniciens
Pour toutes les étapes, apporter le plus de précisions possibles :
• Période de réalisation, n° de lots, valeurs cibles, opérateurs concernés… Techniciens
• Et faire les conclusions adaptées Biologiste
13
Répétabilité
Définition :
Analyse d’un même échantillon dans les mêmes conditions (un jour donné)
= meilleure performance dans conditions optimales
Préciser sur combien de valeurs le test est réalisé => document général
A préciser Sur la
Vos données De la FT
RICOS, conformité
Tester plusieurs niveaux (pertinence)
SFBC….
Période de recueil des données :
Matrice utilisée pour l’étude :
Document de travail : Formulaire pour l'étude de la répétabilité
Conclusions :
14
Reproductibilité
Définition :
Analyse d’un même échantillon en faisant varier les conditions (opérateur, lot de réactif…)
= reflet des conditions d’utilisation dans l’environnement du labortaoire
Préciser sur quelle période de le test est réalisé => document général = choisir la période la plus longue
A préciser Sur la
Vos données De la FT
RICOS, conformité
Préciser les niveaux
SFBC….
Période de recueil des données :
Matrice utilisée pour l’étude :
Document de travail : Formulaire pour l'étude de la reproductibilité
Conclusions :
15
Variabilité inter opérateurs
Présente un intérêt pour les techniques pour lesquelles l’intervention humaine peut avoir une influence sur le
résultat :
• Techniques manuelles
• Lecture de lames…
Analyse d’un même échantillon en faisant varier l’opérateur
Période de recueil des données :
Matrice utilisée pour l’étude :
Nombre d’opérateurs :
Document de travail : Formulaire pour l'étude inter opérateurs
Conclusions :
16
CIQ : Justesse
Définition : Comparaison de la moyennes des résultats du CIQ externalisé à une valeur de référence.
Préciser quelle est la cible (moyenne des du groupe de pairs, comparaison au principe de la méthode, Toute
techniques confondues…)
Préciser les Toute technique Celui de Sur la
Vos données confondue (échant
données du groupe l’organisme conformité
plus large)
Période de recueil des données :
Matrice utilisée pour l’étude :
Conclusions :
17
EEQ : Exactitude
Comparaison d’un résultat à une valeur de référence
Résultat d’EEQ comparée au groupe de pairs
Dénomination Vos Préciser les données du Toute technique Celui de Sur la
données groupe (pairs, principe…) confondue (échant plus l’organisme conformité
large)
Période de recueil des données :
Matrice utilisée pour l’étude :
Nombre d’opérateurs :
Conclusions :
18
Incertitude de mesure 1/2
Méthode d’évaluation repose sur l’exploitation des données du CIQ et de l’EEQ (ou du CIL)
Il s’agit de déterminer l’incertitude composée (CIQ + EEQ)
Définir les niveaux d’étude de l’incertitude de mesure
U2 étant la variance (carré de l’écart type), la formule devient :
19
Incertitude de mesure (suite)
Période de recueil des données :
Matrice utilisée pour l’étude :
Document de travail : Formulaire pour l'étude de l’incertitude de mesure
Conclusions :
20
Sensibilité Spécificité 1/2
Pour les techniques quantitatives => la
sensibilité est évaluée par la limite de
détection, pente et origine de la courbe
d’étalonnage.
• Sensibilité : aptitude de la méthode à détecter, dans une même matrice de faibles variations (ex :
nombre de micro organismes présents).
Méthode des 4 champs : % positifs reconnus comme positifs = VP/n*100
• Spécificité : aptitude de la méthode à discerner un analyte dans un mélange complexe.
Pour les techniques quantitatives => la
Méthode des 4 champs : % négatifs reconnus comme négatifs = VN/n*100
spécificité est évaluée par l’étude des
interférences.
Méthode
référence
Période de recueil des données : + -
Matrice utilisée pour l’étude :
+ VP FP
méthode
Nouvelle
Nombre d’échantillons testés :
Document de travail :
Conclusions : - FN VN
21
Sensibilité – Spécificité (suite)
On peut aussi étudier la capacité discriminante d’un test => utiliser les courbes ROC
Discrimination du test
sensibilité
sensibilité
spécificité
spécificité
22
Etendue de la mesure
Comparaison de la gamme aux critères d’acceptabilité.
Période de recueil des données :
Matrice utilisée pour l’étude :
Conclusions :
23
Etendue de la mesure (suite)
En portée B
Répéter n fois la calibration du paramètre (x points de gamme) et faire l’analyse de variance sur chaque point.
LLOQ : plus petite concentration ULOQ : plus forte concentration
mesurable = limite inférieure de mesurable = limite supérieure
quantification de quantification
En dessous, il faut rendre < « seuil » => Au-delà, il faut diluer
La LLOQ est obtenue en réalisant des dilutions
successives d’un point de calibration du ½ au ½. Les
analyser n fois (définir n).
Déterminer pour chaque dilution, la moyenne, l’écart
type et le CV.
24
Valeurs de référence
Intervalle de mesure
Préciser la source de vos données (recommandations d’experts, conférence de consensus, fiche technique
fournisseur…)
Référence de la source :
Conclusions :
25
Comparaison de méthode 1/2
Etude réalisée lors d’un changement d’automate ou de réactif = concordance statistique entre 2 méthodes
Approche permettant de déterminer s’il y a une différence significative entre les résultats obtenus pour un
même paramètre sur plusieurs équipements ou par des méthodes différentes.
Définir les seuils d’acceptabilité avant les essais.
Sélectionner les échantillons à comparer (toute la gamme).
Préciser la méthode d’analyse (passage en simple, les 2 automates en même temps…)
Période de recueil des données :
Matrice utilisée pour l’étude :
Nombre d’opérateurs :
Document de travail : Formulaire Comparaison de méthode
Conclusions :
26
Comparaison de méthode (suite)
Fournisseur A
Automate A Permet de construire le
Fournisseur B diagramme des différences
Automate B
Automate A Automate B
Permet de construire le
diagramme des rapports
Construire la droite de corrélation
avec l’équation de la droite
MISE EN ŒUVRE
Données bibliographiques
(fournisseurs, publications…)
Méthode précédente, autre méthode
utlisée dans le LBM, app. en miroir ou
Décrire le mode opératoire avec EBMD
le nombre de points et l’étendue Nombre de mesures 20
Intervalle de comparaison adaptée à
des valeurs analysées. l'activité du laboratoire
0,4 - 3,7
Les graphes peuvent être joints. Méthode d'exploitation des résultats Regression des moindres rectangles (selon Tessier)
Equation de la droite de régression
Nombre de déviants diag des différences
_
et des rapports
Conclusions et dispositions
27
Interférences
Démontre la capacité de la méthode à identifier et quantifier l’analyte sans équivoque dans un mélange
complexe.
L’analyse des interférence permet de maîtriser les réactions croisées
S’aider des Fiches techniques Fournisseurs A B C D
Faire des essais si besoin.
La méthodologie est différente selon
qu’il s’agit d’analyte
• Exogène : cas C
• Ou endogène : cas D
Conclusions :
28
Contamination
L’analyse de la contamination correspond à la pollution d’un échantillon par l’échantillon précédent
A faire sur tous les paramètres sensibles
Choisir soigneusement la valeur du point haut
Décrire soigneusement la méthodologie :
• HHH puis BBB
• si ≠, recommencer 3 fois dans le même ordre de passage
• faire la moyenne de H puis la moyenne des B1 et des B3
• déterminer le % de contamination
• conclure
Période de recueil des données :
Matrice utilisée pour l’étude :
Document de travail : Formulaire Contamination
Conclusions :
29
Robustesse
L’analyse de la robustesse permet de démontrer la capacité de la méthode à maintenir ses performances
lorsqu’elle est soumises à de petites variations fortuites, liées aux conditions expérimentales.
La robustesse donne un ordre de grandeur de la fiabilité de la méthode dans les conditions normales
d’utilisation.
Deux approches possibles :
• Utilisation de plans d’expériences
• => identifier les facteurs pouvant avoir un impact (quali / quanti)
• => définir les niveaux à tester pour chaque facteur
• => décrire le mode opératoire de l’expérience
• => analyser l’impact de chaque facteur sur le résultat
• Etude facteur par facteur
Conclusions :
30
Exemples d’autres essais en portée B
Stabilité des réactifs => exemple : PALU
Il s’agit de déterminer la durée de stabilité des réactifs dans le contexte d’utilisation de la méthode :
• Stabilité à bord
• Stabilité après reconstitution / fabrication….
Décrire le mode opératoire Autre mode opératoire
• Préparer le réactif à J0 • Préparer le réactif à J0 et le conserver
• Définir les limites se stabilité théoriques (par ex 10%) • Préparer un autre réactif à tous les temps
• Evaluer la stabilité sur n jours nécessaires
• en suivant la tendance du résultat • Doser tout le dernier jour
• et en recoupant avec un échantillon contrôle
Etudier l’impact de la nature de l’anticoagulant
Il s’agit de d’analyser et de comparer le résultat obtenu sur 2 types de matrices (point limitant = obtenir d’un
même patient 2 tubes différents)
Etudier la stabilité d’un prélèvement
Il s’agit de de déterminer les conditions de conservation des analytes
• Evaluer le délai de réalisation : 24h, 48h, 72h… après le prélèvement
• Evaluer le délai de réalisation après un pré-traitement (par ex : centrifugation)
• Conditions de température à tester : T°C ambiante, +4°C, -20°C, -80°C, nb de décongélations possibles…
A chaque fois, ne pas oublier de faire une conclusion
31
Conclusion générale
La conclusion générale permet de conclure sur la capacité de la méthode à répondre aux attentes des
cliniciens.
Par exemple, en termes de :
• Sensibilité, spécificité (réaction croisées…)
• D’étendue de la gamme d’étalonnage
• …..
32
Maintien des performances
Il s’agit de démontrer la maitrise de la méthode dans le temps
33
Suivi des CIQ
Evolution mensuelle de la moyenne et du CV% (adapter le suivi au type de test +++)
• Permet d’anticiper les « dégradations » d’automates (rapprochement de maintenances, anticipation de
renouvellement…)
• Comparer les résultats à la cible (CV de référence
Moyenne et CV en dérive
Rechercher la cause
LA du CV%
Dérive maîtrisée Dépassement des LA
Moyenne et CV stables ET dans les LA
=> Système sous contrôle Moyenne et CV stables
sauf 1 fois
=> Rechercher une valeur
aberrante (inversion de
niveau ?)
34
Suivi des incertitudes de mesure
Permet de vérifier le maintien des performances initiales.
Fait appel au suivi des :
• CIQ => analyse de tendance
• EEQ => analyse des scores de réussite
Analyse des EEQ
Relever les analyses non conformes
• Concerne toujours le même paramètre ?
• Concerne toujours le même automate ?
Tracer les actions mises en place
Faire un récapitulatif annuel
• Peut servir pour l’évaluation des fournisseurs
• Sert pour le calcul des scores de réussite
Paramè
Niveau 1 IM 1 Niveau 2 IM2 Niveau 3 IM3
tre A
2015 0,4 21% 3,0 15% 8,4 22%
2017 0,8 21% 3,6 16% 6,8 27%
Déterminer la périodicité du calcul de l’IM
Conclure sur la pertinence de l’IM
35
Corrélation d’automates
Comparer les résultats de patients passés sur différents automates du laboratoire, le même jour.
Prévoir dans le mode opératoire :
• la fréquence et le nombre de passage (x tous les y)
• La matrice d’échantillon : patients, EEQ…
• le niveau (toute la gamme d’étalonnage)
• Les limites d’alerte
On peut utiliser un tableur du type de celui de la comparaison de méthode
% des
Limite
Date Automate n°1 Automate n°2 A2-A1 différences Conclusion
acceptable
= 2*100*(A2-
(2,8*CV)
A1)/(A1+A2)
36
Remarques et conseils
Ne partez pas dans les essais sans avoir préparé avec le biologiste toutes les
conditions de réalisation :
• Matrice à utiliser : CIQ, patient, pool
• Niveau souhaité : seuil décisionnel Biologiste
• Nb de replicates
Lors de la mise en place de la démarche, la technique est déjà en place dans le
laboratoire => le dossier de validation de méthode peut reprendre des données
accumulées par le laboratoire si elles sont toujours appropriées (= s’il n’y a pas eu de
modification de méthode).
Le dossier de vérification / validation de méthode permet de formaliser /
confirmer les performances d’une technique (même si elle est déjà en cours
d’utilisation).
37
Conclusion
Le dossier comprend plusieurs étapes :
• Analyse des risques (avec priorisation des risques = criticité)
• Définition des étapes de vérification / validation
• Réalisation des plan d’expérience
• Traitement des données
• Elaboration du dossier final
Un dossier de vérification/validation initiale de méthode est un travail d’équipe :
• Biologiste :
Choisit la méthode à mettre en place (bibliographie, compromis…) : équipement, portée
Définit les niveaux pertinents et la matrice à étudier
Rédige les conclusions intermédiaires et la conclusion générale
Valide les essais et autorise l’utilisation de la méthode en routine
• Technicien :
Participe à l’élaboration de la maîtrise des risques
Réalise les essais pour l’évaluation des performances
Collecte les données de CIQ, EEQ
Lit ou relit la validation de méthode dans sa globalité
Au final, le dossier de VM constitue la carte de visite de votre façon de travailler.
38
Eval performances QUALI QUANTI
Répétabilité Si possible Oui
Fidel intermédiaire Si possible Oui
Variabilité inter opérateurs Si utile Si besoin (tech man)
Justesse Si adapté (si CIL)
Exactitude Oui Oui
Sensibilité Spécificité Oui
Incertitude Si adapté Oui
Etendue de la mesure - Oui
Valeurs de référence Seuils Oui
Comparaison de méthode Oui Oui
Interférences Oui Surtout si portée B
Contamination Oui Surtout si portée B
Robustesse et fiabilité des réactifs Oui Surtout si portée B
Au final, garder le bon sens.
39
