Nelle prove qualitative di laboratorio il risultato non è sempre un numero. Può essere presente/assente, conforme/non conforme, limpido/torbido, odore presente/assente oppure una classificazione di colore.
Queste prove possono sembrare semplici perché non producono una concentrazione o un’incertezza espressa come ±U. In realtà presentano un problema metrologico molto interessante: quanto è probabile che la classificazione fornita dal laboratorio sia corretta?
Il teorema di Bayes aiuta a comprendere proprio questo aspetto.
Prove qualitative: aspetto, colore e odore
Tre esempi molto comuni sono:
- aspetto: limpido/torbido, omogeneo/non omogeneo, presenza/assenza di particelle o depositi;
- colore: conforme/non conforme, presenza di una tonalità, confronto con uno standard o una scala;
- odore: presente/assente, caratteristico/anomalo, intensità classificata per categorie.
In tutti questi casi l’operatore trasforma una percezione o un’osservazione in una decisione. E ogni decisione può essere corretta oppure errata.
Quattro possibili risultati
Consideriamo una prova per determinare se un campione presenta un odore anomalo.
| Condizione reale | Risultato della prova | Classificazione |
|---|---|---|
| Odore realmente presente | Positivo | Vero positivo (VP) |
| Odore realmente assente | Negativo | Vero negativo (VN) |
| Odore realmente assente | Positivo | Falso positivo (FP) |
| Odore realmente presente | Negativo | Falso negativo (FN) |
La stessa matrice può essere utilizzata per una prova di colore, torbidità, aspetto o qualsiasi altra classificazione binaria.
Sensibilità e specificità
Due parametri fondamentali sono sensibilità e specificità.
Sensibilità
È la probabilità che il metodo restituisca un risultato positivo quando la caratteristica è realmente presente:
Sensibilità = VP / (VP + FN)
Specificità
È la probabilità che il metodo restituisca un risultato negativo quando la caratteristica è realmente assente:
Specificità = VN / (VN + FP)
Una sensibilità del 95% significa che, nelle condizioni dello studio, circa il 95% dei campioni realmente positivi viene riconosciuto. Una specificità del 95% significa invece che circa il 95% dei negativi viene correttamente classificato come negativo.
Dove entra il teorema di Bayes?
Supponiamo che il laboratorio ottenga un risultato:
Odore anomalo: PRESENTE
La domanda che interessa davvero al cliente è:
Dato che la prova è positiva, quanto è probabile che l’odore anomalo sia realmente presente?
Questa probabilità non coincide necessariamente con la sensibilità.
Il teorema di Bayes può essere scritto, in forma applicata al nostro caso:
P(Presente | Positivo) = [Sensibilità × Prevalenza] / [Sensibilità × Prevalenza + (1 − Specificità) × (1 − Prevalenza)]
La parola decisiva è prevalenza: la frequenza o probabilità iniziale della condizione nella popolazione di campioni considerata.
Un risultato sorprendente: prova al 95%, ma solo il 50% dei positivi è vero
Immaginiamo una prova qualitativa con:
- sensibilità = 95%;
- specificità = 95%;
- soltanto il 5% dei campioni presenta realmente l’anomalia.
Su 1.000 campioni avremo circa 50 campioni realmente positivi. Con una sensibilità del 95%, circa 48 saranno identificati correttamente.
I campioni realmente negativi sono invece circa 950. Con una specificità del 95%, circa il 5% può risultare falsamente positivo:
950 × 0,05 ≈ 48 falsi positivi.
Il laboratorio avrà quindi circa:
- 48 veri positivi;
- 48 falsi positivi.
Di fronte a un risultato positivo, la probabilità che la caratteristica sia davvero presente sarà quindi circa:
48 / (48 + 48) ≈ 50%
Nonostante sensibilità e specificità siano entrambe del 95%.
Applicazione all’odore
L’odore è uno degli esempi più interessanti perché la risposta può dipendere fortemente dall’operatore e dalle condizioni di prova.
Possono influire:
- soglia olfattiva individuale;
- adattamento e affaticamento olfattivo;
- temperatura del campione;
- contenitore utilizzato;
- tempo trascorso dall’apertura;
- interferenze ambientali;
- matrice del campione;
- esperienza dell’operatore.
Una procedura robusta dovrebbe quindi definire chiaramente le condizioni di prova e verificare sperimentalmente la capacità degli operatori di discriminare campioni positivi e negativi.
Applicazione al colore
Anche una valutazione apparentemente semplice come “colore conforme/non conforme” è influenzata da molte variabili:
- illuminazione;
- temperatura colore della sorgente;
- sfondo;
- spessore ottico;
- recipiente;
- torbidità;
- tempo di osservazione;
- capacità visiva dell’operatore;
- qualità e stabilità dello standard cromatico.
Il laboratorio dovrebbe quindi evitare criteri come “guardare il campione e decidere”. Occorrono condizioni definite e criteri sufficientemente oggettivi.
Per un approfondimento specifico è disponibile anche l’articolo sulle prove qualitative di colore e verifica del metodo.
Applicazione all’aspetto
La voce “aspetto” è spesso ancora più ambigua.
Cosa significa, per esempio, dichiarare un campione “limpido”?
- assenza totale di particelle visibili?
- assenza di torbidità?
- assenza di deposito?
- assenza di una seconda fase?
- osservazione a occhio nudo?
- quale volume e quale recipiente?
- con quale illuminazione?
Una definizione operativa insufficiente può produrre un’elevata variabilità anche tra operatori esperti.
Come validare una prova qualitativa
Una prova di aspetto, colore o odore non deve essere validata necessariamente con gli stessi parametri di un metodo ICP-MS. Ma deve comunque essere dimostrato che il sistema di classificazione funziona.
Un approccio pratico prevede campioni:
- positivi noti;
- negativi noti;
- prossimi alla soglia percettiva o decisionale;
- contenenti possibili interferenze.
Gli operatori dovrebbero eseguire la valutazione, quando possibile, senza conoscere preventivamente la classificazione attesa.
Dai risultati si costruisce la matrice VP, VN, FP e FN e si calcolano sensibilità e specificità.
Valore predittivo positivo e negativo
Dalla stessa matrice possiamo calcolare anche:
Valore predittivo positivo (VPP) = VP / (VP + FP)
Valore predittivo negativo (VPN) = VN / (VN + FN)
I valori predittivi sono particolarmente interessanti perché descrivono direttamente quanto possiamo fidarci di un risultato positivo o negativo nella popolazione studiata.
Attenzione: ripetibilità non significa accuratezza
Supponiamo che due operatori valutino dieci volte lo stesso campione e forniscano sempre la stessa risposta.
La ripetibilità può essere eccellente.
Ma se entrambi classificano sistematicamente il campione nella categoria sbagliata, la prova è molto ripetibile ma non corretta.
Per questo il confronto tra operatori deve essere accompagnato, quando possibile, da campioni con classificazione di riferimento indipendente.
Concordanza tra operatori e Cohen’s kappa
Per le prove dipendenti dall’operatore è molto utile misurare la concordanza.
La semplice percentuale di accordo non considera però la quota di concordanza che può verificarsi casualmente. Per questo può essere utile il coefficiente kappa di Cohen.
Un valore elevato di kappa indica che la concordanza osservata supera nettamente quella attesa per puro caso.
Per scale ordinali, per esempio classificazioni di colore a più livelli, può essere utile considerare anche versioni ponderate del kappa.
Il problema dei risultati borderline
Uno dei punti più delicati delle prove qualitative è la zona di confine.
Costringere sempre l’operatore a scegliere tra:
SI / NO
può aumentare inutilmente falsi positivi e falsi negativi.
Quando tecnicamente appropriato, il laboratorio può prevedere una categoria come:
- positivo;
- negativo;
- dubbio / non classificabile.
Il risultato dubbio può attivare automaticamente una seconda lettura, un secondo operatore, una nuova preparazione o una tecnica strumentale di conferma.
Bayes non significa cambiare il risultato perché “ce lo aspettavamo”
Il ragionamento bayesiano non deve essere utilizzato per influenzare l’operatore.
Se sappiamo che un determinato campione ha una grande probabilità di essere conforme, non possiamo decidere di trasformare un positivo in negativo perché “normalmente questi campioni sono buoni”.
La prova deve essere eseguita secondo criteri prestabiliti. La probabilità pre-test serve a interpretare la forza dell’evidenza, non a modificare arbitrariamente l’osservazione.
Quando possibile, le valutazioni utilizzate per qualificare gli operatori dovrebbero essere effettuate in cieco proprio per ridurre questo bias.
L’incertezza di una prova qualitativa
Per una prova quantitativa è comune rappresentare il risultato come:
x ± U
Per un risultato come “odore presente/assente” questa rappresentazione non è appropriata.
La componente d’incertezza si manifesta invece come probabilità di misclassificazione.
Può essere caratterizzata attraverso:
- sensibilità;
- specificità;
- frequenza di falsi positivi;
- frequenza di falsi negativi;
- VPP e VPN;
- concordanza intra-operatore;
- concordanza inter-operatore;
- kappa;
- prestazioni sui campioni borderline.
Esempio di validazione di una prova di odore
Supponiamo che il laboratorio prepari 60 campioni:
- 20 positivi;
- 40 negativi.
Tre operatori li valutano in condizioni controllate e in cieco.
Dallo studio emergono:
- sensibilità media = 92%;
- specificità media = 96%;
- concordanza complessiva tra operatori = 94%.
A questo punto il laboratorio possiede un’evidenza molto più robusta rispetto alla semplice affermazione:
“L’operatore è esperto e riconosce l’odore.”
Può invece dimostrare:
Nelle condizioni definite, la procedura e gli operatori autorizzati hanno mostrato determinate prestazioni di classificazione.
Cosa dovrebbe documentare un laboratorio ISO/IEC 17025?
Per prove di aspetto, colore e odore sarebbe utile documentare almeno:
- caratteristica da valutare;
- categorie o esiti possibili;
- criteri di classificazione;
- condizioni di osservazione o percezione;
- campioni positivi, negativi e borderline utilizzati;
- ripetibilità intra-operatore;
- concordanza tra operatori;
- sensibilità e specificità, ove applicabili;
- gestione dei risultati dubbi;
- criteri di autorizzazione e mantenimento della competenza.
La lezione del teorema di Bayes
Bayes ci ricorda che la probabilità che una classificazione sia corretta non dipende soltanto dalla qualità intrinseca della prova.
Dipende anche da quanto era probabile la condizione prima della prova.
Conclusione
Le determinazioni di aspetto, colore e odore possono essere molto più robuste di quanto si pensi, purché vengano trasformate da semplici percezioni dell’operatore in processi di classificazione controllati e verificati.
Il percorso è:
criterio → condizioni definite → campioni noti → prove cieche → VP/FP/FN/VN → sensibilità e specificità → concordanza → gestione dei borderline → mantenimento della competenza.
Questo approccio permette al laboratorio di dimostrare non soltanto che “l’operatore ha guardato o annusato il campione”, ma che la decisione finale è sostenuta da evidenze oggettive.
DN Consulenze
DN Consulenze supporta i laboratori nell’impostazione e validazione delle prove qualitative e semiquantitative, incluse valutazioni di aspetto, colore, odore e classificazioni dipendenti dall’operatore.
Possiamo costruire protocolli di validazione, dataset positivi e negativi, studi in cieco, matrici VP/FP/FN/VN, valutazioni di sensibilità e specificità, studi di concordanza e criteri di mantenimento della competenza.
Approfondisci anche la nostra consulenza per la validazione dei metodi ISO/IEC 17025.
