Teorema di Bayes nelle prove qualitative: aspetto, colore e odore in laboratorio

DN CONSULENZE · RESPONSABILITÀ EDITORIALE

Chi cura gli approfondimenti tecnici

Il coordinamento dei contenuti tecnici fa riferimento a Francesco Divano. Gli articoli propongono criteri, esempi e riferimenti utili al laboratorio, senza sostituire i testi ufficiali delle norme o la valutazione del singolo caso. Per segnalazioni e aggiornamenti è disponibile il nostro contatto editoriale.

Nelle prove qualitative di laboratorio il risultato non è sempre un numero. Può essere presente/assente, conforme/non conforme, limpido/torbido, odore presente/assente oppure una classificazione di colore.

Queste prove possono sembrare semplici perché non producono una concentrazione o un’incertezza espressa come ±U. In realtà presentano un problema metrologico molto interessante: quanto è probabile che la classificazione fornita dal laboratorio sia corretta?

Il teorema di Bayes aiuta a comprendere proprio questo aspetto.

Il punto chiave: in una prova qualitativa un risultato positivo non equivale automaticamente alla certezza che la caratteristica sia realmente presente. Il significato del risultato dipende dalla capacità discriminante della prova e dalla probabilità iniziale della condizione osservata.

Prove qualitative: aspetto, colore e odore

Tre esempi molto comuni sono:

  • aspetto: limpido/torbido, omogeneo/non omogeneo, presenza/assenza di particelle o depositi;
  • colore: conforme/non conforme, presenza di una tonalità, confronto con uno standard o una scala;
  • odore: presente/assente, caratteristico/anomalo, intensità classificata per categorie.

In tutti questi casi l’operatore trasforma una percezione o un’osservazione in una decisione. E ogni decisione può essere corretta oppure errata.

Quattro possibili risultati

Consideriamo una prova per determinare se un campione presenta un odore anomalo.

Condizione realeRisultato della provaClassificazione
Odore realmente presentePositivoVero positivo (VP)
Odore realmente assenteNegativoVero negativo (VN)
Odore realmente assentePositivoFalso positivo (FP)
Odore realmente presenteNegativoFalso negativo (FN)

La stessa matrice può essere utilizzata per una prova di colore, torbidità, aspetto o qualsiasi altra classificazione binaria.

Sensibilità e specificità

Due parametri fondamentali sono sensibilità e specificità.

Sensibilità

È la probabilità che il metodo restituisca un risultato positivo quando la caratteristica è realmente presente:

Sensibilità = VP / (VP + FN)

Specificità

È la probabilità che il metodo restituisca un risultato negativo quando la caratteristica è realmente assente:

Specificità = VN / (VN + FP)

Una sensibilità del 95% significa che, nelle condizioni dello studio, circa il 95% dei campioni realmente positivi viene riconosciuto. Una specificità del 95% significa invece che circa il 95% dei negativi viene correttamente classificato come negativo.

Dove entra il teorema di Bayes?

Supponiamo che il laboratorio ottenga un risultato:

Odore anomalo: PRESENTE

La domanda che interessa davvero al cliente è:

Dato che la prova è positiva, quanto è probabile che l’odore anomalo sia realmente presente?

Questa probabilità non coincide necessariamente con la sensibilità.

Il teorema di Bayes può essere scritto, in forma applicata al nostro caso:

P(Presente | Positivo) = [Sensibilità × Prevalenza] / [Sensibilità × Prevalenza + (1 − Specificità) × (1 − Prevalenza)]

La parola decisiva è prevalenza: la frequenza o probabilità iniziale della condizione nella popolazione di campioni considerata.

Un risultato sorprendente: prova al 95%, ma solo il 50% dei positivi è vero

Immaginiamo una prova qualitativa con:

  • sensibilità = 95%;
  • specificità = 95%;
  • soltanto il 5% dei campioni presenta realmente l’anomalia.

Su 1.000 campioni avremo circa 50 campioni realmente positivi. Con una sensibilità del 95%, circa 48 saranno identificati correttamente.

I campioni realmente negativi sono invece circa 950. Con una specificità del 95%, circa il 5% può risultare falsamente positivo:

950 × 0,05 ≈ 48 falsi positivi.

Il laboratorio avrà quindi circa:

  • 48 veri positivi;
  • 48 falsi positivi.

Di fronte a un risultato positivo, la probabilità che la caratteristica sia davvero presente sarà quindi circa:

48 / (48 + 48) ≈ 50%

Nonostante sensibilità e specificità siano entrambe del 95%.

Bayes ci ricorda che una prova “molto buona” può produrre una percentuale elevata di falsi positivi quando la caratteristica cercata è molto rara.

Applicazione all’odore

L’odore è uno degli esempi più interessanti perché la risposta può dipendere fortemente dall’operatore e dalle condizioni di prova.

Possono influire:

  • soglia olfattiva individuale;
  • adattamento e affaticamento olfattivo;
  • temperatura del campione;
  • contenitore utilizzato;
  • tempo trascorso dall’apertura;
  • interferenze ambientali;
  • matrice del campione;
  • esperienza dell’operatore.

Una procedura robusta dovrebbe quindi definire chiaramente le condizioni di prova e verificare sperimentalmente la capacità degli operatori di discriminare campioni positivi e negativi.

Applicazione al colore

Anche una valutazione apparentemente semplice come “colore conforme/non conforme” è influenzata da molte variabili:

  • illuminazione;
  • temperatura colore della sorgente;
  • sfondo;
  • spessore ottico;
  • recipiente;
  • torbidità;
  • tempo di osservazione;
  • capacità visiva dell’operatore;
  • qualità e stabilità dello standard cromatico.

Il laboratorio dovrebbe quindi evitare criteri come “guardare il campione e decidere”. Occorrono condizioni definite e criteri sufficientemente oggettivi.

Per un approfondimento specifico è disponibile anche l’articolo sulle prove qualitative di colore e verifica del metodo.

Applicazione all’aspetto

La voce “aspetto” è spesso ancora più ambigua.

Cosa significa, per esempio, dichiarare un campione “limpido”?

  • assenza totale di particelle visibili?
  • assenza di torbidità?
  • assenza di deposito?
  • assenza di una seconda fase?
  • osservazione a occhio nudo?
  • quale volume e quale recipiente?
  • con quale illuminazione?

Una definizione operativa insufficiente può produrre un’elevata variabilità anche tra operatori esperti.

Come validare una prova qualitativa

Una prova di aspetto, colore o odore non deve essere validata necessariamente con gli stessi parametri di un metodo ICP-MS. Ma deve comunque essere dimostrato che il sistema di classificazione funziona.

Un approccio pratico prevede campioni:

  • positivi noti;
  • negativi noti;
  • prossimi alla soglia percettiva o decisionale;
  • contenenti possibili interferenze.

Gli operatori dovrebbero eseguire la valutazione, quando possibile, senza conoscere preventivamente la classificazione attesa.

Dai risultati si costruisce la matrice VP, VN, FP e FN e si calcolano sensibilità e specificità.

Valore predittivo positivo e negativo

Dalla stessa matrice possiamo calcolare anche:

Valore predittivo positivo (VPP) = VP / (VP + FP)

Valore predittivo negativo (VPN) = VN / (VN + FN)

I valori predittivi sono particolarmente interessanti perché descrivono direttamente quanto possiamo fidarci di un risultato positivo o negativo nella popolazione studiata.

Attenzione: ripetibilità non significa accuratezza

Supponiamo che due operatori valutino dieci volte lo stesso campione e forniscano sempre la stessa risposta.

La ripetibilità può essere eccellente.

Ma se entrambi classificano sistematicamente il campione nella categoria sbagliata, la prova è molto ripetibile ma non corretta.

Per questo il confronto tra operatori deve essere accompagnato, quando possibile, da campioni con classificazione di riferimento indipendente.

Concordanza tra operatori e Cohen’s kappa

Per le prove dipendenti dall’operatore è molto utile misurare la concordanza.

La semplice percentuale di accordo non considera però la quota di concordanza che può verificarsi casualmente. Per questo può essere utile il coefficiente kappa di Cohen.

Un valore elevato di kappa indica che la concordanza osservata supera nettamente quella attesa per puro caso.

Per scale ordinali, per esempio classificazioni di colore a più livelli, può essere utile considerare anche versioni ponderate del kappa.

Il problema dei risultati borderline

Uno dei punti più delicati delle prove qualitative è la zona di confine.

Costringere sempre l’operatore a scegliere tra:

SI / NO

può aumentare inutilmente falsi positivi e falsi negativi.

Quando tecnicamente appropriato, il laboratorio può prevedere una categoria come:

  • positivo;
  • negativo;
  • dubbio / non classificabile.

Il risultato dubbio può attivare automaticamente una seconda lettura, un secondo operatore, una nuova preparazione o una tecnica strumentale di conferma.

Bayes non significa cambiare il risultato perché “ce lo aspettavamo”

Il ragionamento bayesiano non deve essere utilizzato per influenzare l’operatore.

Se sappiamo che un determinato campione ha una grande probabilità di essere conforme, non possiamo decidere di trasformare un positivo in negativo perché “normalmente questi campioni sono buoni”.

La prova deve essere eseguita secondo criteri prestabiliti. La probabilità pre-test serve a interpretare la forza dell’evidenza, non a modificare arbitrariamente l’osservazione.

Quando possibile, le valutazioni utilizzate per qualificare gli operatori dovrebbero essere effettuate in cieco proprio per ridurre questo bias.

L’incertezza di una prova qualitativa

Per una prova quantitativa è comune rappresentare il risultato come:

x ± U

Per un risultato come “odore presente/assente” questa rappresentazione non è appropriata.

La componente d’incertezza si manifesta invece come probabilità di misclassificazione.

Può essere caratterizzata attraverso:

  • sensibilità;
  • specificità;
  • frequenza di falsi positivi;
  • frequenza di falsi negativi;
  • VPP e VPN;
  • concordanza intra-operatore;
  • concordanza inter-operatore;
  • kappa;
  • prestazioni sui campioni borderline.

Esempio di validazione di una prova di odore

Supponiamo che il laboratorio prepari 60 campioni:

  • 20 positivi;
  • 40 negativi.

Tre operatori li valutano in condizioni controllate e in cieco.

Dallo studio emergono:

  • sensibilità media = 92%;
  • specificità media = 96%;
  • concordanza complessiva tra operatori = 94%.

A questo punto il laboratorio possiede un’evidenza molto più robusta rispetto alla semplice affermazione:

“L’operatore è esperto e riconosce l’odore.”

Può invece dimostrare:

Nelle condizioni definite, la procedura e gli operatori autorizzati hanno mostrato determinate prestazioni di classificazione.

Cosa dovrebbe documentare un laboratorio ISO/IEC 17025?

Per prove di aspetto, colore e odore sarebbe utile documentare almeno:

  1. caratteristica da valutare;
  2. categorie o esiti possibili;
  3. criteri di classificazione;
  4. condizioni di osservazione o percezione;
  5. campioni positivi, negativi e borderline utilizzati;
  6. ripetibilità intra-operatore;
  7. concordanza tra operatori;
  8. sensibilità e specificità, ove applicabili;
  9. gestione dei risultati dubbi;
  10. criteri di autorizzazione e mantenimento della competenza.

La lezione del teorema di Bayes

Bayes ci ricorda che la probabilità che una classificazione sia corretta non dipende soltanto dalla qualità intrinseca della prova.

Dipende anche da quanto era probabile la condizione prima della prova.

Una prova qualitativa non è una prova “senza statistica”. È una prova nella quale la statistica giusta spesso non è la deviazione standard, ma la probabilità di classificare correttamente il campione.

Conclusione

Le determinazioni di aspetto, colore e odore possono essere molto più robuste di quanto si pensi, purché vengano trasformate da semplici percezioni dell’operatore in processi di classificazione controllati e verificati.

Il percorso è:

criterio → condizioni definite → campioni noti → prove cieche → VP/FP/FN/VN → sensibilità e specificità → concordanza → gestione dei borderline → mantenimento della competenza.

Questo approccio permette al laboratorio di dimostrare non soltanto che “l’operatore ha guardato o annusato il campione”, ma che la decisione finale è sostenuta da evidenze oggettive.


DN Consulenze

DN Consulenze supporta i laboratori nell’impostazione e validazione delle prove qualitative e semiquantitative, incluse valutazioni di aspetto, colore, odore e classificazioni dipendenti dall’operatore.

Possiamo costruire protocolli di validazione, dataset positivi e negativi, studi in cieco, matrici VP/FP/FN/VN, valutazioni di sensibilità e specificità, studi di concordanza e criteri di mantenimento della competenza.

Approfondisci anche la nostra consulenza per la validazione dei metodi ISO/IEC 17025.

Parlaci della tua prova qualitativa →

RECAPITI

Via Tizzolo 18 – 42020 Vetto (RE)

DN Consulenze srl

P.IVA 02763090350
Cap. Soc. 10.000,00€

DN CONSULENZE

Consulenza e formazione tecnica per laboratori di prova secondo UNI CEI EN ISO/IEC 17025.

RECAPITI

Via Tizzolo 18 – 42020 Vetto (RE)

DATI AZIENDALI

P.IVA 02763090350
Cap. Soc. 10.000,00€

SEGUICI

DN CONSULENZE · Consulenza e formazione tecnica per laboratori ISO/IEC 17025.