Errori statistici comuni degli oppositori

Oggi andremo a commentare il post “Errori statistici comuni degli oppositori” di Pro-Test Italia.

Dato il linguaggio complesso, senza perdere ulteriore tempo riportiamo il loro stesso glossario (che effettivamente è fatto abbastanza bene, dando a Cesare quel che è di Cesare), che spiega quali siano i parametri presi in considerazione:

La prevalenza: la frequenza in popolazione della caratteristica che vogliamo individuare. Nell’esempio dei farmaci, la popolazione sono tutte le sostanze farmacologicamente attive della terra, la prevalenza è la frazione di queste sostanze che hanno un uso che a noi interessa.

La sensibilità: la frazione dei Veri Positivi sul totale dei casi che mostrano la caratteristica di interesse. Nell’esempio dei farmaci, prendiamo tutti i farmaci che funzionano e contiamo quanti di essi in percentuale sono stati correttamente identificati dal test.

La specificità: come la sensibilità, ma per i “no”: la frazione di Veri Negativi sul totale dei casi che NON mostrano la caratteristica di interesse. Nell’esempio dei farmaci, prendiamo tutti i farmaci che NON funzionano e contiamo quanti di essi in percentuale sono stati correttamente identificati dal test come non funzionanti.

Il Valore Predittivo Positivo (PPV): La frazione dei Veri Positivi sul totale dei positivi al test. Prendiamo tutti i farmaci che secondo il test funzionano e contiamo quanti di essi effettivamente funzionano.

Il Valore Predittivo Negativo (PPN): La frazione dei veri Negativi sul totale dei negativi al test. Prendiamo tutti i farmaci che secondo il test non funzionano e contiamo quanti di essi effettivamente non funzionano.

Tendenzialmente le principali tesi in difesa della sperimentazione animale dell’articolo sono le seguenti:

  1. Se un test ha un valore basso (es. 5%), basta considerare i risultati positivi come negativi e viceversa per avere un valore diametralmente opposto e dunque superiore (es. 95%).
  2. Meglio avere un minimo risultato che nessuno, anche un test con forti limitazioni aumenta comunque le probabilità di far arrivare nelle fasi successive un farmaco buono rispetto al nulla.
  3. Nei test di validazione si fa in modo che i farmaci efficaci e quelli inefficaci o tossici siano esattamente in uguale proporzione nel campione testato, mentre normalmente non sappiamo qual è la proporzione tra sostanze dannose o inefficaci e sostanze efficaci. 
  4. Se la sperimentazione animale ha sensibilità minima può comunque avere specificità alta e, se ad esempio altri test avranno sensibilità alta e minima specificità, potranno compensarla. La SA dunque non è disprezzabile, ma non la si deve analizzare da sola.
  5. I metodi alternativi vanno validati testandoli con il miglior metodo disponibile, la SA.

Iniziamo dal primo punto:

Se un test ha un valore basso (es. 5%), basta considerare i risultati positivi come negativi e viceversa per avere un valore diametralmente opposto e dunque superiore (es. 95%).

Le obiezioni a questa affermazione sono 3:

1) Come si applica questo principio nei test con valori attorno al 50%? Pur effettuando questa operazione, il dato di previsione rimane scadente.

2) Perché non approvare allora qualsiasi metodo alternativo con valori attorno al 10% e “rigirarlo”? L’animale, in fondo, non è una spesa? Allora perché non rimpinguare le tasche con questo metodo?

Ma lo spieghiamo adesso perché ciò non è possibile:
3) Semplicemente perché non sappiamo se le sostanze scartate dall’animale sono tossiche/inefficaci o efficaci, e, nel caso fossero tutte inefficaci o dannose (sebbene non lo si possa calcolare a priori e quindi è un dato inconoscibile, visto che bisognerebbe testare tutte le sostanze, sia scartate che non, sull’uomo, per sapere se siano o meno utili) ed essendo di più le sostanze scartate di quelle che arrivano all’uomo, l’animale potrebbe fare anche peggio di adesso. Quest’operazione dunque non necessariamente supera i limiti di una metodologia quale la SA, potrebbe invece addirittura peggiorarli.
Affermano, inoltre, sempre sullo stesso argomento:

“la realtà è che quando si tirano fuori cifre di accuratezza che appaiono troppo basse l’accuratezza è stata calcolata male (molti ad esempio conteggiano arbitrariamente fra i “fallimenti” della sperimentazione animale quei casi in cui alla sperimentazione non è seguito un trial clinico, e quindi in realtà mancano riscontri, ma non abbiamo riscontri negativi)”

In primis, ciò va dimostrato, in secondo luogo tale analisi fatta con il senno di poi va in entrambe le direzioni. Quante sostanze hanno portato a interventi clinici che hanno danneggiato le persone e quanti di questi incidenti sono stati scoperti solo dopo le revisioni sistematiche? Infine, più tempo passa, meno possibilità ci sono che una sostanza passi in fase clinica, e spesso ciò avviene perché non la si ritiene abbastanza utile.

Passiamo alla seconda tesi:

Meglio avere un minimo risultato che nessuno, anche un test con forti limitazioni aumenta comunque le probabilità di far arrivare nelle fasi successive un farmaco buono rispetto al nulla.

Certamente senza alcuna protezione ci sarebbe il rischio di immettere più farmaci tossici sul mercato e quindi è meglio una protezione limitata (la SA) che nessuna protezione, d’altra parte però ciò non può essere una giustificazione sulla sufficiente validità del modello animale. Infatti, come già spiegato nei moltissimi articoli di questo sito, questa metodologia ha tantissimi limiti e l’eccessiva fiducia sul suo potenziale può provocare danni alla salute umana (ad esempio, facendo scartare trattamenti utili all’Uomo o non proteggendolo da composti nocivi).
Pertanto è necessario rendersi conto che l’animale va al più presto sostituito e che si devono investire sempre più risorse nell’implementazione e nello sviluppo delle metodologie avanzate.

Passiamo dunque alla terza affermazione:

Nei test di validazione si fa in modo che i farmaci efficaci e quelli inefficaci o tossici siano esattamente in uguale proporzione nel campione testato, mentre normalmente non sappiamo qual è la proporzione tra sostanze dannose o inefficaci e sostanze efficaci. 

In effetti l’animale non è mai stato sottoposto ad una valutazione dove si sapesse che il 50% dei farmaci fosse efficace e l’altro 50 no, quindi non si sa se effettivamente darebbe un risultato migliore o peggiore rispetto alle revisioni sistematiche (che comunque mostrano una certa costanza, ad esempio si sa che il numero di farmaci scartati in fase clinica dopo aver superato la sperimentazione animale gira attorno al 90%, oscillando tra il 92 [1] e il 96 [2]), d’altra parte la difesa della sperimentazione animale, in questo senso, non può essere supportata perché vi è una mancanza di dati.
Anzi, ciò implica la richiesta di una validazione ufficiale dei test su animali per dimostrare che, come accade normalmente con i metodi alternativi, riescano a superare i risultati richiesti ad essi avendo una prevalenza del 50%.
 
Proseguiamo:
Se la sperimentazione animale ha sensibilità minima può comunque avere specificità alta e, se ad esempio altri test avranno sensibilità alta e minima specificità, potranno compensarla. La SA dunque non è disprezzabile, ma non la si deve analizzare da sola.

Le obiezioni a quest’affermazione sono 2:

1) Normalmente la sperimentazione animale segue le precedenti fasi precliniche, quindi valutando la SA si sta valutando tutta la sperimentazione preclinica attuale, non solo i test su animali in maniera isolata, ma neanche così si riesce a riscontrare dei valori alti.

Pertanto l’ipotesi sarà quella di riuscire ad ottenere un risultato alto integrando la SA non alle vecchie, ma a nuove metodologie, d’altra parte però:

2) La regola delle 3R afferma che se si ha un metodo alternativo (o un insieme di metodi alternativi, come nel caso delle Integrated Testing Strategies) con valori uguali o maggiori dell’animale, esso dovrà essere sostituito, indipendentemente dal fatto che unendo anch’esso si otterrà un risultato ancora maggiore.

Passiamo adesso all’ultima tesi:

I metodi alternativi vanno validati testandoli con il miglior metodo disponibile, la SA.

In realtà il miglior “metodo” disponibile è l’uomo, e i test clinici, oltre che gli studi di farmacovigilanza, possono dirci molto sulle proprietà che hanno numerosissime molecole sull’essere umano.
Pertanto è possibile effettuare una validazione testando i composti sul metodo alternativo e comparando i risultati con le reazioni umane che conosciamo grazie ai test clinici e di farmacovigilanza. All’obiezione che si tratta di sostanze che già conosciamo e che sostanze nuove potranno non rispondere allo stesso modo, rispondiamo affermando che, se abbiamo provato dieci farmaci diversi, possiamo supporre che altri dieci si comporteranno nello stesso modo sulla base della regolarità. 
Questa procedura può essere considerata una validazione retrospettiva, e d’altra parte lo stesso ECVAM ha già approvato metodologie grazie a validazioni retrospettive [3].

Note:
1. [Innovation or Stagnation: Challenge and Opportunity on the Critical Path to New Medical Products. U.S. Department of Health and Human Services. Food and Drug Administration. March 2004.]
2. [Kola I, Landis J. Can the pharmaceutical industry reduce attrition rates? Nat Rev Drug Discov. 2004 Aug;3(8):711-5.]
3. [Hartung T, Bruner L, Curren R, Eskes C, Goldberg A, McNamee P, Scott L, Zuang V. First alternative method validated by a retrospective weight-of-evidence approach to replace the Draize eye test for the identification of non-irritant substances for a defined applicability domain. ALTEX. 2010;27(1):43-51.]

Annunci

Rispondi

Inserisci i tuoi dati qui sotto o clicca su un'icona per effettuare l'accesso:

Logo WordPress.com

Stai commentando usando il tuo account WordPress.com. Chiudi sessione / Modifica )

Foto Twitter

Stai commentando usando il tuo account Twitter. Chiudi sessione / Modifica )

Foto di Facebook

Stai commentando usando il tuo account Facebook. Chiudi sessione / Modifica )

Google+ photo

Stai commentando usando il tuo account Google+. Chiudi sessione / Modifica )

Connessione a %s...