JAMA
LEGGERE CRITICAMENTE UN LAVORO SCIENTIFICO

Discussione operativa con Luigi Greco del Dipartimento di Pediatria di Napoli, ydongre@unina.it

INTRODUZIONE

Ti propongo uno schema riassuntivo dei punti critici da controllare e comprendere allo scopo di valutare la utilità di un messaggio proposto nell’articolo scientifico.

Lo Schema Generale fornisce un quadro riassuntivo delle tipologie di lavori scientifici, con alcune valutazioni ‘cruciali ‘.  Suddivide i contributi in ‘studi originali’  di tipo sperimentale, e ‘studi integrativi’ di tipo metanalitico.

SCHEMA GENERALE

Tipi di studio
Studi Originali

Punto Critico

Quesito Importante

Terapia

Randomizzazione

L’allocazione dei trattamenti è stata casuale?

 

"Intention-to-treat"

Sono stati considerati fino alla conclusione tutti i pazienti entrati nello studio?

Diagnosi

Attendibilità

C’era un paragone indipendente, ed in cieco, uno standard di riferimento?

 

Applicabilità

Il campione studiato rappresentava la tipologia di pazienti cui va applicato il test nella pratica clinica?

Analisi del Rischio

Gruppi omogenei

Erano i gruppi a confronto chiaramente identificati e simili per le variabili che potevano influenzare il risultato oltre a quelle da valutare nello studio)?

 

Confondimento

Sono stati misurati nello stesso modo sia l’esposizione che il risultato nei gruppi posti a confronto?

Prognosi

Rappresentatività

C’era un campione di pazienti rappresentativo in un determinato punto nel corso della malattia?

 

Follow up

Era il periodo di follow up sufficientemente lungo e completo?

Tipi di studio
Studi Integrativi

Punto Critico

Quesito Importante

Metanalisi

Validità

Rispondeva la revisione ad un quesito ben puntualizzato?

 

Solidità

Sono stati definiti appropriati criteri per scegliere gli articoli da includere?

Linee Guida

Validità

Sono state ben definite le varie scelte ed i risultati conseguenti?

 

Solidità

Erano basate su criteri espliciti di ricerca, selezione e combinazione di evidenze scientifiche?

Analisi Decisionale

Validità

L’analisi corrisponde fedelmente ad una importante e reale decisione clinica?

 

Solidità

Nel definire le probabilità a priori sono state utilizzate evidenze valide?

Analisi Economica

Validità

Sono state paragonate due o più alternative realistiche bene identificate?

 

Solidità

La stima delle conseguenze attese da ciascuna alternativa era basata su solide evidenze scientifiche?

Avendo visto il quadro generale, vorrai passare a valutare uno specifico lavoro scientifico. Molto frequenti sono quelli che valutano nuove terapie, vuoi procedere con me?

GUIDA AL PROGRESSO SU TERAPIE E TRATTAMENTI
Se vuoi percorrere questa tabella di Punti Critici per valutare studi di terapie e trattamenti hai due possibilità:
1. Leggere rigo per rigo i 'Quesiti Importanti' (in bleu), cliccarci sopra ed avere una mia piccola spiegazione su quel quesito.
2. Dopo aver letto la tabella, e le eventuali mie spiegazioni, a fine tabella seguire una applicazione reale del quesito ad un lavoro apparso recentemente in letteratura, definita 'ESERCITAZIONE'.


VALUTAZIONE DI TERAPIE E TRATTAMENTI
 

Quanto sono validi i risultati dello studio?

Questi risultati rappresentano una stima valida dell’effetto del trattamento?

Randomizzazione

E' l'unico modo per stratificare per le variabili confondenti ed evitare la selezione distorta dei pazienti.

"Intention-to-treat"

Basta essere ‘assegnati’ per doverci rimanere fino alla fine, indipendentemente dall’aver fatto o no il trattamento o il placebo.

Follow up

Chi interrompe prima, chi poi, chi ‘quasi al termine’, chi ‘dopo il termine’, o misure ‘sostitutive’ dell’esito al tempo pianificato e dovuto.

 

I pazienti non sono ordinatissimi e costanti, possono non fare il trattamento, e non devono per questo essere posti nel gruppo ‘placebo’, tantomeno essere esclusi: I ‘non-complianti’ vanno, in genere, peggio, anche se prendono placebo.

Doppio cieco

Non c’è soluzione: non cieco = non trial, non esperimento, altre cose. Allora descrivere i dati

Selezione

Bisogna controllare ‘in fede’ l’effetto della randomizzazione.

Placebo

E’ importante trattare ‘egualmente’ i controlli, cioè essere in cieco veramente

Quali erano i risultati?: dimensioni dell’effetto del trattamento

Utilità

In uno studio con 100 bambini trattati e 100 a placebo si è osservato che il 20% (= 0.2) dei bambini con asma severa si ricoverano, mentre usando un nuovo puff a casa verifichiamo che se ne ricoverano solo il 15% (= 0.15)

 
CASI
%
 

Rischio di base senza terapia

20/100

20%

0.2

Rischio dopo Terapia

15/100

15%

0.15

Riduzione del Rischio Assoluto di Ricovero

20/100-15/100

20%-15%

0.05

Rischio Relativo Terapia/Non Terapia

(15/100)/(20/100)

0.15/0.20

0.75

Riduzione del Rischio Relativo (RRR)

1-0.75 x 100

25%

0.25

Precisione

Tornando all'esempio precedente calcoliamo che la Riduzione del Rischio Relativo (RRR) è del 25%, ma il range, con questo numero di casi, è molto ampio:
I limiti di confidenza al 95% della Riduzione del Rischio Relativo vanno da -38% a +59% , cioè da danno a grande efficacia.
(il range è inversamente proporzionale al numero dei pazienti e dei controlli reclutati)
Se invece di 100 avessimo 1000 pazienti in ogni gruppo, il range sarebbe dal 9% al 41%, sempre positivo , cioè sempre efficace
.
INTERPRETAZIONE DEL RANGE DI RIDUZIONE DEL RISCHIO RELATIVO
L.C. del RRR < 0
= danno
P >0.05
L.C. del RRR 0
= nessun effetto
P =0.05
L.C. del RRR >> 0
= effetto certo
P <0.05

 

Quanto mi saranno utili questi risultati nella gestione dei miei pazienti?

Applicabilità

Perché no? Ma esistono sottogruppi "favoriti" o "sfavoriti"?


*GUARDARE CON FIDUCIA ALL’ANALISI DEI SOTTO-GRUPPI SOLO SE:

1

L’effetto del trattamento nel sottogruppo è molto importante;

2

E’ molto improbabile (p<<<) che sia accaduto per caso, essendoci diversi sottogruppi;

3

Già nel disegno dello studio erano specificati i sottogruppi da analizzare;

4

E’ stata fatta una sola, o molto poche, analisi per sottogruppi;

5

Il risultato è stato riprodotto in altri studi;

Completezza

Evitare di proporre ‘surrogati’ ai risultati clinici rilevanti, quali funzioni, indici, analisi di laboratorio, clearance virali, ecc., al posto di guarigione, miglioramento, successo.

Costo-beneficio

NNT= 1/Riduzione del Rischio Assoluto

Torniamo al nostro esempio
Se consideriamo il gruppo dei bambini con un rischio medio di ricovero per asma del 20% (= 0.2) e la terapia col Puff riduce il Rischio del 25% (a 0.15), con Riduzione del Rischio Assoluto di Ricovero per Asma del 0.2-0.15 = 0.05
Il numero di bimbi da Trattare per Evitare 1 Ricovero NNT = 1/0.05 = 20
Se consideriamo i bambini meno gravi con un rischio di ricovero del 2% (=0.02)
Il numero di bimbi da Trattare per Evitare 1 Ricovero NNT = 1/0.005 = 200

Se il Puff porta nausea e vomito nel 10% dei bambini trattati, avremo
bambini con nausea per ogni Ricovero
Evitato = da 2 a 20 a seconda del
rischio individuale di ricovero "a priori
" senza terapia.




VALUTAZIONE DI UN NUOVO TEST DIAGNOSTICO
 

Quanto sono validi i risultati dello studio?

Studi Originali

Quesito Importante

Attendibilità

Tutti i casi in studio debbono avere avuto il test di riferimento, anche se invasivo (biopsia, scan, altro) o almeno la certezza diagnostica a posteriori. E’ anche indispensabile che i due test (nuovo e ‘standard’) siano indipendenti ed ‘in cieco’ tra di loro. L’esito del test ‘standard’ non può’ influenzare il nuovo test.

Applicabilità

Distinguere tra malati e controlli in genere non serve, anche se il "p" esce molto significativo, distinguere tra condizioni simili è altro invece (vedi polmonite virale da polmonite batterica, ad es.).

Studi Integrativi

Quesito Importante

Utilità

Attenti a:
"bias di verifica" = si conferma un test invasivo conclusivo in base al risultato del test in studio (es. fanno la biopsia gli EMA+ ma mai gli EMA-, come si fa a valutare il test EMA?)

"bias da secondo test standard" = i casi HP positivi fanno due endoscopie, i negativi non sono seguiti con altre endoscopie.

Replicabilità

Il test è ottimo nella popolazione e nel posto in cui è stato sviluppato, peggiora quando cambia cosa. (es. gocce di grasso nelle feci, eosinifili nel muco nasale, ecc.)

Quali erano i risultati?

Solidità

Probabilità Pre-test = Probabilità che quel paziente, di quell’età, ed in quelle condizioni cliniche abbia la malattia (= probabilità clinica, prima di eseguire un test), molto diversa da paziente a paziente per la stessa malattia (es. celiachia in familiare di primo grado o celiachia senza familiarità).
Il nuovo test è utile se aumenta significativamente, in quel paziente la probabilità pre-test convertendola in probabilità post-test.

Probabilità post-test >> probabilità pre-test

Rapporto di Verosimiglianza = probabilità post-test/probabilità pre-test

Il Rapporto di Verosimiglianza esprime di quanto un test è capace di aumentare, o diminuire la probabilità pre-test,

Cioè di quante volte il nuovo test raffina la probabilità diagnostica, la rende più o meno verosimile.


Se un bambino, con febbre e rantoli, ha una probabilità di avere una polmonite batterica:
Probabilità pre-test = 20% = 0.2
Fa la conta dei Globuli Bianchi = 18.000 (N= 55%)
Questo test aumenta la probabilità di avere una polmonite batterica all’80% = 0.8
Rapporto di Verosimiglianza = post-test 80%/pre-test 20% = 0.8/0.2 = 4
LA PROBABILITA’ DI MALATTIA E’AUMENTATA DI 4 VOLTE
Se invece i Globuli Bianchi sono 700 (N= 32%)
Questo test diminuisce la probabilità di avere una polmonite batterica al 5% = 0.05
Rapporto di Verosimiglianza = post-test 5%/pre-test 20% = 0.05/0.2 = 0.25
LA PROBABILITA’ DI MALATTIA E’DIMINUITA AD ¼

Valore
1
< 0.1 o > 10
da 0.1 a 0.2 o da 10 a 5
tra 0.2 e 0.5 o tra 5 e 2
tra 0.5 a 1 e tra 2 a 1

Giudizio sul Rapporto di Verosimiglianza
Il Test non serve a nulla: post-test = pre-test
Il test è di grande utilità
Il Test produce una moderata modifica del pre-test
Il Test produce una piccola modifica del pre-test
Il Test non produce modifiche significative del pre-test

Quanto mi saranno utili questi risultati nella gestione dei miei pazienti?

Applicabilità

La riproducibilità del nuovo test e la sua interpretazione saranno realmente possibili nel mio ambiente di lavoro?

Applicabilità

Posso applicare questi risultati alla cura dei miei pazienti?

Gestione

Questi risultati potranno cambiare la mia gestione del paziente?

Beneficio

E’ possibile che i pazienti staranno meglio per effetti del nuovo test?



VALUTAZIONE DI UN ARTICOLO SU RISCHI E DANNI
 

Quanto sono validi i risultati dello studio?

Studi Originali
Quesito Importante

Gruppi omogenei

Erano i gruppi a confronto chiaramente identificati e simili per le variabili che potevano influenzare il risultato oltre a quelle da valutare nello studio)?

Confondimento

Sono stati misurati nello stesso modo sia l’esposizione che il risultato nei gruppi posti a confronto?

Follow up

Era il periodo di follow up sufficientemente lungo e completo?

Studi Integrativi

Quesito Importante

Solidità

C’è una relazione temporale corretta tra rischio ed effetto?

 

C’è un visibile gradiente dose del rischio-risposta dell’effetto?

 

Quali erano i risultati?

Solidità

Quanto era forte l’associazione tra esposizione e risultato?

 

Quanto era precisa (limiti di confidenza) la stima del rischio?

 

Quanto mi saranno utili questi risultati nella gestione dei miei pazienti?

Applicabilità

Questi risultati sono applicabili realmente al mio contesto di lavoro?

Gestione

Qual è la reale grandezza del rischio?

Beneficio

Dovrei allora io stesso tentare di combinare l’esposizione a questo rischio?




VALUTAZIONE DI UN ARTICOLO SULLA PROGNOSI
 

Quanto sono validi i risultati dello studio?

Studi Originali
Quesito Importante

Rappresentatività

C’era un campione di pazienti sufficientemente rappresentativo in determinati punti nel corso della malattia? (o molti all’inizio, pochissimi alla fine?)

Follow up

Era il periodo di follow up sufficientemente lungo e completo?

Studi Integrativi
Quesito Importante

Solidità

Sono stati utilizzati misure di esito sufficientemente obiettive e non distorte?

Correttezza

E’ stata fatta una adeguata correzione per fattori prognostici importanti?

 

Quali erano i risultati?

Applicabilità

Quanto e’ probabile che l’evento in studio si verifichi in un determinato periodo di tempo?

Rigore

Quanto è precisa la stima della probabilità (limiti di confidenza)?

 

Quanto mi saranno utili questi risultati nella gestione dei miei pazienti?

Applicabilità

I pazienti reclutati nello studio erano simili a quelli che vedo io?

Gestione

Questi risultati potranno direttamente indurre a scegliere o ad evitare delle terapie?

Beneficio

Potrò utilizzare questi risultati almeno per rassicurare e consigliare i pazienti?



Jaeschke R, Guyatt GH, Sackett DL, The Evidence-Based Medicine Working Group,

USER’S GUIDE TO THE MEDICAL LITERATURE, Part I to IV, JAMA, 1994, Vol 271 e Vol 272

La serie è tradotta in ITALIANO in:

JAMA Ed. Italiana, Supplemento, Maggio 98 – Vol 10, N. 4

Liberati A: Guida alla lettura critica di un articolo sull’efficacia di un trattamento, NAM 2, 1986, 341-351