Lo step cruciale dell’Evidence-based Medicine (EBM) è la valutazione critica della letteratura (critical appraisal) il cui obiettivo ultimo è l’identificazione delle migliori evidenze scientifiche da integrare nelle decisioni clinico-assistenziali. L’applicazione del rigoroso filtro dell’EBM dimostra che il rapporto segnale/rumore tra evidenze scientifiche di buona qualità e letteratura pubblicata è estremamente basso. Infatti, alle pubblicazioni secondarie (ACP Journal Club, Evidence-Based Medicine) che “scremano” le migliori evidenze sopravvive solo il 5% della letteratura pubblicata.
Questo contributo definisce le dimensioni (domains) che condizionano la valutazione critica della ricerca clinica, per offrire un linguaggio comune sia agli evidence-makers (ricercatori), sia agli evidence-users (professionisti). Non saranno qui analizzati specifici strumenti metodologici, in parte già trattati nei numeri precedenti (randomizzazione, blinding, significatività statistica), in parte oggetto di prossimi approfondimenti (intention-to-treat analysis, rilevanza clinica degli outcomes, misure di efficacia dei trial e limiti di confidenza, etc).
Dimensioni del critical appraisal
Quattro dimensioni influenzano la qualità della ricerca clinica: validità interna, rilevanza clinica, applicabilità, consistenza. Le prime tre caratterizzano sia gli studi primari - osservazionali e sperimentali - sia le revisioni sistematiche; la consistenza è invece una dimensione esclusiva delle revisioni sistematiche con meta-analisi.
Le variabili che condizionano le varie dimensioni sono esemplificate facendo riferimento ad un trial clinico che valuta l’efficacia di un trattamento, ma il modello è applicabile a tutti i disegni di studio: trasversali (valutazione dell’accuratezza diagnostica), coorte e caso-controllo (valutazione dei fattori di rischio), longitudinali di coorte (valutazione della storia naturale di malattia e dei fattori prognostici).
1. Validità interna
Sinonimo: validità metodologica.
Ha l’obiettivo di minimizzare gli errori sistematici (bias) che possono “compromettere” i risultati dello studio. Per tale ragione, la validità interna è correlata al rigore metodologico seguito dai ricercatori nella pianificazione e conduzione dello studio e nell’analisi dei risultati. I criteri di validità interna definiti dall’epidemiologia clinica per i diversi disegni di studio, si sono progressivamente evoluti sino ad essere standardizzati dalle Users’ Guides to Biomedical Literature - “testo sacro” del critical appraisal - e fatti propri da tutte le pubblicazioni secondarie. In particolare, in un trial clinico i criteri di validità interna, con i rispettivi bias prevenuti, sono:
- Assegnazione randomizzata dei partecipanti utilizzando una “lista nascosta” (bias di assegnazione).
- Blinding (bias di accertamento dell’esito).
- Analisi dei dati secondo il principio dell’intention-to-treat (bias di violazione di protocollo).
2. Rilevanza Clinica
Sinonimo: significatività clinica.
Nel critical appraisal corrisponde alla fase di analisi dei risultati e misura - oltre la significatività statistica - l’entità e la precisione dei benefici del trattamento. Nei trial la rilevanza clinica è influenzata dalle seguenti variabili:
- End-point misurato: surrogato vs clinicamente rilevante.
- Numero di pazienti da trattare per ottenere un beneficio: Number needed to Treat (NNT).
- Numero di pazienti da trattare per osservare un effetto avverso: Number needed to Harm (NNH).
- Precisione dei risultati di NNT/NNH espressa dai limiti di confidenza (95% CIs).
3. Applicabilità
Sinonimi: validità esterna, generalizzabilità.
E’ il grado con cui i risultati dello studio possono essere applicati al proprio contesto assistenziale e, nello specifico, al paziente individuale. In tutti i disegni di studio l’applicabilità è condizionata da tre variabili:
- Pazienti arruolati nello studio, secondo i criteri di inclusione e di esclusione previsti dal protocollo.
- Setting assistenziale in cui viene condotto lo studio: requisiti strutturali e organizzativi, tecnologie disponibili, livello di competence professionale.
- Descrizione accurata e completa di procedure e modalità di erogazione degli interventi sanitari oggetto dello studio.
4. Consistenza
Sinonimo: riproducibilità.
Documenta che i risultati di uno studio vengono confermati da studi simili; per tale ragione la consistenza è una caratteristica esclusiva delle revisioni sistematiche con meta-analisi che permette di apprezzare graficamente se i risultati dei vari studi sono simili o discordanti.Occorre tenere presente che il bias di pubblicazione (tendenza a non pubblicare gli studi con risultati negativi), oltre a sovrastimare l’efficacia dei trattamenti, aumenta artificiosamente la consistenza della ricerca.
Problematiche aperte e possibili soluzioni
Sharon Strauss e Brian Haynes sottolineano che “per supportare decisioni basate sulle evidenze i professionisti necessitano di fonti d’informazione affidabili, rilevanti e leggibili” e auspicano che “gli editori e chi finanzia la ricerca siano capaci di trovare nuovi strumenti per soddisfare questa esigenza” (CMAJ 2009;180942-5).
Infatti, l’incremento esponenziale del volume della letteratura biomedica, la crescente complessità della metodologia della ricerca e l’esigenza degli sponsor commerciali di produrre risultati positivi a tutti i costi, hanno reso sempre più complesso il critical appraisal (figura). Il suo apprendimento, inoltre, accanto all’acquisizione di competenze metodologiche e statistiche non ancora previste dai curricula tradizionali, richiede un esercizio periodico integrato nell’attività professionale, attraverso i problem-oriented journal club.
La complessità del critical appraisal, insieme alla limitata disponibilità di tempo dei professionisti, costituisce un ostacolo rilevante alla diffusione dell’EBM. La soluzione proposta è di utilizzare le cosiddette fonti pre-digested (Cochrane Library, Clinical Evidence, Up-to-Date, Dynamed, pubblicazioni secondarie), dove il processo di ricerca-valutazione critica delle evidenze viene effettuato da esperti di metodologia della ricerca. Pur riconoscendo il pragmatismo del messaggio, esiste il rischio che il parere del collega esperto – già sacrificato dall’EBM – venga sostituito dall’accettazione acritica di fonti d’informazione secondaria, nessuna delle quali peraltro è accessibile gratuitamente!
In ogni caso, è indispensabile non dimenticare che il principio ispiratore dell’EBM - “predicato” da David Sackett, “padre spirituale” dell’EBM - è proprio lo sviluppo del senso critico e di un sano scetticismo nei confronti della letteratura biomedica. In altri termini, come afferma Curt Furberg: Evaluating Clinical Research: All that glitters is not gold.
KEY POINTS
- La valutazione critica della letteratura biomedica è una key-competence dell’EBM
- La qualità degli studi primari è influenzata da tre dimensioni: validità interna, rilevanza clinica, applicabilità
- La validità interna di uno studio dipende dal rigore metodologico
- La rilevanza clinica esprime l’entità e la precisione dei risultati dello studio
- L’applicabilità è il grado con cui i risultati dello studio sono applicabili nel proprio contesto assistenziale e al paziente individuale
- La consistenza è una dimensione esclusiva delle revisioni sistematiche con meta-analisi di più studi
- I professionisti, per superare la complessità del critical appraisal, possono utilizzare numerose risorse bibliografiche pre-digested
- Un’attitudine fondamentale per i professionisti è mantenere un “sano scetticismo” nei confronti della letteratura biomedica
