Skip to main content
Esiti Articoli

Perché uno studio andato male conta

Il valore dei risultati neutri o negativi

By Dicembre 2023Nessun commento
studi clinici neutri negativi
Fotografia di Lorenzo De Simone

Non tutte le ciambelle escono con il buco e non tutti gli studi clinici si concludono con i risultati attesi. Quando uno studio clinico dà risultati positivi, mostrando un beneficio che può essere trasferito nella pratica clinica, la speranza di ricercatori, medici e pazienti viene soddisfatta perché quei risultati hanno il potenziale per migliorare una cura, un trattamento, un metodo di prevenzione e così via. Tuttavia, uno studio, anche se ben progettato, può non raggiungere il suo endpoint primario e concludersi con risultati neutri o negativi: nel primo caso non emergono differenze significative tra il trattamento sperimentale e la terapia standard, nel secondo, e nel peggiore dei casi, l’intervento ha causato fenomeni sgradevoli imprevisti. È un passo avanti nella conoscenza del farmaco studiato, non è uno spreco di risorse. Anche se gli studi negativi non sempre vengono accolti dall’udienza internazionale, chiariscono quali terapie è opportuno non mettere in atto, quali funzionano in alcuni sottogruppi o non funzionano come si era ipotizzato; aiutano a correggere possibili errori in studi futuri, chiariscono infine che una data linea di ricerca non è conveniente in termini di tempo e risorse.

Prima di trarre conclusioni definitive circa l’efficacia del trattamento è fondamentale però distinguere gli studi che denotano una mancanza di efficacia da quelli in cui vi sono chiari problemi nel disegno. In una recente rassegna [1] pubblicata sul Giornale Italiano di Cardiologia, Alberto Aimo, Scuola Superiore Sant’Anna, e colleghi hanno proposto un approccio organizzato in dieci passaggi – con ampi esempi tratti dalla letteratura – attraverso cui interpretare gli studi neutri e negativi “al fine di escludere importanti questioni metodologiche prima di concludere che il trattamento non funzioni realmente”.

Dieci ipotesi interpretative

Interruzione prematura motivata. Uno studio può essere interrotto per vari motivi: evidenza di superiorità o chiara inefficacia del trattamento sperimentale; aumentato rischio di eventi avversi più alto del previsto nei pazienti che assumono il trattamento; difficoltà di reclutamento (avversità contingenti, tipo covid-19); nuove informazioni sulla sicurezza e l’efficacia del trattamento sperimentale o decisione strategica del finanziatore.

Potenza statistica insufficiente. Gli eventi osservati nel corso dello studio o l’entità dell’effetto sono risultati nettamente diversi dalle assunzioni iniziali. Ciò può essere evidente a prescindere dal gruppo di trattamento (ignoto se lo studio è randomizzato).

Problemi nella conduzione dello studio. Problemi logistici legati alla popolazione reclutata o alla conduzione dello studio possono avere un’importanza cruciale. L’affidabilità degli sperimentatori è fondamentale per avere dati attendibili. Al di là delle vere e proprie frodi scientifiche, l’arruolamento non corretto dei pazienti, l’attribuzione errata o la mancata segnalazione degli eventi, insieme all’inerzia complessiva dello sperimentatore, la scarsa aderenza del paziente, la non attenta vigilanza del centro di coordinamento o l’ingerenza eccessiva degli osservatori esterni possono portare a dati non attendibili o difficilmente interpretabili.

Problemi nella scelta, definizione o interpretazione degli endpoint. Anche un endpoint apparentemente ben definito risente molto della soggettività dello sperimentatore e dell’oggettività dell’osservatore esterno, tanto più quando l’endpoint in questione è dipendente da una decisione del ricercatore (trattamenti interventistici o chirurgici cardiovascolari).

Selezione subottimale di endpoint compositi. Il numero di eventi determina la potenza dello studio. Raggiungere una potenza adeguata è più facile quando l’endpoint primario include molteplici elementi, anche con una fisiopatologia in parte indipendente, più o meno sensibile agli effetti del trattamento. Un endpoint composito dovrebbe però avere rilevanza clinica e includere solamente elementi coerenti con le caratteristiche del trattamento e la cui riduzione sia complementare alle altre componenti dell’endpoint. Quest’ultimo requisito spesso non è soddisfatto.

Trappola nosografica. Ovvero tutti quei casi in cui la popolazione studiata è eterogenea, e include situazioni cliniche sfumate o maldefinibili accomunate in definizioni diagnostiche approssimative (per lo più sindromi), e il trattamento non ha la stessa efficacia in tutta la popolazione.

Assenza di prerequisiti fisiopatologici per l’efficacia del trattamento. I risultati neutri o negativi di alcuni studi potrebbero essere attribuiti, almeno in parte, alla scelta del campione, rappresentato da popolazioni in cui l’efficacia del trattamento è improbabile.

Cancellazione algebrica. In pratica è un esempio estremo della categoria precedente, caratterizzata dall’eterogeneità della popolazione studiata. Si verifica quando i risultati di uno studio sono positivi in alcuni pazienti e negativi in altri, oltre i confini della probabilità casuale, e i valori di segno opposto si elidono.

Trappola della p. In alcuni casi è possibile che il valore di p per l’endpoint primario si avvicini molto alla soglia di significatività statistica (p ≤0.05), rendendo difficile l’interpretazione dello studio e la riproducibilità dei risultati.

Il trattamento non funziona davvero. Quando uno studio con una potenza statistica adeguata e senza significativi problemi metodologici presenta un valore di p relativo all’endpoint primario lontano dalla significatività statistica, la conclusione ragionevole è che il trattamento non è più efficace del suo controllo in quello specifico contesto clinico.

Quando siamo di fronte a uno studio neutro o negativo?

La prima domanda ovvia: lo studio è realmente neutro o negativo? Come detto finora, la metodologia di uno studio deve essere attentamente valutata prima di trarre conclusioni definitive. Infatti, quando vengono rilevati problemi metodologici, lo studio dovrebbe essere considerato non conclusivo, anziché neutro o negativo. Alcuni esempi: quegli studi con una potenza statistica insufficiente; quelli in cui, scrivono Aimo e colleghi, “l’endpoint primario è una combinazione di eventi diversi e solo alcuni di essi sono associati all’effetto del trattamento, mentre gli altri, distribuiti in entrambi i gruppi, determinano semplicemente un rumore di fondo che diluisce l’effetto reale del trattamento”. Anche gli studi in cui la popolazione è molto eterogenea e il trattamento sembra funzionare soltanto in sottogruppi potrebbero essere etichettati come non conclusivi. In alcuni casi, “l’evidenza delle analisi esplorative, al di là del risultato primario, potrebbe essere considerata così forte che gli autori potrebbero affermare che uno studio neutro o negativo secondo i criteri convenzionali possa, almeno in attesa di verifiche ulteriori meglio orientate, essere considerato positivo. Questa è un’evidenza non rara per i farmaci antineoplastici e può avere un profondo impatto sulla ricezione dello studio da parte del pubblico e, in casi eccezionali, anche influenzare le linee guida e le agenzie di regolamentazione”.

Gli studi neutri o negativi sono importanti quanto lo sono gli studi positivi. Orientano la ricerca scientifica clinica e la cura del paziente.

Cosa possiamo imparare da uno studio realmente neutro o negativo?

Gli studi neutri o negativi sono importanti quanto lo sono gli studi positivi. Orientano la ricerca scientifica clinica e la cura del paziente. Secondo quanto riportano gli autori della rassegna, “alcuni studi hanno rivoluzionato la nostra comprensione dei meccanismi fisiopatologici alla base di alcune malattie”. In sintesi, un’analisi approfondita dei risultati di uno studio neutro o negativo può fornire strumenti essenziali per investigatori e sponsor, per migliorare la progettazione di studi futuri. Uno studio negativo può offrire informazioni sulla sicurezza e l’efficacia di un trattamento, può servire come base per un calcolo più realistico della potenza statistica per studi futuri. Infine, gli studi negativi hanno l’importante compito di bloccare ulteriori indagini su terapie dannose o inefficaci. Per concludere gli autori scrivono che “nonostante i grandi progressi nella progettazione degli studi clinici, si possono ancora incontrare diversi problemi metodologici quando si analizzano gli studi di superiorità pubblicati anche su riviste di assoluto prestigio. La capacità di riconoscere possibili problematiche metodologiche è importante per interpretare correttamente gli studi neutri o negativi e per decidere se e come proseguire la ricerca su specifiche strategie di trattamento”.

A cura di Giada Savini

[1] Aimo A, Castiglione V, Fabiani I, et al. Approccio critico all’interpretazione dei trial cardiovascolari con risultati neutri o negativi. G Ital Cardiol 2023:10:818-26.