• Background Image

    Il valore del dato

15 aprile 2016

Il valore del dato

Il valore del dato

Servono investimenti, serve lavorare sulla qualità, serve capacità di analisi

Intervista a Francesco Forastiere e Carla Ancona, Dipartimento di Epidemiologia, Servizio Sanitario

In questo numero di Forward esploriamo il valore delle prestazioni sanitarie e i valori che dovrebbero informarle. Anche la parola valutazione ha nella propria radice il valore: per valutare servono dati o evidenze? Cosa distingue gli uni dalle altre?

Delimitiamo il campo. Parliamo di “valore” dei “dati” o delle “evidenze” nel contesto della valutazione dei risultati di trial clinici, di studi prognostici, di efficacia di interventi, di nessi eziologici tra esposizione e malattia in studi osservazionali. Nel contesto tradizionale della ricerca e della sanità pubblica il “valore” del dato è funzione della sua capacità informativa, ovvero della capacità di procurare elementi e prove a supporto di una o altra teoria. Tanto maggiore sarà la capacità informativa del dato e tanto maggiore sarà il suo valore. Tanto più il dato sarà sintetico e non ridondante, maggiore sarà il suo valore. La capacità informativa è ovviamente diversa nel tempo e in contesti diversi, ovvero è fortemente dipendente dalla domanda di conoscenza. Insomma, esiste anche nel campo delle evidenze una sorta di mercato che regola la domanda e l’offerta, maggiore è la richiesta di informazione e di prove più grande sarà il valore della risposta data. Ad esempio, la domanda di conoscenza sugli effetti cancerogeni di una certa sostanza non è assoluta ma relativa alla diffusione della sostanza, a quanto essa è in uso, al numero dei portatori di interesse coinvolti, agli interessi economici che sono in gioco. Ma il valore del dato, dell’informazione prodotta, dipende da altre caratteristiche intrinseche:

  1. Validità. Il dato rappresenta in modo adeguato quello che vuole rappresentare, ovvero il dato prodotto e il suo valore vero sono vicini. Il risultato della osservazione è dotato quindi di un valore predittivo elevato.
  2. Riproducibilità. Osservatori diversi, o lo stesso osservatore in occasioni diverse, daranno la stessa risposta.
  3. Rappresentatività. Il dato fornisce un quadro fedele dell’insieme di individui o fenomeni che intende rappresentare e permette dunque la generalizzabilità dei risultati.
  4. Incertezza e affidabilità. Il dato viene affiancato da considerazioni sulla sua incertezza statistica, ovvero è conosciuta l’affidabilità del dato o della prova.
  5. Parsimonia. La spesa per la produzione del dato è contenuta rispetto alle risorse disponibili.

Il valore di una stima dell’effetto di un trattamento farmacologico sarà molto alto nel caso in cui tale stima risponda ad un quesito clinico rilevante, provenga da un clinical trial il cui protocollo abbia incluso controlli di qualità rigorosi, lo studio sia stato condotto su popolazioni diverse e quindi i risultati siano facilmente generalizzabili, ed infine l’incertezza intorno al risultato sia contenuta. Tale valore aumenta ancora nel caso non si tratti di un solo clinical trial ma l’osservazione provenga dalla revisione sistematica e metanalisi di tutti i clinical trial disponibili. Di contro, tale valore diminuisce se la stima d’effetto proviene da studi osservazionali, se la base di dati su cui l’analisi è condotta proviene da sistemi informativi la cui qualità non è ben conosciuta, se l’incertezza statistica è grande.

Quanto maggiore è la facilità di generazione di dati, tanto minore rischia di essere il loro valore: quali competenze permettono all’epidemiologo di colmare il gap tra i numeri e le conoscenze?

È chiaro che la disponibilità dei dati attraverso i sistemi informativi basati su dati amministrativi ha reso il lavoro dell’epidemiologo più facile. Come per incanto si è persa l’abitudine al protocollo della raccolta dati e ai controlli di qualità; la Standard Operation Procedure (SOP) non esiste più: i dati ci sono e a basso costo, basta solo analizzarli. Questa rapida disponibilità ha diminuito il valore della informazione prodotta. Non tanto perché l’analisi dei dati è veloce e di costo inferiore, aspetto certamente positivo, ma perché spesso la qualità della informazione raccolta non è elevata e, a volte, addirittura non misurabile.

Facciamo l’esempio dei dati raccolti dai sistemi informativi ospedalieri. La qualità delle diagnosi di dimissione è stata valutata in poche circostanze e in tutti i casi in cui questo è stato fatto si è compreso che, anche nelle condizioni in cui la veridicità della diagnosi è assicurata dalla gravità della patologia e da procedure standardizzate per la diagnosi – come l’infarto del miocardio – la sensibilità e la specificità della diagnosi ospedaliera non è elevata [1,2]. Ora, la relativa disponibilità e il basso costo del dato raccolto per fini amministrativi è troppo allettante e quindi ha senz’altro senso usare questi dati. Ma l’attenzione alla qualità è l’unica cautela da seguire favorendo tutte le procedure per assicurare la qualità della raccolta, codifica e trascrizione dei dati e soprattutto garantendo indagini periodiche di livello nazionale sulla qualità e validità dei dati raccolti. Senza tale programma il basso costo del dato amministrativo non corrisponde ad un valore adeguato dei risultati analitici prodotti

Le capacità di analisi statistica nel nostro Paese certo non mancano, ma un processo formativo sulle capacità di interpretazione dei risultati, specie per quel che riguarda gli studi osservazionali, sarebbe necessario.

Quali caratteristiche del dato mettono in condizione di giudicare il valore di una nuova tecnologia?

È ovvio che esistono delle pregiudiziali nella valutazione di risultati di studi clinici e di intervento che valutano l’utilità diagnostica o terapeutica di nuove tecnologie; tali pregiudiziali spesso passano inosservate e si è abituati a non farci caso. Una ricerca, una produzione di evidenze di efficacia, perde drammaticamente valore se non è effettuata in modo indipendente. Non è un mistero per nessuno, la ricerca sponsorizzata tende a presentare risultati distorti a favore degli interessi della struttura che sponsorizza. La credibilità della ricerca stessa è dunque in crisi. Il valore della ricerca sta nella sua indipendenza da chi finanzia, dal rigore metodologico applicato, dal continuo processo di verifica di qualità, dalla trasparenza nella presentazione dei risultati.

Il punto di osservazione e gli strumenti per osservare rischi e efficacia delle nuove tecnologie influiscono sulla capacità di attribuire un valore agli interventi in sanità?

Il valore della ricerca e dei suoi risultati, le implicazioni per la cura dei pazienti e per gli interventi di sanità pubblica dipendono tutti dalla disponibilità di dati raccolti in contesti e condizioni reali diverse. Solo in questo modo sarà possibile generalizzare i risultati. Purtroppo nel nostro Paese manca la cultura della sperimentazione degli interventi nel senso scientifico del termine. Spesso la parola “sperimentazione” di nuove modalità di erogazione della assistenza, di interventi sanitari, di introduzione di nuove tecnologie significa “proviamo a fare… e vediamo se riusciamo”. Ovvero scarsa o nessuna attenzione al disegno sperimentale e alla valutazione di efficacia. Quindi, la riuscita o meno della sperimentazione diventa materia di dibattito politico, di guerra di posizione spesso dimenticando gli scopi iniziali e con una grande spesa di denaro. Nei casi positivi la sperimentazione si fa, magari dal punto di vista operativo funziona anche, ma non sapremo mai se ha portato un guadagno di salute perché non si è previsto un gruppo di controllo magari randomizzato. Il valore più grande lo potrebbero avere oggi dei trial specifici per testare sul campo l’introduzione di nuove tecnologie. Risorse ben spese per un contenuto informativo alto.

La rivoluzione promossa dai Big Data sta modificando rapidamente e in profondità alcune abitudini della ricerca e della pratica in epidemiologia e sanità pubblica, grazie alla possibilità di rapida integrazione e analisi di informazioni su larga scala.

La complessità delle analisi necessarie per capire il reale valore di un intervento richiede investimenti importanti in termini di qualità del dato e capacità di analisi. Siamo attrezzati? Cosa occorrerebbe fare da qui al futuro?

Investimenti, qualità e capacità di analisi. Certo, il sogno di noi tutti. Ma la realizzazione del sogno passa attraverso un adeguato finanziamento della ricerca per il quale siamo in coda tra i paesi europei. Qualche giorno fa è stata pubblicata la graduatoria dei progetti finalizzati di AIFA per la ricerca: anno di bando 2012! La quota disponibile per la ricerca finalizzata del Ministero della Salute è oltremodo ridotta e subisce tagli progressivi, il fondo per la ricerca della Università praticamente non esiste. Siamo costretti al limbo della inerzia o all’inferno della ricerca sponsorizzata, a meno che Regioni virtuose non inizino a muoversi riconoscendo che quello che può essere prodotto dalla ricerca finalizzata regionale ha un valore elevato. Le capacità di analisi statistica nel nostro Paese certo non mancano, ma un processo formativo sulle capacità di interpretazione dei risultati, specie per quel che riguarda gli studi osservazionali, sarebbe necessario [3]. Il know-how statistico ed epidemiologico deve integrarsi in modo più completo con quello clinico e programmatorio, soprattutto in considerazione del fatto che la rivoluzione promossa dai Big Data sta modificando rapidamente e in profondità alcune abitudini della ricerca e della pratica in epidemiologia e sanità pubblica, grazie alla possibilità di rapida integrazione e analisi di informazioni su larga scala [4]. Infine il grande tema della qualità dei dati dei sistemi informativi sanitari: il grande investimento che Regioni e organi centrali hanno fatto per costruire gli strumenti informativi per il governo e la ricerca deve essere accompagnato da una continua attenzione al mantenimento e al monitoraggio della qualità dei dati e al del loro valore informativo.

aprile 2015

Bibliografia
[1] Herrett E, Shah AD, Boggon R, Denaxas S, Smeeth L, van Staa T, Timmis A, Hemingway H. Completeness and diagnostic validity of recording acute myocardial infarction events in primary care, hospital care, disease registry, and national mortality records: cohort study. BMJ 2013;20;346:f2350.
[2] Cardo S, Agabiti N, Picconi O, Scarinci M, Papini P, Guasticchi G, Gentile D, Forastiere F, Arcà M, Volpe M, Perucci CA.The quality of medical records: a retrospective study in Lazio Region, Italy. Ann Ig 2003;15(5):433-42.
[3]Vandenbroucke JP, Beroadbent A, Pearce N. Causality and causal inference in epidemiology: the need for a pluralistic approach. Int J Epidemiol 2016;22:dyv341.
[4]Mooney SJ, Westreich DJ, El-Sayed AM. Commentary: Epidemiology in the era of big data.epidemiology. 2015;26:390-4.

0 Comments

Leave A Comment

Lascia un commento

Iscriviti alla newsletter di Forward

Quando invii il modulo, controlla la tua inbox per confermare l'iscrizione

Pin It on Pinterest

Share This