Ci aveva visto giusto, Eugenio Picano, quando diversi anni fa descriveva la sindrome di Ulisse del manoscritto scientifico: qualsiasi articolo, bello o brutto che sia, utile o inutile, prima o poi trova un porto dove approdare [1]. Altro che fallimento. Ma il problema è il tempo necessario per l’attracco, tra giganti antropofagi, incantevoli ninfe e sirene seducenti…
L’infinita attesa
Dal punto di vista di chi fa ricerca, il tempo che passa tra la submission dell’articolo e la prima risposta della redazione della rivista è fondamentale: un rifiuto immediato (vuoi per ragioni di forma o di sostanza o perché il lavoro è giudicato inadatto alla rivista) è un insuccesso a suo modo tollerabile, di certo preferibile a un tempo molto lungo per il compimento del primo ciclo di revisione [2]. La durata della peer review dipende dall’ambito dell’articolo: più breve nel caso della chimica o dell’ingegneria e più lunga per economia e gestione aziendale. In media, un articolo sottoposto ad una rivista di medicina impiega poco più di quattro mesi per completare il percorso di valutazione (positivamente o negativamente) e tra i quattro e i cinque mesi per essere pubblicato una volta approvato. Tempi eccessivi comuni quasi a tutte le riviste, anche se le più conosciute – quindi con uno staff più ampio e processi più organizzati – impiegano un tempo appena un po’ più breve sia per arrivare alla decisione, sia per pubblicare l’articolo [3].
Per rendere più veloce il percorso, alcune riviste del gruppo editoriale Springer Nature hanno adottato una politica di revisione tra pari “portatile”: le riviste sono aperte a considerare i manoscritti sulla base dei commenti ricevuti dai revisori incaricati da altre riviste, comprese quelle che non sono pubblicate da altre case editrici. Questo rende più facile il passaggio di lavori tra riviste diverse condividendo le revisioni e le identità dei referee. Interessante anche la C19 Rapid review initiative, un’intesa tra editori e istituzioni che richiede ai revisori di impegnarsi in tempi di lettura rapidi e di accettare che i loro commenti e identità siano condivisi tra direttori di riviste diverse, se gli articoli vengono inoltrati a diversi periodici.
La pandemia da covid-19 ha costretto molte case editrici ad accelerare il cambiamento delle loro procedure. La “paperdemics”, infatti, ha colpito sia le riviste più famose sia quelle meno conosciute [4] e in molti casi, a prescindere dalle dimensioni o dal prestigio, è stato inevitabile esplorare soluzioni per valutare con tempestività i lavori ricevuti. Riviste ed editori mirano ad attrarre revisori che possano aiutare a pubblicare rapidamente nuove conoscenze utili per affrontare l’emergenza sanitaria. Il Medical Journal of Australia ha creato delle corsie preferenziali per la ricerca correlata a covid-19 che prevedono delle rapid reviews e degli spazi di pre-print: la direzione della rivista ha messo le mani avanti, dicendo che rendere tutto più veloce può certamente causare degli errori, ma ritardare la pubblicazione può avere conseguenze ancora peggiori [5]. Anche la Royal Society Open Publishing ha stabilito un percorso prioritario per i contenuti su covid-19, prevedendo un gruppo di 700 revisori che si sono impegnati a rivedere un articolo in 24-48 ore dal momento in cui accettano di valutarlo [6]. Nelle riviste dell’American Medical Association (il JAMA Network) la peer review è stata presa in mano dallo staff editoriale [7]. La strada percorsa da eLife ha voluto rendere meno difficile la vita agli autori proteggendoli da richieste capziose di referee troppo pignoli [8]. Insomma, se c’è di mezzo covid-19 il rischio di insuccesso sembra essere inferiore, ma va considerato che un grande alleato della frustrazione di un autore è la vita breve dei contenuti: se le cose che hai proposto non sono pubblicate rapidamente, il rischio che diventino superate è veramente molto alto.
Qualcosa di molto simile, del resto, si verifica nell’ambito dell’attività di ricerca, dove i tempi tra la presentazione di una proposta di sperimentazione e l’approvazione (o semplicemente il parere delle istituzioni) sono sempre superiori a qualsiasi ragionevole attesa. Col risultato di rendere molte volte poco attuali (o meno motivate) le domande presentate, una volta approvate.
L’infinita arroganza
La rapidità della valutazione non può essere confusa con la fretta o con la sciatteria, però: una cosa che sta venendo fuori negli ultimi anni – e che non c’entra ovviamente con la pandemia – è che sempre più spesso i pareri dei referee hanno un tono derisorio o contengono frasi offensive nei riguardi degli autori, come ha confessato Jeff Clements, un’autorità nel campo dell’ecologia marina: “Nel mio ambito – ecologia ed evoluzione – un’analisi che ho svolto con alcuni colleghi ha rilevato che il 10-35 per cento delle revisioni tra pari contiene passaggi irrispettosi e nel 43 per cento delle revisioni c’è almeno un commento inadeguato ad uno scambio di pareri tra professionisti. Posso dire di aver sopportato commenti del tipo ‘non considererei neanche scienza il lavoro degli autori’” [9]. In casi del genere, la sensazione di frustrazione è doppia, perché mentre i commenti costruttivi dei revisori possono contribuire in modo sostanziale alla qualità degli articoli scientifici, a pareri superficiali, contraddittori o inappropriati da parte dei revisori è molto spesso impossibile rispondere.
I love journals that make you complete a mountain of paperwork before they desk reject a paper. Vinay Prasad [Twitter, 11 agosto 2020]
Una cosa che si dimentica spesso è che la moltiplicazione delle riviste scientifiche ha messo i direttori delle riviste di fronte ad un esagerato bisogno di collaboratori per la peer review. Gran parte dei ricercatori, però, non sa come si fa perché non ha mai ricevuto una formazione adeguata. Come se non bastasse, ancor più raramente viene insegnato loro il galateo della revisione tra pari [10]. Ma se dopo una certa età difficilmente si può essere educati alla cortesia, il critical appraisal della letteratura dovrebbe essere una competenza fondamentale di un professionista sanitario e saper leggere dietro le righe di un lavoro di ricerca sarebbe un esercizio ovvio in qualsiasi scuola di specializzazione.
Se parliamo di frustrazione dovuta al sottostare ad una sorta di abuso di potere, non si può non citare anche il disagio – per usare un eufemismo – dei ricercatori che pur avendo ideato e condotto degli studi vedono la propria firma chiusa a sandwich tra il nome del direttore del dipartimento e quello del proprio diretto superiore. Un panino difficile da digerire, soprattutto se non si è più alle prime armi.
L’infinita opacità
Essere sufficientemente competenti nel valutare metodi e risultati di uno studio costa fatica. Essere poco gentili invece è assai più facile, soprattutto se la peer review è gestita – come si suol dire – in singolo cieco: un revisore mascherato dietro l’anonimità può permettersi non soltanto di essere insolente ma anche di prendersi delle rivincite nei confronti di colleghi. In un sondaggio svolto dalla rivista Nature [11] – che ha raccolto le risposte di 1230 referee – l’82 per cento dei partecipanti ha convenuto che il tradizionale processo di revisione tra pari è efficace nel garantire che il lavoro pubblicato sia di buona qualità. Tuttavia, il 63 per cento degli intervistati ha suggerito ai direttori delle riviste di sperimentare metodi alternativi di referaggio. Più della metà delle persone che hanno risposto ha sollecitato maggiore trasparenza.
A proposito di trasparenza, alcune riviste danno ai revisori la possibilità di scegliere tra l’anonimato e figurare come referee dei lavori che hanno valutato. Negli ultimi tre anni, circa 3700 revisori di articoli nel campo delle scienze naturali hanno scelto di vedere il loro impegno riconosciuto pubblicamente e circa l’80 per cento degli articoli su Nature vede nominato almeno un referee. Il 55 per cento dei revisori ha scelto di apparire: il 26 per cento ha rifiutato e il 19 per cento non ha proprio risposto all’invito [11].
Sempre a proposito di trasparenza – e di metodo della revisione tra pari – è notizia di questi giorni la decisione delle riviste del gruppo del Lancet di inserire tra i requisiti per la submission di un articolo che l’accesso ai dati grezzi dello studio oggetto di analisi sia garantito a più di uno tra gli autori del contributo [12].
Lunghezza, arroganza, opacità: che fare?
In anni di global conversation, è possibile che la peer review tradizionale non abbia più senso [13]. Attese interminabili, frustrazioni e mancanza di trasparenza sono un pedaggio insostenibile per una ricerca che intenda tempestivamente dare risposta ai bisogni di salute dei cittadini. Inoltre, una valutazione approfondita dei metodi e dei risultati di uno studio può avvenire solo potendo avere accesso ai raw data e non è pensabile che un referee – volontario e non retribuito – possa dedicarsi ad un’attività di analisi e di controllo di questo tipo. Meglio sarebbe se i dati della ricerca fossero liberamente accessibili su banche dati aperte e pubbliche. Alle riviste accademiche spetterebbe il compito fondamentale di dare spazio e alimentare il confronto e la discussione. In uno scenario del genere, il compito dei revisori sarebbe certamente meno oneroso e il loro giudizio forse più accettabile da parte degli autori.
Recentemente, il giovane oncologo Bishal Gyawali ha confessato su Twitter di aver risposto in questo modo alla richiesta di referaggio di un articolo specialistico: “Sono stato contento di averlo letto: è un articolo da accettare”. Sembra che la direzione della rivista non abbia gradito, aspettandosi di veder compilate checklist e griglie di valutazione. Ma è molto probabile che Bishal abbia ragione e che una vera “revisione tra pari” debba funzionare così.
Bibliografia
[1] Picano E. la dura vita del beato porco. Seconda edizione. Roma: Il Pensiero Scientifico Editore, 2007.
[2] Huisman J, Smits J. Duration and quality of the peer review process: the author’s perspective. Scientometrics 2017;113:633-50.
[3] Björk BC, Solomon D. The publishing delay in scholarly peer-reviewed journals. J Informetrics 2013;7:914-23.
[4] Dinis-Oliveira RJ. Covid-19 research: pandemic versus “paperdemic”, integrity, values and risks of the “speed science”. Forensic Sciences Res 2020;9:1-4.
[5] Talley NJ. Sars-cov-2, the medical profession, ventilator beds and mortality predictions: personal reflections from an Australian clinician. Med J Australia 2020;212:1.
[6] Brock J. Rapid Registered Reports initiative aims to stop coronavirus researchers following false leads. Nature Index, 14 aprile 2020.
[7] Golub RM. Editorial evaluation and peer review during a pandemic: how journals maintain standards. JAMA 2020;324:453-4.
[8] Eisen MB, Akhmanova A, Behrens TE, Weigel D. Peer review: publishing in the time of covid-19. eLife 2020;9:e57162.
[9] Clements JC. Don’t be a prig in peer review. Nature 2020;585:472.
[10] Nicholas D, Watkinson A, Jamali HR, et al. Peer review: still king in the digital age. Learned Publishing 2015,28:15-21.
[11] Walton R. Recognising the contribution of Nature Research journal referees. Of schemes and memes Blog, 16 aprile 2020.
[12] Hopkins JS. Lancet medical journal changes peer-review process amid flurry of covid-19 research. Wall Street Journal, 18 settembre 2020.
[13] Addis A, De Fiore L. La disseminazione della ricerca. Recenti Prog Med 2019; Suppl. Forward; Maggio.
© 