Tech

Come evitare che l’intelligenza artificiale manipoli la scienza a favore delle aziende

Le aziende sono sempre più tentate di usare l’intelligenza artificiale per manipolare la scienza a proprio favore.

Nei primi anni 2000, la società farmaceutica americana Wyeth è stata citata in giudizio da migliaia di donne che avevano sviluppato un tumore al seno dopo aver assunto farmaci per la terapia ormonale sostitutiva. I documenti del tribunale hanno rivelato il ruolo di “decine di recensioni e commenti scritti da ghostwriter pubblicati su riviste mediche e supplementi usati per promuovere benefici non dimostrati e minimizzare i danni” legati a questi farmaci.

Wyeth, acquisita da Pfizer nel 2009, aveva pagato una società di comunicazione medica per produrre questi articoli, pubblicati sotto il nome di medici di spicco nel campo, con il loro consenso. I professionisti medici che leggevano questi articoli e vi si affidavano per consigli sulle prescrizioni non avrebbero avuto idea che dietro ci fosse Wyeth.

L’azienda farmaceutica ha insistito sul fatto che tutto quanto scritto fosse scientificamente accurato e, sorprendentemente, che pagare ghostwriter per tali servizi fosse comune nel settore. Pfizer ha finito per pagare oltre 1 miliardo di dollari USA in danni per i danni causati dai farmaci.

Gli articoli in questione sono un eccellente esempio di “resmearch” – scienza di bassa qualità al servizio degli interessi aziendali. Mentre la stragrande maggioranza dei ricercatori è motivata a scoprire la verità e verificare i propri risultati in modo robusto, la resmearch non si preoccupa della verità – mira solo a persuadere.

Il ruolo dell’intelligenza artificiale

Un’importante preoccupazione attuale è che gli strumenti di intelligenza artificiale riducono i costi di produzione di tali prove a quasi zero. Solo pochi anni fa, ci volevano mesi per produrre un singolo articolo. Ora un singolo individuo utilizzando l’IA può produrre più articoli che sembrano validi in poche ore.

La letteratura sulla salute pubblica sta già osservando una serie di articoli che traggono dati ottimizzati per l’uso con un’IA per riportare risultati a fattore singolo. Questi studi si prestano a risultati speciosi, poiché quando i dataset coprono migliaia di persone e centinaia di informazioni su di loro, è inevitabile trovare correlazioni fuorvianti che si verificano per caso.

Il ruolo delle politiche e delle revisioni paritarie

Una questione è che la ricerca non passa sempre attraverso la revisione paritaria prima di influenzare le politiche. Nel 2021, ad esempio, il giudice della Corte Suprema degli Stati Uniti, Samuel Alito, ha citato un documento di un accademico di Georgetown finanziato da un’organizzazione pro-armi, senza che i dati fossero pubblicamente disponibili.

Una lezione ovvia è che chiunque si affidi alla ricerca dovrebbe diffidare di qualsiasi ricerca che non abbia superato la revisione paritaria. Una lezione meno ovvia è che dobbiamo anche riformare il processo di revisione paritaria. Sono stati fatti progressi significativi nell’identificare procedure che riducono il rischio di risultati speciosi nei documenti pubblicati.

Molti editori di riviste hanno adottato queste proposte, richiedendo agli autori di pubblicare i loro dati, il loro codice e i materiali utilizzati negli esperimenti. Alcuni campi hanno certamente adottato queste processi più di altri, come la psicologia rispetto all’economia.

Il sistema attuale sembra inadeguato a far fronte al diluvio di articoli che l’IA precipiterà. I revisori devono investire tempo, impegno e attenzione scrupolosa nel controllare preregistrazioni, analisi delle curve di specificazione, dati, codice e altro ancora. Questo richiede un meccanismo di revisione paritaria che premi i revisori per la qualità delle loro revisioni.