Intelligenza Artificiale

ChatGPT potrà fare il Medico?

Ovviamente, NO. Eppure, negli USA, Doctor ChatGPT ha “superato” l’esame di abilitazione alla professione medica, aprendo nuove frontiere (e dibattiti) sull’uso dell’Intelligenza Artificiale in Medicina

Pubblicato il 24 Gen 2023

Gli esami di abilitazione medica sono molto, troppo semplici per ChatGPT.

Messo alla prova da un gruppo di ricercatori della Yale University, infatti, ChatGPT ha ottenuto ottimi risultati con l’USMLE, l’esame di abilitazione alla professione medica negli USA. Risultati migliori anche dei chatbot con un’Intelligenza Artificiale appositamente addestrata in Medicina.

ChatGPT Medico? L’esame lo promuove

Se è vero che l’Intelligenza Artificiale in Medicina non sempre fornisce le risposte giuste, è anche vero che il suo tasso di accuratezza è molto alto in quasi tutti gli argomenti su cui viene interrogata.

WHITEPAPER
Migliorare la customer experience e abbattere i costi: come fare, nel banking
CIO
Finanza/Assicurazioni

Una riprova arriva da un team di ricercatori medici statunitensi della Yale University che ha testato ChatGPT, il chatbot basato su Intelligenza Artificiale e machine learning sviluppato da OpenAI, facendogli sostenere l’USMLE (United States Medical Licensing Examination), l’esame di abilitazione alla professione medica negli USA. Senza essere addestrato con alcuna informazione specifica per l’ambito medico, ChatGPT ha superato o si è avvicinato alla soglia di superamento di tutti e tre i test. Inoltre, l’intelligenza artificiale ha dimostrato un alto livello di concordanza e di intuizione nelle sue spiegazioni.

Cosa rende così “intelligente” un Medico ChatGPT

La classe di modelli di intelligenza artificiale creata in precedenza era costituita principalmente da algoritmi di Deep Learning (DL), progettati per apprendere e riconoscere modelli nei dati.
ChatGPT, invece, rientra tra i Large Language Model (LLM), un tipo di algoritmo di intelligenza artificiale addestrato per prevedere la probabilità di una data sequenza di parole in base al contesto delle parole che lo precedono.
Pertanto, se i LLM vengono addestrati su quantità sufficientemente grandi di dati di testo, sono in grado di generare nuove sequenze di parole mai osservate in precedenza dal modello, ma che rappresentano sequenze plausibili basate sul linguaggio umano naturale.
ChatGPT è alimentato da GPT3.5, un LLM addestrato sul modello di base dei parametri OpenAI 175B e un ampio corpus di dati di testo da Internet tramite metodi di apprendimento rinforzati e supervisionati. L’uso aneddotico indica che ChatGPT evidenzia prove di ragionamento deduttivo e di pensieri concatenati.

chatGPT-Medicina-AI
ChatGPT applicato alla Medicina: schema del flusso di lavoro usato dai ricercatori della Yale University per la raccolta dati, la codifica e la valutazione dei risultati (fonte: MedRxiv)

ChatGPT all’esame di abilitazione per diventare Medico

Al fine di verificare le capacità dell’intelligenza artificiale alla base del “ChatGPT Medico”, i ricercatori della Yale University hanno selezionato 376 domande dalla versione di giugno 2022 dell’esame pubblicamente disponibili sul sito ufficiale dell’USMLE, il programma d’esame per diventare Medico negli Stati Uniti. Tale esame consiste in un test standardizzato in tre fasi che copre tutti gli argomenti del bagaglio di conoscenze di un Medico, dalle Scienze di base al ragionamento clinico, dalla gestione medica alla bioetica. È poi stato verificato che nessuna delle risposte, delle spiegazioni o dei contenuti correlati fossero stati indicizzati all’interno di Google prima del 1° gennaio 2022, ovvero l’ultima data utile per creare il dataset per la formazione di ChatGPT.  Non solo. Affinché le domande non contenessero elementi visivi come immagini cliniche, fotografie mediche e grafici, sono state filtrate. Dopo il filtraggio, sono rimaste 305 domande.

ChatGPT fa meglio dei chatbot specifici per la Medicina

Nell’articolo scientifico diffuso dai ricercatori della Yale University – che è ancora in bozza (preprint), quindi non sottoposto a revisione paritaria (peer review) – è riportato che ChatGPT ha superato o si è avvicinato alla soglia di superamento di tutti e tre i test.

Va sottolineato che la soglia di superamento dell’USMLE è attorno al 60%, un risultato che gli autori dello studio considerano “sorprendente e impressionante” per un’intelligenza artificiale. A maggior ragione se si considera che all’AI non è stata fornita alcuna istruzione o formazione specifica in campo medico, e che – rispetto a un’AI appositamente addestrata in medicina – come ad esempio PubMedGPT, il modello linguistico di OpenAI ha ottenuto un punteggio migliore.

Questo risultato, spiegano i ricercatori, deriva dal fatto che un’AI come ChatGPT, che è progettata per apprendere nozioni di carattere generale, può essere avvantaggiata rispetto ad un’AI specifica perché viene esposta anche a contenuti clinici di più ampia portata, come per esempio i referti e i bugiardini dei farmaci.

ChatGPT Medico bravo? Va in difficoltà come gli studenti di Medicina

Un aspetto su cui mettono l’accento i ricercatori è che l’accuratezza di ChatGPT è risultata inferiore nel primo test rispetto agli altri due. In linea con il risultato ottenuto dagli studenti di Medicina, che considerano il primo test il più difficile di tutti.
“La capacità dell’AI è subordinata alla capacità umana. Le prestazioni di ChatGPT nella prima fase sono peggiori proprio perché gli utenti umani percepiscono l’argomento come più difficile”, affermano i ricercatori della Yale University che hanno sottoposto il test di Medicina a ChatGPT.

ChatGPT nella formazione del Medico e dello studente in Medicina

Un risultato che emerge in modo rilevante dallo studio è che il ChatGPT aspirante Medico ha prodotto almeno un’informazione significativa nell’88,9% di tutte le risposte.
I ricercatori ritengono che questo significhi che i LLM potrebbero essere di auto nella formazione dei nuovi medici e, potenzialmente, aiutare nel processo decisionale clinico.

 I dati indicano, inoltre, che se uno studente umano che si sta preparando per un esame risponde in modo errato a certe domande, è probabile che ottenga informazioni nuove o correttive analizzando le risposte che, invece, fornirebbe ChatGPT.
In questo senso, gli autori dello studio sostengono che le risposte generate dall’AI durante i test hanno fornito una visione significativa, definendo un valido processo di ragionamento deduttivo per gli studenti umani. Prova ne è che circa il 90% delle risposte conteneva almeno un’idea significativa.
I ricercatori hanno perciò concluso che ChatGPT ha la parziale capacità di insegnare la Medicina facendo emergere nuovi concetti che gli studenti potrebbero non aver appreso in precedenza.

ChatGPT: più che Medico, segretario o assistente

Oltre agli entusiasmanti esiti positivi, lo studio ha fatto emergere alcuni limiti importanti.
In particolare, i risultati sono stati raggiunti con una numerosità di dati relativamente ridotta e questo ha limitato la profondità e la portata delle analisi.
In ogni caso, i ricercatori sostengono che le indicazioni ottenute lasciano trasparire che, man mano che l’AI acquisirà “conoscenza”, avrà tutte le carte in regola per essere usata per trasformare ogni settore della medicina clinica.

In tal senso, la ricerca cita l’esempio dei medici di Ansible Health, una clinica virtuale per le malattie polmonari croniche che ha iniziato a sperimentare ChatGPT all’interno dei propri flussi di lavoro.
Al momento, ChatGPT è usato per compiti ripetitivi e noiosi, come la compilazione di fatture, ma anche per semplificare i referti radiologici e produrre spiegazioni prive di gergo medico in modo da essere più comprensibili per i pazienti. Oppure come assistente diagnostico: nei casi più complessi o più difficili gli si propongono delle idee e si dialoga con lui per ottenere suggerimenti che possano aiutare nella definizione delle diagnosi.

I medici di Ansible Health sostengono che l’implementazione dell’AI ha fatto risparmiare loro, in media, un terzo del tempo che dedicavano a produrre documentazione e alle attività indirette di assistenza ai pazienti.

Il futuro di ChatGPT in Medicina: ambizioni e prospettive

ChatGPT potrà fare il Medico?
Ovviamente NO. E nessuna AI potrà davvero sostituire l’essere umano. Ma ChatGPT potrà certamente dare una mano al Medico e alla formazione in Medicina.

Secondo i ricercatori della Yale University, infatti, i risultati della sperimentazione sono un segnale precoce ma importante del fatto che i modelli linguistici di AI come ChatGPT stanno raggiungendo un livello di maturità tale che, in tempi probabilmente molto brevi, avranno un impatto significativo sulla Medicina, in particolare sull’assistenza clinica  e, in generale, sulla sua capacità di fornire un’assistenza sanitaria personalizzata.
Oltre ad aiutare gli studenti a superare gli esami, ovviamente studiando, facilitando la loro formazione in Medicina e stimolandone la curiosità scientifica nel percorso che li porta a diventare nuovi medici.

@RIPRODUZIONE RISERVATA
Argomenti trattati

Approfondimenti

I
intelligenza artificiale
S
sanità digitale

Articolo 1 di 5