Large Multimodal Models

LMM in Sanità: cosa sono, opportunità, applicazioni, limiti e sfide



Indirizzo copiato

I modelli multimodali di grandi dimensioni (LMM) rappresentano l’ultima frontiera dell’Intelligenza Artificiale Generativa. La capacità di processare simultaneamente testo, immagini, audio e video li rende potenti alleati in ambito Healthcare & Life Sciences. Lo stato dell’arte, i casi d’uso e le prospettive future

Pubblicato il 24 gen 2025



LMM-Large-Multimodal-Models-Sanità

I Large Multimodal Models (LMM) – evoluzione dei Large Language Models (LLM) sono modelli avanzati di intelligenza artificiale in grado di integrare e processare simultaneamente diverse forme di input, come testo, immagini, audio e video, producendo output altrettanto variegati e complessi.

LMM e LLM: le differenze

La differenza fondamentale tra Large Multimodal Models (LMM) e Large Language Models (LLM) – e quindi l’evoluzione dai grandi modelli linguistici ai grandi modelli multimodali – consiste nella natura e nella diversità degli input che questi modelli sono in grado di processare e generare. Mentre gli LLM sono progettati specificamente per elaborare e generare testo, operando esclusivamente nel dominio linguistico, gli LMM estendono significativamente questo paradigma incorporando la capacità di lavorare con molteplici forme di dati.

I LLM, dei quali ChatGPT è uno degli esempi applicativi più noti, si concentrano sull’analisi e la produzione di contenuti testuali, dimostrando notevoli capacità nella comprensione del linguaggio naturale, nella traduzione e nella generazione di testo coerente.
D’altra parte, gli LMM, grazie alla loro architettura più complessa e versatile, possono integrare e correlare informazioni provenienti da diverse modalità sensoriali, come immagini, suoni e video, oltre al testo. Questa caratteristica multimodale permette agli LMM – in Sanità e non solo – di affrontare compiti più sofisticati e interdisciplinari, come la descrizione dettagliata di immagini, la generazione di contenuti visivi basati su descrizioni testuali o l’analisi di video con commenti audio.

LMM in Sanità: le applicazioni

In ambito sanitario, questa differenza si traduce in applicazioni potenzialmente più ampie e integrate per i Large Multimodal Models, che possono, ad esempio, analizzare simultaneamente referti medici testuali, immagini radiografiche e dati biometrici per fornire una valutazione diagnostica più completa e contestualizzata.

Come si legge in uno studio (Journal of Medical Internet Research, 2024) sui modelli multimodali di grandi dimensioni nell’assistenza sanitaria, la diagnosi e la cura di un paziente spesso implicano che un professionista sanitario si impegni in un approccio completo: ascoltare il paziente, esaminare la sua cartella clinica, esaminare le immagini mediche e analizzare i risultati dei test di laboratorio. Questo processo multidimensionale supera le capacità degli attuali sistemi LLM.

Inoltre, i dati non testuali svolgono un ruolo cruciale nella diagnosi, nella pianificazione efficace del trattamento, nella ricerca e nell’assistenza al paziente. Tali dati possono includere immagini mediche (ad esempio, raggi X, risonanza magnetica per immagini, tomografia computerizzata , tomografia a emissione di positroni e vetrini di patologia), dati elettrofisiologici (ad esempio, elettrocardiografia, elettroencefalografia ed elettromiografia), dati sensoriali (ad esempio, dati da sensori di dispositivi medici, come pacemaker e monitor continui del glucosio), video (ad esempio, registrazioni di interventi chirurgici, procedure e interazioni con i pazienti), dati omici (ad esempio, genomica, proteomica, metabolomica e trascrittomica) e dati audio (ad esempio, registrazioni di interviste ai pazienti e suoni cardiaci e respiratori).
Tutti ambiti, questi, che hanno la necessità di integrare input da fonti dati diverse (non solo testuali) e, quindi, rendono indispensabile l’uso dei modelli di AI multimodali.

Large Multimodal Models - Current Landscape and Future Directions
Radiologia: i LMM nell’imaging diagnostico (fonte: IABAC)

I LLM, infatti, pur essendo estremamente potenti nel loro dominio, sono limitati alla sfera testuale, rendendo necessaria l’integrazione con altri sistemi specializzati per gestire input multimodali. D’altra parte, gli LMM richiedono generalmente una potenza di calcolo e risorse computazionali maggiori rispetto agli LLM, data la complessità aggiuntiva derivante dalla gestione di input e output multidimensionali.

Il potenziale applicativo degli LMM abbraccia numerosi campi, tra cui la Sanità, dove possono analizzare dati clinici multimodali come cartelle cliniche elettroniche, immagini diagnostiche e segnali biometrici per fornire insights diagnostici e supporto decisionale ai professionisti sanitari.

Uno degli ambiti applicativi più promettenti dei Large Multimodal Models in Sanità è quello della diagnosi assistita, dove i LMM possono analizzare simultaneamente dati clinici, immagini diagnostiche e letteratura medica per fornire supporto ai medici.
Ad esempio, addestrandolo su milioni di cartelle cliniche elettroniche, un LMM è in grado di generare diagnosi differenziali accurate per casi clinici complessi, superando potenzialmente, in alcuni casi, le prestazioni di medici esperti.

LMM per la ricerca scientifica e lo sviluppo farmaceutico

Un’altra applicazione rilevante dei LMM riguarda il settore Pharma, in particolare la ricerca farmaceutica, ambito in cui questi modelli di AI multimodali possono accelerare notevolmente il processo di drug discovery analizzando enormi database di composti chimici e prevedendo potenziali interazioni farmacologiche.

L’integrazione dei Large Multimodal Models nella ricerca scientifica e nello sviluppo farmaceutico, infatti, può accelerare significativamente i processi di innovazione e scoperta di nuovi farmaci, promettendo di ridurre tempi e costi associati all’introduzione di nuove terapie.

Nel campo della genomica, gli LMM stanno dimostrando un potenziale straordinario, per esempio nel predire le funzioni di proteine non caratterizzate con un’accuratezza superiore rispetto ai metodi computazionali tradizionali.

Questi avanzamenti stanno aprendo nuove frontiere nella medicina personalizzata: l’applicazione degli LMM all’analisi di big data genomici, infatti, potrebbe accelerare l’identificazione di biomarcatori predittivi di risposta ai farmaci, consentendo una stratificazione più precisa dei pazienti nei trial clinici.

Questi sistemi di AI Generativa hanno un impatto importante anche sulla progettazione molecolare: LMM specializzati, infatti, possono riuscire a generare strutture molecolari ottimizzate per specifici target terapeutici, riducendo di gran lunga il tempo necessario per le fasi iniziali di drug design.

LMM Chemical Research with Document Retrieval
I Large Multimodal Models nella ricerca chimica per la scoperta di farmaci (fonte: ChemicalQDevice)

LMM con il paziente al centro

L’applicazione dei LMM in Sanità sta aprendo nuove frontiere anche per l’empowerment e l’engagement dei pazienti e, più in generale, per la patient experience, offrendo strumenti innovativi per la gestione della salute personale ma sollevando al contempo importanti questioni etiche e di sicurezza.

Uno degli sviluppi più promettenti riguarda l’utilizzo di chatbot basati su LMM come assistenti virtuali per la Salute. Alcuni chatbot alimentati da opportune versioni di GPT, infatti, sono stati in grado di fornire risposte accurate a domande mediche generali in una percentuale di casi molto alta, offrendo un primo punto di contatto accessibile e immediato per i pazienti.

Questi sistemi stanno dimostrando un grande potenziale anche nel supporto alla previsione e alla gestione di condizioni croniche quali, ad esempio, il diabete, e in altre importanti patologie, come ad esempio, quelle del pancreas.

Multi-modal Large Language Models for the Detection of Pancreas Diseases (Andrea Moglia, Spoke 4)
I LMM per l’individuazione delle malattie del pancreas (fonte: fondazione FAIR)

Il potenziale degli LMM centrati sul paziente è significativo: esperti, studiosi ed analisti di settore stimano che l’adozione diffusa di questi strumenti potrebbe ridurre considerevolmente gli accessi non necessari alle strutture sanitarie e migliorare la gestione domiciliare di patologie croniche.

LMM in Sanità: come implementarli in sicurezza

L’implementazione sicura dei modelli multimodali di grandi dimensioni nei sistemi sanitari, secondo il parere di esperti e studiosi di settore, passa anche attraverso l’integrazione graduale e controllata di questi sistemi avanzati nell’ecosistema sanitario esistente.
Una vision, questa, che parte dall’idea che, per gli LMM, sia cruciale adottare un approccio di implementazione a fasi, partendo da progetti pilota in ambienti controllati prima di passare a un’adozione su larga scala. Ciò permetterebbe di identificare e affrontare potenziali problemi di sicurezza e interoperabilità in uno stadio precoce.

La sicurezza informatica rappresenta una preoccupazione primaria nell’implementazione dei LMM, data la sensibilità dei dati sanitari da essi trattati. L’integrazione di Large Multimodal Models nei sistemi sanitari, infatti, aumenta la superficie di attacco per potenziali violazioni dei dati, rendendo essenziale l’adozione di robuste misure di cybersecurity. Queste includono l’uso di crittografia avanzata, l’implementazione di sistemi di autenticazione multifattore e la conduzione regolare di penetration test.

Un altro aspetto critico riguarda il monitoraggio continuo delle prestazioni e degli impatti dei LMM una volta implementati. Occorre, a tal fine, istituire sistemi di sorveglianza post-market simili a quelli utilizzati per i farmaci per tracciare l’efficacia e la sicurezza dei LMM nel tempo.

Infine, per l’utilizzo sicuro degli LLM in Sanità, è fondamentale stabilire chiari protocolli di responsabilità e governance. Per farlo, occorrono linee guida chiare su chi è responsabile per le decisioni basate sui modelli multimodali di grandi dimensioni e quali sono i meccanismi di ricorso in caso di errori o danni.
Per supervisionare l’implementazione e l’uso di questi Large Multimodal Models, alcuni esperti propongono l’istituzione di comitati etici dedicati all’AI all’interno delle strutture sanitarie.

Formazione e adattamento del personale sanitario all’uso dei Large Multimodal Models

La rapida integrazione dei Large Language Models (LLM) nel settore sanitario – con conseguente accelerazione in atto e prevista anche dei modelli LMM in Sanità – promette di trasformare completamente le pratiche mediche, richiedendo un adattamento significativo da parte del personale sanitario.
La gran parte dei professionisti medici, infatti, ritiene che l’AI avrà un impatto sostanziale sulla loro pratica nei prossimi anni. Questo scenario impone dunque una revisione completa dei programmi di formazione medica e un aggiornamento continuo delle competenze digitali.

La sfida principale consiste nel preparare il personale sanitario non solo all’utilizzo tecnico dei modelli multimodali di grandi dimensioni, ma anche alla comprensione critica delle loro potenzialità e limitazioni. È fondamentale sviluppare un approccio che integri le capacità analitiche degli LMM in Sanità con il giudizio clinico umano, evitando sia la dipendenza eccessiva dalla tecnologia sia il suo rifiuto aprioristico.

Le istituzioni sanitarie sono chiamate a implementare programmi di formazione multidisciplinari che coprono aspetti tecnici, etici e legali dell’uso dei Large Multimodal Models. Essi devono includere moduli sull’interpretazione dei risultati dell’AI, la gestione dei casi di disaccordo tra modelli multimodali di grandi dimensioni e giudizio clinico e la comunicazione efficace con i pazienti riguardo all’uso di queste tecnologie di intelligenza artificiale generativa.

Un aspetto cruciale è l’insegnamento delle best practice per l’input dei dati nei sistemi LMM in Sanità, essenziale per ottenere risultati accurati e affidabili.
Inoltre, si sta diffondendo l’approccio del learning by doing, con simulazioni e casi studio che permettono ai professionisti di familiarizzare con i Large Multimodal Models in scenari realistici ma controllati.

La formazione deve anche affrontare le sfide psicologiche legate all’adozione di queste tecnologie, come la paura di essere sostituiti o la resistenza al cambiamento.
A questo proposito, è essenziale sottolineare come gli LMM – al pari degli altri strumenti di Intelligenza Artificiale in Medicina – come, ad esempio, ChatGPT per uso medico – siano solo di supporto e non sostituti del medico, puntando sul valore aggiunto che possono portare alla pratica clinica e mai sulla capacità di rimpiazzare il professionista in carne e ossa.

Un altro aspetto fondamentale è l’adattamento dei flussi di lavoro esistenti per integrare efficacemente gli LMM in Sanità. È richiesta a tal fine, infatti, una collaborazione stretta tra personale IT, clinici e amministratori.

Infine, è necessario sviluppare competenze di “AI literacy” tra tutto il personale sanitario, non solo tra gli specialisti, per creare una cultura organizzativa che possa sfruttare appieno il potenziale degli LMM in Sanità mantenendo sempre il paziente al centro.
Questo processo di adattamento e formazione del personale sanitario rappresenta una sfida significativa ma anche un’opportunità per migliorare la qualità delle cure e l’efficienza del sistema sanitario nel suo complesso.

Governance e regolamentazione dei modelli multimodali di grandi dimensioni

La governance e la regolamentazione dei modelli di intelligenza artificiale avanzati, come nel caso dei LMM in Sanità, rappresenta una sfida per i sistemi sanitari e i legislatori di tutto il mondo.

L’Unione Europea sta assumendo un ruolo di primo piano in questo ambito con l’AI Act.
A livello internazionale, l’Organizzazione Mondiale della Sanità sta promuovendo lo sviluppo di linee guida globali per l’uso etico dell’AI in Sanità.
Nel rapporto “Ethics and Governance of Artificial Intelligence for Health” – Guidance on large multi-modal models – l’OMS sottolinea la necessità di un approccio di governance multilivello che coinvolga governi, organizzazioni internazionali, aziende tecnologiche e società civile.

Un aspetto fondamentale della regolamentazione riguarda la trasparenza e la spiegabilità dei modelli di AI in Sanità. È essenziale, infatti, stabilire standard che richiedano agli sviluppatori di LMM in Sanità di fornire informazioni dettagliate sui dati di addestramento, sui metodi utilizzati e sulle limitazioni dei loro modelli.

La questione della responsabilità legale in caso di errori o danni causati dai Large Multimodal Models rimane un’area grigia che richiede chiarimenti normativi. Alcuni esperti propongono l’istituzione di sistemi di compensazione no-fault – simili a quelli esistenti per i danni da vaccini – per i pazienti danneggiati dall’uso di AI in Medicina.

Un altro aspetto da non sottovalutare è la necessità di una governance internazionale collaborativa. Questa esigenza nasce dalla natura globale delle sfide poste dall’AI in Medicina, che trascendono i confini nazionali e richiedono un approccio coordinato a livello mondiale.
La collaborazione internazionale, infatti, è fondamentale per affrontare questioni cruciali come la standardizzazione dei protocolli di sicurezza, l’interoperabilità dei sistemi AI e la definizione di linee guida etiche universali.

Anche le disparità tecnologiche ed economiche tra nazioni rappresentano una sfida significativa in tal senso. Infatti, i Paesi in via di sviluppo, che potrebbero beneficiare enormemente dell’AI per colmare lacune nei loro sistemi sanitari, rischiano di essere esclusi dal processo decisionale globale. È quindi essenziale implementare meccanismi di capacity building e trasferimento tecnologico per garantire una partecipazione equa.

La governance internazionale deve anche affrontare la questione della proprietà intellettuale e della condivisione dei dati. I modelli multimodali di grandi dimensioni, infatti, richiedono vasti dataset per l’addestramento, spesso provenienti da diverse giurisdizioni, sollevando questioni complesse di sovranità dei dati e privacy transfrontaliera.

Progettazione e sviluppo responsabile dei LMM in Sanità

La progettazione e lo sviluppo responsabile dei modelli multimodali di grandi dimensioni per applicazioni sanitarie richiedono un approccio olistico che integri considerazioni etiche, tecniche e sociali fin dalle prime fasi del processo.

Un elemento chiave è l’adozione di pratiche di “ethics by design“. Gli esperti di settore sottolineano, infatti, come – piuttosto che considerarle come caratteristiche aggiunte a posteriori – sia fondamentale incorporare principi etici quali la trasparenza, l’equità e la privacy direttamente nell’architettura e negli algoritmi dei LMM in Sanità.

Un altro aspetto cruciale riguarda la qualità e la diversità dei dati di addestramento.
L’uso di dataset sanitari non rappresentativi, infatti, può portare a bias nei LMM (e LLM) in Sanità, con potenziali impatti negativi su gruppi demografici sottorappresentati.
Per evitarlo, occorre promuovere la creazione di dataset sanitari globali e inclusivi per l’addestramento dei modelli.

La collaborazione interdisciplinare è un altro pilastro dello sviluppo responsabile dei LMM in Sanità. È essenziale, infatti, che i team di sviluppo includano non solo ingegneri e data scientist, ma anche medici, bioeticisti e rappresentanti dei pazienti, per garantire che i modelli rispondano effettivamente alle esigenze del mondo sanitario reale.

Sul fronte della sicurezza e della robustezza, tecniche avanzate come il federated learning– che permette di addestrare LMM su dati sanitari distribuiti senza centralizzarli – possono rappresentare soluzioni promettenti, riducendo significativamente i rischi per la privacy.

Infine, occorre sottolineare l’importanza della valutazione continua e rigorosa dei Large Multimodal Models durante tutto il ciclo di vita, con l’istituzione di processi di audit indipendenti e di monitoraggio post-implementazione per identificare e mitigare eventuali effetti negativi imprevisti.

Lo sviluppo responsabile dei LMM in Sanità, dunque, richiede un impegno costante verso l’eccellenza tecnologica, l’integrità etica e la responsabilità sociale, con l’obiettivo finale di creare strumenti che migliorino concretamente e per tutti la qualità dell’assistenza sanitaria.

Rischi etici e sociali dei LMM in Sanità

L’implementazione dei modelli multimodali di grandi dimensioni in ambito medico-sanitario solleva una serie di preoccupazioni etiche e sociali che richiedono un’attenta considerazione.
Uno dei rischi è quello della depersonalizzazione dell’assistenza sanitaria. L’eccessiva dipendenza dai LMM – secondo alcuni studiosi – potrebbe infatti portare a una diminuzione del contatto umano tra medici e pazienti, compromettendo aspetti cruciali come l’empatia e la fiducia nella relazione terapeutica.

Un altro aspetto critico riguarda la privacy e la protezione dei dati sensibili dei pazienti. I LMM, infatti, richiedono enormi quantità di dati per l’addestramento, aumentando in tal modo i rischi di violazioni della privacy e di uso improprio delle informazioni sanitarie.

La questione dell’equità e dell’accesso è altrettanto rilevante: c’è il timore che l’adozione di tecnologie avanzate come i Large Multimodal Models possa accentuare il divario sanitario tra diverse fasce della popolazione. Occorre considerare il rischio, cioè, che i benefici dei LMM in Sanità siano distribuiti in modo diseguale, favorendo chi ha accesso a strutture sanitarie all’avanguardia e penalizzando le comunità più svantaggiate.

Un ulteriore punto di preoccupazione riguarda l’autonomia decisionale dei pazienti. Potenzialmente, infatti, i LMM in ambito medico-clinico potrebbero influenzare eccessivamente le scelte terapeutiche, riducendo lo spazio per le preferenze individuali dei pazienti e per approcci di cura più olistici.

Inoltre, non va sottovalutato l’impatto che questi sistemi avanzati potrebbero avere sulla formazione e sulla pratica medica. Alcuni esperti temono che un’eccessiva dipendenza dai modelli multimodali di grandi dimensioni possa portare, nel lungo termine, a una diminuzione delle competenze diagnostiche e decisionali dei medici.

Infine, c’è la questione dell’affidabilità delle informazioni fornite dai modelli LMM: in alcuni casi, infatti, questi sistemi potrebbero generare consigli medici potenzialmente dannosi, soprattutto quando interrogati su condizioni rare o complesse.

Per affrontare queste sfide, è necessario un dialogo continuo tra sviluppatori di AI, istituzioni sanitarie e autorità regolatorie per definire standard etici e linee guida operative che possano evolvere di pari passo con la tecnologia, garantendo che l’innovazione nel campo degli LLM in Sanità proceda nel pieno rispetto dei diritti fondamentali dei pazienti. Per “mettere a terra” il vero potenziale dei LLM in modo sicuro ed equo, dunque, ancor più in un ambito mission critical come quello sanitario, sarà fondamentale svilupparne standard rigorosi per la validazione e la certificazione, implementando robusti meccanismi di protezione dei dati e promuovendo programmi di educazione digitale per i pazienti.

Solo attraverso un approccio olistico che bilanci innovazione tecnologica, tutela della privacy e equità nell’accesso, infatti, gli LMM in Sanità potranno davvero diventare strumenti per migliorare l’esperienza dei pazienti e garantire un futuro migliore per la Salute dei cittadini.

Articoli correlati

Articolo 1 di 5