Il documento effettua un’analisi delle possibili disuguaglianze derivanti dall’impiego di alcuni tipi di dispositivi medici, inclusi quelli che incorporano sistemi di intelligenza artificiale, e propone delle raccomandazioni per eliminarle o mitigarle, nell’ottica di garantire l’equità all’interno del Servizio sanitario nazionale inglese (National Health Service, NHS).
UK Department of Health and Social Care – Equity in Medical Devices: raccomandazioni per promuovere l’equità dei dispositivi medici
Anno 2024
Il documento presenta i risultati di uno studio circa i bias di alcune tipologie di dispositivi medici e le loro conseguenze. L’indagine è stata condotta da un panel di esperti indipendenti nominato su indicazione del Segretariato dello Stato per l’Assistenza Sanitaria e Sociale. Nello specifico, il panel ha indagato la portata e l'impatto che diversi fattori – soprattutto quelli razziali ed etnici – hanno nella progettazione e nell'uso di tre categorie di dispositivi medici, una delle quali è costituita dai dispositivi che sfruttano l’intelligenza artificiale. Dopo aver evidenziato che i bias ai danni di fasce della popolazione vulnerabili possono esacerbare le disuguaglianze già esistenti all’interno del sistema sanitario inglese, il report formula alcune raccomandazioni volte a ridurre o a evitare scenari in cui l’utilizzo dei dispositivi medici conduca ad esiti discriminatori in termini di qualità ed accessibilità alle cure.
Si mira, in questo modo, a implementare il principio di equità, in base al quale i dispositivi medici in uso al NHS dovrebbero: (1) essere disponibili per tutti in proporzione al bisogno; (2) far sì che i pazienti vengano selezionati per i trattamenti in base ai criteri del bisogno e del rischio; e (3) mantenere standard di performance elevati e della stessa qualità per tutti i gruppi della popolazione.
Per quanto concerne i dispositivi medici che si servono dell’intelligenza artificiale, i bias possono sorgere: (1) dal modo in cui i problemi circa la salute vengono selezionati e prioritizzati per lo sviluppo dei sistemi di AI; (2) dai dati usati per sviluppare e validare il dispositivo, che possono essere sotto-rappresentativi o incompleti; (3) da come i sistemi sanitari definiscono e danno priorità ai risultati da ottenere; (4) dal modo in cui i sistemi di AI vengono sviluppati e validati oppure (5) da come vengono usati, motivo per cui è importante monitorarne l’utilizzo e l’impatto clinico, oltre che la performance.
Inoltre, i bias presenti nei sistemi di AI sono non solo in grado di esacerbare le disuguaglianze ma anche di moltiplicarle.
Al fine di sviluppare e usare dispositivi medici dotati di intelligenza artificiale rispettosi del principio di equità vengono stilate otto raccomandazioni, le quali invitano:
- sviluppatori e stakeholders a coinvolgere diversi gruppi di pazienti, di organizzazioni che li rappresentato e il pubblico in un processo di co-design dei sistemi di AI, così da incorporare la loro prospettiva e le loro esigenze nel sistema (raccomandazione 8);
- il Governo a istituire un’accademia online e in presenza che sviluppi materiali rivolti a tecnici (es. professionisti della salute) e a non esperti con l’obiettivo di educarli circa le questioni relative all’equità dei dispositivi medici contenenti l’AI. L’accademia deve assicurare che la formazione dei professionisti della salute pre- e post-laurea riguardi anche i rischi che l’AI pone per l’equità in ambito sanitario e che indichi loro come identificare e rimuovere/mitigare i bias; i materiali destinati a sviluppatori e computer scientists dovranno approfondire i determinanti sistematici e sociali del razzismo e della discriminazione in sanità (raccomandazione 9);
- i ricercatori, gli sviluppatori e i distributori dei sistemi di AI ad assicurare che questi siano trasparenti riguardo la diversità, la completezza e l’accuratezza dei dati usati in tutte le fasi della ricerca e dello sviluppo. Il governo dovrebbe finanziare l’Agenzia dei medicinali e dei prodotti sanitari (Medicines and Healthcare products Regulatory Agency, MHRA) affinché possa elaborare linee guida su come valutare i bias che potrebbero avere un impatto sull’equità e circa il dettaglio dei dati richiesto per assicurare una performance adeguata a tutti i gruppi della popolazione. Inoltre, bisognerebbe incentivare i proprietari dei dataset a creare rapporti di fiducia con le persone appartenenti a minoranze e a impegnarsi a riportare i loro dati demografici nel modo più completo e accurato possibile, ancorché rispettando la loro privacy. Gli enti regolatori dovrebbero richiedere ai produttori di indicare la diversità dei dati usati per il training degli algoritmi e di documentare e pubblicare le informazioni relative ai limiti del dispositivo. Al tempo stesso, dovrebbero fornire ai produttori delle linee guida per aiutarli a individuare bias e a mitigarne gli effetti avversi sulla performance del dispositivo e renderne obbligatoria la documentazione e la pubblicazione (raccomandazione 10);
- tutti gli stakeholder a impegnarsi in azioni coordinate volte a ridurre i bias. In particolare, si raccomanda all’MHRA di ridefinire la procedura di risk assessment dei dispositivi medici contenenti l’AI così da poterli ricondurre, in linea di principio, a classi di rischio più alte. Inoltre, si raccomanda a produttori e stakeholder di adottare le linee guida della MHRA contenute nei “Guiding Principles for Good Machine Learning Practice for Medical Device Development” e nella “Change Programme Roadmap” (raccomandazione 11);
- ad allocare risorse a lungo termine affinché gli enti regolatori sviluppino linee guida agili e adattabili e assistano gli innovatori e le imprese nell’implementare processi per ridurre i bias all’interno del ciclo vitale del dispositivo (raccomandazione 12);
- l’NHS a far leva sul principio di equità, sulla sua influenza e sul suo potere d'acquisto per favorire la diffusione di dispositivi medici equi nel contesto sanitario. Ciò, ad esempio, stabilendo che si debba rispettare uno standard minimo di equità nella fase di prequalificazione della stipula di accordi-quadro nazionali per la tecnologia digitale, nonché mediante l’inclusione dell’equità tra i criteri che le équipe sanitarie e sociali devono valutare al momento dell'acquisto delle tecnologie digitali. L’NHS dovrebbe collaborare con i produttori e con gli enti regolatori in direzione di una responsabilità congiunta per il monitoraggio della sicurezza e gli audit degli algoritmi, al fine di garantire l'equità dei risultati dei dispositivi contenenti moduli di AI (raccomandazione 13);
- i committenti delle ricerche a dare la priorità alla diversità e all’inclusione, incentivando la partecipazione degli appartenenti a gruppi sottorappresentati e il loro accesso ai finanziamenti. Si propone di richiedere che le ricerche in materia di AI considerino l’equità in tutte le fasi di realizzazione e di far sì che un comitato etico indipendente per la ricerca consideri l’impatto sociale, economico e sull’equità sanitaria della ricerca (raccomandazione 14);
- il Governo ad allocare le risorse per affrontare le sfide che l’AI generativa e i foundation models porranno in sanità e, in aggiunta, a nominare un panel multidisciplinare di esperti che valuti e monitori l’impatto potenziale di tali modelli sull’equità in sanità (raccomandazione 15).
Il documento è disponibile al seguente link e nel box download.