Sistemi di artificial intelligence ad alto rischio e responsabilità dei fornitori. A fare la differenza sarà una corretta analisi dei rischi ed implementare il sistema di gestione della qualità.

Da qualche anno l’Europa si sta impegnando per migliorare la vita dei suoi cittadini con l’accesso e l’uso della nuova tecnologia (Artificial Intelligence) per la semplificazione dei processi e per l’azzeramento del margine d’errore nelle attività ad alta precisione ovvero connesse alla salute umana.

Contestualmente si è fatta, però, strada la necessità di assicurare che l’utilizzo di Sistemi di AI non costituisca una violazione dei diritti fondamentali sanciti dalla normativa europea vigente. Per approfondire il tema ho rivolto alcune domande a David Vannozzi, Direttore Generale del Consorzio interuniversitario Cineca.

D: Il tema dell’uso dell’Intelligenza artificiale nel settore delle life sciences è molto dibattuto. La commissione Europea, che non ha ancora formalizzato la proposta di regolamento sulla disciplina armonizzata dell’AI, lancia ora una proposta di direttiva sulle responsabilità per danni causati da software che usano AI. Si andrà, probabilmente, a regime fra il secondo semestre 2023 e il 2024. Il Regolamento sui Medical Device è, invece, pienamente efficace. Nelle more di un completo allineamento della normativa Comunitaria in Italia cosa si può fare per minimizzare i rischi?

Il nuovo testo di compromesso per la proposta di Regolamento sull’Intelligenza Artificiale o AI Act diffuso da Brand Benifei e Dragos Tudorach (relatori del Parlamento Europeo) persegue l’obiettivo di regolamentare lo sviluppo e l’utilizzo dell’intelligenza artificiale, allo scopo di incrementare la fiducia dei cittadini europei verso simili strumenti e garantire che l’utilizzo degli stessi non costituisca una violazione dei diritti fondamentali sanciti dalla normativa europea vigente.

Nel nuovo testo di compromesso si parla, da un lato, di sistemi di IA c.d. “ad alto rischio”, dall’altro, dell’individuazione di obblighi e responsabilità che dovrebbero essere poste in capo ai fornitori dei sistemi di intelligenza artificiale.

Sul primo punto i fornitori di sistemi di intelligenza artificiale ad alto rischio dovranno attivarsi su più fronti. In primis, implementare un sistema di gestione della qualità che potrà essere integrato nei sistemi esistenti in conformità alle norme europee di settore, ivi incluso il Regolamento Europeo sui dispositivi medici.

Ma anche ritirare dal mercato e disabilitare in via definitiva un sistema di IA ad alto rischio di laddove il fornitore di IA ritenga che non sia conforme al regolamento, informando i distributori e altri attori della catena del valore.

Infine, fornire accesso ai log del sistema di IA ad alto rischio su richiesta motivata dell’esecutivo dell’UE o di una autorità di vigilanza del mercato. Nelle more di adozione del regolamento, quindi, visto che l’implementazione di un

sistema di gestione della qualità richiede la strutturazione di un processo ben definito e misurato, i fornitori di IA ad alto rischio dovrebbero attivarsi per implementare tale sistema. Per ciò che riguarda gli altri due punti, invece, dovrebbero attuarli motu proprio adottando una politica di responsabilità attiva, implementando gli strumenti necessari. Sul secondo punto la proposta si focalizza, sulla corretta ripartizione delle responsabilità lungo l’interezza della complessa catena di approvvigionamento dei sistemi di IA. All’interno dell’emendamento sussistono una serie di incentivi a includere disposizioni specifiche legate al concetto di IA generica, ossia sistemi che possono essere costruiti per svolgere una serie di compiti diversi.

Le responsabilità dei fornitori dei sistemi, degli importatori e dei distributori dei sistemi di IA ad alto rischio sono stabilite anche in termini di collaborazione con le autorità nazionali e sulla mitigazione i rischi imprevisti.

Inoltre, per soddisfare il prerequisito per poter commercializzare le IA nel mercato dell’UE, i fornitori dovranno nominare un rappresentante autorizzato incaricato di garantire l’esecuzione della procedura di valutazione delle conformità, tenendo a disposizione dell’autorità nazionale competente tutta la documentazione pertinente e la dichiarazione di conformità.

Anche in questo caso partirei dal fatto che si debba avere un atteggiamento attivo individuando il rappresentante autorizzato e chiedendogli di attuare la valutazione delle conformità.

D: Il gruppo di lavoro per il futuro della scienza e tecnologia (STOA) presso la direzione generale del servizio ricerche e studi del Parlamento Europeo ha prodotto un report che analizza tutti i rischi connessi all’uso di AI applicata a software nell’healthcare. L’errore dell’algoritmo o fra i dati registrati e la loro effettività o, ancora, gli imprevisti nei trial clinici possono portare a trattamenti sul paziente non corretti. Quanto può dirsi sicuro/preciso un software che usa AI?

R: Premettiamo che il rischio zero (ovverosia la sicurezza assoluta) e la precisione assoluta non esistono. La precisione dovrebbe essere garantita al netto di un margine di errore che è necessario stimare sia in fase di progettazione sia in fase di valutazione. In tal senso diventa fondamentale il ruolo dell’incaricato di garantire la procedura di valutazione delle conformità.

La procedura dovrà essere costruita in modo da indirizzare tutti i rischi connessi all’uso della AI applicata all’healthcare riportati nel report. Inoltre, l’analisi della differenza tra l’errore stimato in fase di progettazione e in fase di valutazione dovrà entrare a far parte del sistema di gestione della qualità.

In questo senso vanno anche le indicazioni dei relatori che auspicano di avere una procedura per la valutazione ed il monitoraggio degli organismi di valutazione della conformità che debba essere concordata da tutte le autorità nazionali competenti.

Ma anche di effettuare l’accreditamento degli organismi di valutazione della conformità mediante il rispetto di uno schema di valutazione della conformità (conformity assessment scheme), o accordo di riconoscimento reciproco (mutual recognition agreement).

D: Privacy e sicurezza dei dati. Un tema delicato ma che nel settore healthcare richiede un bilanciamento fra diritto alla tutela delle informazioni e diritto alla cura del paziente stesso. Il PNRR ha previsto un sistema nazionale di condivisione delle informazioni sulla sanità pubblica ma il Garante per la Privacy nutre riserve. C’è un effettivo pericolo di violazione della privacy e della sicurezza dei dati?

R: L’argomento è molto delicato e complesso soprattutto negli aspetti normativi. La Privacy è una materia che stiamo scoprendo giorno per giorno affrontando problematiche emergenti che costringono anche il legislatore e l’Autorità Garante a fare riflessioni nuove, mai fatte in precedenza. In questo senso vanno lette sia la cautela che le riserve del Garante sul pericolo di violazione.

Il pericolo inerente sicurezza dei dati ci sarà sempre, perché, come ho già detto, il rischio zero non esiste. Si tratta quindi di innovare radicalmente sia la fase di progettazione sia le contromisure da adottare in fase operativa adottando paradigmi di gestione totale della qualità (TQM) come il Six Sigma.

Questi sistemi di gestione della qualità complessiva ci aiuteranno a mitigare i rischi. Per ciò che concerne la privacy sappiamo invece che nell’ambito healthcare è basilare l’adozione di tecniche di anonimizzazione, psedonimizzazione, etc..

Anche qui esistono sistemi IT robusti che possono ridurre notevolmente il rischio di acquisizione di informazioni personali e, soprattutto, è opportuno adottare le linee guida previste dalla norma ISO/IEC 27018 – Codice di condotta per la protezione delle PII (Personally Identifiable information) nei servizi di public cloud per i cloud provider, che ha l’obiettivo di fornire una modalità strutturata, basata sul privacy by design, per far fronte alle principali questioni giuridiche, sia di natura legale che contrattuale, legate alla gestione dei dati personali in infrastrutture informatiche distribuite seguendo il modello del cloud pubblico.

Le contromisure specifiche introdotte dalla ISO 27018 si basano sui principi internazionali definiti riguardo alla privacy. Questi principi dovrebbero essere utilizzati per guidare la progettazione, lo sviluppo, l’attuazione, il monitoraggio e la misurazione di politiche sulla privacy e controlli della privacy nei servizi di cloud computing.

D: Uso e conoscenza dei device con software AI. Un utilizzo corretto richiede una conoscenza del dispositivo e delle sue finalità. Come pensare una formazione adeguata a tutta la catena della cura, dal professionista ospedaliero, al medico di base sino al paziente?

R: L’Intelligenza Artificiale è prima di tutto Scienza, che permette di concepire; ma è anche Ingegneria, che permette di costruire macchine intelligenti che sfruttano la tecnica del Machine Learning, cioè la capacità degli algoritmi software di imparare dai dati reali.

Per il professionista ospedaliero, inserire nei sistemi quanti più dati possibile sarà quindi il punto di partenza per permettere ai sistemi di AI di apprendere in fretta e iniziare a suggerire terapie, diagnosi, cause e molte altre informazioni al professionista che utilizza il device.

I sistemi dotati di AI hanno il potenziale per promuovere le capacità e consentire al medico di base di fornire cure personalizzate e basate sull’evidenza ai loro pazienti. Tali tecnologie possono supportare il medico di famiglia nell’eseguire una terapia reattiva e basata sull’evidenza dei fatti attraverso la fornitura di approfondimenti cognitivi e supporto decisionale.

Attraverso la visualizzazione delle tendenze dei pazienti, ad esempio, questo potrà fornire informazioni sia per l’assistenza immediata del paziente che per la pianificazione e la gestione a lungo termine. I dispositivi indossabili (“wearable devices”) di monitoraggio biometrico consentono la misurazione e l’analisi remota dei dati dei pazienti in tempo reale, le migliaia di informazioni raccolte da questi dispositivi possono aiutare a creare diagnosi, prevedere gli esiti e gli effetti sui pazienti e aiutare i professionisti sanitari a selezionare il miglior trattamento per curare il paziente.