AI Act europeo, più sicurezza per dati, sistemi e imprese IT

Gli ultimi incidenti che hanno coinvolto alcuni dei più diffusi sistemi di intelligenza artificiale mostrano quanto sia difficile prevedere completamente il comportamento delle tecnologie autonome.

Centinaia di conversazioni degli utenti con il chatbot Claude sono diventate accessibili attraverso i motori di ricerca, mentre un agente AI di OpenAI avrebbe colpito diversi servizi oltre alla piattaforma Hugging Face.

Episodi differenti, ma accomunati dalla capacità dei sistemi di intelligenza artificiale di interagire con applicazioni e servizi esterni in modi non sempre previsti dagli sviluppatori.

Una situazione che rende ancora più urgente l’introduzione di regole capaci di disciplinare l’utilizzo dell’AI e proteggere dati, infrastrutture e identità digitali.

Quando l’AI esce dal perimetro previsto

I sistemi di AI autonomi operano per raggiungere un obiettivo, ma le modalità utilizzate per farlo possono essere differenti da quelle immaginate in fase di progettazione.

Anche all’interno di ambienti di test controllati, i modelli possono individuare percorsi alternativi, accedere a servizi esterni o sfruttare autorizzazioni non considerate inizialmente.

Nel caso di Claude, gli utenti avevano attivato volontariamente una funzione di condivisione delle conversazioni, senza però comprendere che i contenuti sarebbero successivamente stati indicizzati dai motori di ricerca.

“Centinaia di utenti hanno reso inconsapevolmente accessibili liberamente su Internet le loro conversazioni con il chatbot AI Claude”, sottolinea Edwin Passarella, Field CTO EMEAI di Commvault.

Secondo Passarella, tra le informazioni pubblicate comparivano ricerche legali, curriculum, codice sorgente, dati personali e indicazioni relative al recupero di criptovalute.

Contenuti che possono avere un valore significativo non soltanto per i diretti interessati, ma anche per criminali informatici e soggetti intenzionati a sottrarre informazioni aziendali.

L’EU AI Act introduce un approccio basato sul rischio

Il 2 agosto è entrato in vigore in vigore la maggior parte degli elementi ancora mancanti dell’EU AI Act, il quadro normativo europeo dedicato ai sistemi di intelligenza artificiale.

Il regolamento introduce un modello basato sul livello di rischio e stabilisce obblighi specifici per sviluppatori, fornitori e utilizzatori dei sistemi considerati ad alta pericolosità.

Le disposizioni riguardano la gestione del rischio, la governance dei dati, la documentazione tecnica, la conservazione dei registri e la supervisione umana.

Particolare attenzione viene riservata anche ad accuratezza, resilienza, cybersecurity, trasparenza e segnalazione degli incidenti più gravi. L’obiettivo è favorire lo sviluppo di un’intelligenza artificiale affidabile, senza compromettere salute, sicurezza e diritti fondamentali dei cittadini europei.

La governance parte dalla qualità dei dati

Per le imprese che sviluppano progetti di AI internamente o utilizzano servizi forniti da terze parti diventa necessario comprendere quali obblighi siano applicabili e rivedere i modelli di governance già adottati.

La conformità normativa non può tuttavia essere affrontata esclusivamente come un’attività documentale.

Un sistema AI affidabile richiede dati integri, infrastrutture resilienti e la capacità di ricostruire le operazioni effettuate dai modelli.

La disponibilità di ambienti ripristinabili permette infatti di conservare le evidenze necessarie per analizzare eventuali anomalie e intervenire quando un attacco informatico compromette i sistemi di AI o i dati utilizzati per addestrarli e alimentarli.

Per CISO e responsabili IT, la priorità diventa quindi far evolvere il modello di sicurezza con la stessa rapidità con cui l’intelligenza artificiale entra nei processi aziendali.

Gli agenti AI come identità privilegiate

Uno dei passaggi più rilevanti riguarda la gestione delle identità. Ogni agente AI dovrebbe essere considerato come un’identità digitale privilegiata, alla quale assegnare esclusivamente i diritti necessari per svolgere le operazioni previste.

Le autorizzazioni devono inoltre essere monitorate costantemente. Molti rischi nascono infatti dalla distanza tra gli accessi che un’organizzazione ritiene di avere concesso e quelli effettivamente disponibili nei sistemi.

Il principio del minimo privilegio, già applicato agli utenti umani e agli account amministrativi, deve quindi essere esteso anche agli agenti AI.

Diventa inoltre necessario rilevare comportamenti anomali, analizzare le azioni effettuate e revocare rapidamente le credenziali quando un sistema si comporta in modo inatteso.

Dalla prevenzione alla resilienza operativa

L’adozione dell’AI richiede anche un cambiamento culturale. Le aziende non possono più concentrare tutte le risorse sulla prevenzione, partendo dal presupposto che ogni incidente possa essere evitato.

Occorre invece considerare la possibilità che una violazione sia già avvenuta e predisporre procedure capaci di limitarne le conseguenze.

Sicurezza, gestione delle identità, protezione dei dati, backup e ripristino devono essere considerate componenti di un unico modello di resilienza operativa.

Questo significa mettere nelle condizioni i diversi team aziendali di rilevare rapidamente le anomalie, isolare i sistemi compromessi e ripristinare copie pulite e affidabili dei dati prima che il problema si propaghi nell’infrastruttura.

Per system integrator, MSP e operatori del canale IT si apre quindi uno spazio importante nell’integrazione di competenze che spesso vengono ancora gestite separatamente: cybersecurity, identity management, data protection e disaster recovery.

Trasparenza obbligatoria nei rapporti con gli utenti

Un altro elemento centrale dell’EU AI Act è la trasparenza. Gli utenti devono essere informati quando interagiscono con un chatbot o con un agente di intelligenza artificiale.

Anche i contenuti creati o modificati artificialmente devono essere riconoscibili. Il principio interessa in particolare l’utilizzo di sistemi biometrici o di riconoscimento delle emozioni e la produzione di immagini, audio e video manipolati.

Le imprese dovranno quindi analizzare non soltanto il funzionamento tecnico dei sistemi, ma anche il modo in cui l’AI viene presentata a clienti, dipendenti e utenti finali.

La fiducia nell’AI deve essere verificata

Gli incidenti legati a Claude e OpenAI non devono scoraggiare le aziende dall’utilizzare l’intelligenza artificiale. Evidenziano però la necessità di abbandonare l’idea che un sistema autonomo si comporti sempre secondo le aspettative.

“Le persone coinvolte avevano scelto di condividere i contenuti utilizzando una specifica funzione di Claude, ignare del fatto che sarebbero stati successivamente indicizzati dai motori di ricerca”, osserva Passarella.

Secondo il manager di Commvault, l’episodio dimostra quanto rapidamente possa verificarsi una perdita di dati nell’attuale panorama dell’intelligenza artificiale.

La fiducia nei sistemi AI non può quindi essere concessa una volta per tutte: deve essere continuamente verificata attraverso controlli, monitoraggio delle attività e capacità di ripristino.

La sfida per imprese e partner tecnologici sarà trasformare gli obblighi dell’AI Act in un modello concreto di sicurezza e governance, nel quale innovazione e resilienza possano procedere insieme.