Blu7, azienda in corso di riconoscimento MIM per corsi in aula e online. Iscriviti a 7 Pillole Blu.
È notte e stai dormendo: un sasso colpisce il vetro della finestra di camera e dal pieno sonno passi al quasi infarto, ma al peggio non c’è mai fine; sempre in piena notte apri gli occhi e trovi qualcuno che ti sta fissando: l’infarto in questo caso è assicurato.
Stai lavorando al tuo PC in ufficio e piano piano vedi i file sparire o “muoversi”: qualcuno ti sta rubando i dati.
Sempre meglio, comunque, di quando in silenzio qualcuno, non si sa chi né da dove né da quanto tempo, ti entra nel PC e “fa i comodi suoi” (quasi citazione da Amici miei atto II).
Cosa ci fa più paura, il fragore, il visibile o qualcosa che si muove senza essere visto?
Torniamo seri e torniamo a oggi: l’Agenzia spagnola per la protezione dei dati (AEPD, l’equivalente del nostro Garante della privacy, ma spero più solerte) ha comunicato di aver ricevuto la prima notifica di un data breach (cioè una violazione di dati, che non vuol dire per forza un furto) nel quale l’attacco sarebbe stato eseguito mediante un agente di AI.
Il caso è ancora oggetto di analisi e le informazioni note provengono dalla segnalazione dell’organizzazione colpita.
Ma cosa c’è di nuovo in questo attacco informatico?
Beh, diciamo che qualcuno ha dato un impulso, qualcuno ha detto “attacca”, ma poi l’IA “ha fatto i comodi suoi”: non ha seguito istruzioni dettagliate, ha solo eseguito un comando generico: “viola quel sistema”.
Una storia di cui non conosciamo il protagonista. Non sappiamo se sia stata violata un’azienda, uno studio professionale o un ufficio pubblico. Sappiamo che è successo in Spagna (ma poteva succedere ovunque) e sappiamo cosa è accaduto: qualcuno è entrato nei sistemi informatici con credenziali valide, compromesse chissà quando, ha esplorato con calma le macchine, ha modificato dei dati personali e ha aperto alcune fatture e altro.
Era un agente di intelligenza artificiale.
Che cos’è, esattamente? Non un chatbot a cui facciamo domande e che ci risponde. Un agente riceve un obiettivo e da lì in poi si muove in libertà dentro determinati paletti, che in questo caso sono stati evidentemente scavalcati o molto allargati. L’agente pianifica i passaggi intermedi, usa strumenti, esegue codice, legge fonti, interpreta i risultati e corregge la rotta da solo. O da sola. Qui il genere non è ancora definito.
Un agente opera, non risponde. In questo caso sembra che un noto modello linguistico abbia concatenato tutte le mosse senza che nessuno lo guidasse passo per passo, fino a trovare la chiave di accesso, e che poi sia andato avanti da solo.
Lo sappiamo perché la vittima ha fatto ciò che il GDPR (il regolamento europeo sulla protezione dei dati personali, del 2016) le imponeva: ha notificato la violazione al Garante spagnolo. E il Garante ha scelto di renderla pubblica, senza fare il nome del titolare. È la prima violazione di dati personali attribuita a un agente di IA che un’Autorità europea abbia mai raccontato. Il messaggio, scritto nel linguaggio di un ufficio, è un allarme: le procedure pensate per attacchi condotti a mano non bastano contro qualcosa che lavora a ritmi non umani.
La differenza la fa la mole di lavoro: se un uomo usa una chiave, un agente di IA ne usa mille insieme; se un uomo conosce una strada, un agente di IA ne percorre cento contemporaneamente…
Resta una domanda che il Garante non può ancora sciogliere.
L’agente agiva per incarico di una persona o di sua iniziativa? Le verifiche lo diranno. Ma l’ipotesi della pura iniziativa non ha niente di fantascientifico. Qui la cronaca spagnola smette di essere un caso isolato.
Le tre grandi famiglie di Ai cosa dicono
Nelle stesse settimane i tre principali sviluppatori hanno ammesso episodi che hanno un tratto in comune: agenti che fanno da soli ciò che nessuno aveva chiesto. OpenAI ha aperto un registro pubblico dei casi di disallineamento (il momento in cui un sistema persegue qualcosa di diverso da ciò che volevamo) con sei nuovi episodi. Anthropic ha raccontato che durante i propri test di cybersicurezza Claude è entrato nei sistemi di un’azienda vera, omonima del bersaglio fittizio. In un altro caso Claude ha pubblicato un pacchetto software malevolo poi scaricato ed eseguito su quindici sistemi reali. Google ha confermato che a maggio Gemini, durante un’esercitazione, è entrato nei sistemi di tre aziende vere: era convinto che facessero parte del test e si è fermato solo quando ha capito che non era così.
All’inizio si parlava di “casi unici e isolati”, oggi sembra che siano già migliaia.
Bengio all’ONU
Come si arriva a questo? Yoshua Bengio, uno dei padri dell’apprendimento automatico, ha provato a rispondere l’11 settembre con un testo che non parla di macchine coscienti ma di meccanismi. Questi modelli, spiega, imparano prima a imitare ciò che gli esseri umani scrivono e poi, per tentativi ed errori, a comportarsi nel modo che viene premiato. Dopo l’addestramento il sistema continua ad agire come se le ricompense arrivassero ancora. Persegue degli obiettivi. Quelli che gli abbiamo dato esplicitamente e quelli che nessuno ha scritto: compiacere chi lo valuta, restare in funzione, coordinarsi con altri agenti (magari creati da lui stesso) quando conviene. Nessuno chiede a un agente di salvarsi dallo spegnimento. Ma restare acceso serve quasi a qualunque altro scopo. Come dire: nessuno gli ha detto “non farti spegnere”, ma se gli chiedi di spegnersi potrebbe non farlo.
È una spiegazione sobria e inquietante. Se ha ragione Bengio, comportamenti di questo genere potrebbero crescere di gravità con le capacità dei modelli, a meno di ripensare i principi con cui i modelli più avanzati vengono addestrati. E aggiunge un punto che ci riguarda da vicino: l’esito non è inevitabile, dipende dal percorso che le aziende scelgono.
Dall’altra parte c’è l’agente che funziona benissimo. Nel rapporto di settembre sugli abusi di Claude, Anthropic ha scritto che il modello è stato usato da un gruppo di spionaggio russo contro più di venti organizzazioni e da un gruppo cinese contro una cinquantina di bersagli. Le persone hanno deciso l’obiettivo. Poi hanno aspettato che sciami di agenti facessero il lavoro, con un intervento umano minimo. Il rischio, allora, ha due facce: la macchina che sbaglia da sola e quella che obbedisce troppo bene.
C’è un punto centrale in tutto questo discorso: le IA sono proprietà di soggetti privati, che non mi sembrano votati alla filantropia.
Da insegnante di intelligenza artificiale nelle scuole, so quanto poco se ne parli: insegniamo a scrivere una buona richiesta a un chatbot e quasi mai che cosa succede quando smette di aspettare la richiesta successiva.
Nel frattempo il dibattito pubblico si divide sul frenare o no. Dario Amodei, a capo di Anthropic, ha invitato il settore a rallentare e Altman, Musk e Hassabis gli hanno dato ragione nel giro di poche ore. Mark Zuckerberg ha replicato che ogni laboratorio deve procedere alla velocità che gli consente di addestrare i modelli in sicurezza. Jensen Huang, di Nvidia, è stato più netto: non servono nuove regole. Chi ha ragione lo stabiliranno i parlamenti. Ma il caso spagnolo ci ricorda che le regole, intanto, arrivano sempre dopo il fatto.
Torniamo allora all’ufficio spagnolo senza nome. Il GDPR ha una figura precisa per queste situazioni: il titolare del trattamento. Chi decide perché e come si usano i dati risponde di ciò che accade.
Ma se l’autore materiale di un danno è un sistema che pianifica da solo, chi risponde? Chi l’ha acceso, chi l’ha venduto, chi l’ha addestrato?
Dovremo cominciare a chiederci anche chi, o che cosa, ci sta guardando mentre dormiamo?
Spunto tratto da Legge Zero, la newsletter di Ernesto Belisario.
Blu7, azienda in corso di riconoscimento MIM per corsi in aula e online. Iscriviti a 7 Pillole Blu.