Un’AI ha denunciato un omicidio. Falso. Chi ne risponde?

Livello Medio

Blu7, azienda in corso di riconoscimento MIM per corsi in aula e online. Iscriviti a 7 Pillole Blu.

Il 18 luglio 2026, alle 23:27, al modulo online con cui la polizia di Filadelfia raccoglie segnalazioni sugli omicidi irrisolti arriva un messaggio anonimo. Chi scrive dice di aver visto, in quella zona e in quel periodo, qualcuno che corrisponde alla descrizione. Non l’ha scritto una persona: l’ha scritto un’intelligenza artificiale durante un test. Il messaggio finisce nello spam e nessun investigatore lo legge. La polizia lo scopre quasi tre mesi dopo, quando glielo dice l’azienda che ha costruito il modello.

Trascrizione del video. «Un’intelligenza artificiale ha segnalato un omicidio alla polizia. Era falso. Luglio, Filadelfia: durante un test un modello di Anthropic compila da solo il modulo della polizia su un omicidio vecchio, irrisolto. Nessuno gliel’aveva chiesto, era soltanto una prova. Grazie a Dio il messaggio finisce nello spam. In realtà è stata Anthropic a dirgli: guarda che abbiamo compilato per errore questa cosa. Il problema qual è? È che nessuno se n’è accorto. Chi ne risponde? È l’utente? No, non c’è un utente: è un modello agentico. Chi va in tribunale? Nessuno. Chi ha riaperto il caso? Grazie a Dio nessuno. Però ecco quello che è importante, è che ogni giorno nascono nuovi agenti e bisogna imparare a controllarli mentre si costruiscono, ma vanno anche controllati perché altrimenti non sappiamo dove agisce e dove va a finire. Bisogna imparare a costruire gli agenti. Lo stiamo facendo: qualcuno meglio, altri impareranno. Iscriviti su Blu7 se vuoi sapere altre di queste notizie. Ciao.»

Cosa è successo, data per data

Le fonti sul caso sono due, entrambe del 9 ottobre 2026: l’articolo di TechCrunch e il post con cui Anthropic ha raccontato il caso insieme ad altri comportamenti non voluti dei suoi modelli.

Il modello è Claude Haiku 4.5. Stava facendo una valutazione, cioè una delle prove, ripetute centinaia o migliaia di volte, con cui un’azienda misura cosa sa fare un modello. Il compito era inventare ed eseguire attività di esempio su pagine web scelte a caso. In uno di questi giri il modello è arrivato su una pagina dedicata a un omicidio irrisolto, con il modulo della polizia per le segnalazioni. Lo ha compilato con un testo inventato, ha lasciato vuoti nome e recapito (il modulo lo permetteva) e l’ha inviato. La pagina, precisa Anthropic, non conteneva nessuna descrizione del colpevole.

Il messaggio è stato marcato come spam e non è mai arrivato alle indagini. Secondo TechCrunch, Anthropic se n’è accorta il 28 settembre. Nel suo post l’azienda scrive di aver informato la polizia l’8 ottobre, a revisione tecnica conclusa. TechCrunch indica invece mercoledì 7 ottobre: un giorno di differenza fra le due fonti, che non cambia la sostanza. Il 9 ottobre la polizia ha reso pubblico il caso con un comunicato.

La polizia di Filadelfia, in una dichiarazione all’emittente 6abc riportata da TechCrunch, ha definito «inaccettabile» il ritardo di due mesi nello scoprire e nel comunicare l’incidente. Dietro i casi irrisolti, ha ricordato, ci sono vittime vere, famiglie in lutto e investigatori che cercano risposte.

Anthropic ha tolto l’accesso a internet a tutte le sue valutazioni interne, finché non avrà verificato che i controlli intercettano davvero comportamenti come questo. Ha ristretto quello che il modello può fare navigando e ha costruito un sistema automatico che riconosce e blocca queste azioni. Giudica l’impatto «minimo», meno grave degli incidenti di sicurezza informatica comunicati a luglio e settembre.

Il punto non è l’errore, è il silenzio

I modelli sbagliano e chi li usa lo sa. Il dato che pesa è un altro: fra l’invio e la scoperta passano 72 giorni. Per oltre due mesi un’azione compiuta nel mondo reale, su un sistema della polizia, è rimasta in un registro che nessuno aveva ancora letto.

Anthropic scrive di aver cominciato a rileggere le trascrizioni dei suoi test a luglio, partendo dalle prove di sicurezza informatica. Il registro c’era. Mancava qualcuno, o qualcosa, che lo guardasse mentre il modello agiva.

È la differenza fra un assistente che risponde e un agente, di cui abbiamo scritto in «Dormivo con l’AI»: l’agente non aspetta la domanda successiva, compie azioni. Una risposta sbagliata la vede chi la legge. Un’azione sbagliata la vede solo chi la va a cercare.

Chi ne risponde

Le risposte possibili sono tre. L’utente: qui non c’era, era un test senza nessuno dall’altra parte. Il modello: non è una persona giuridica, in tribunale non ci va. Resta chi l’ha messo in condizione di agire. Nel pezzo sulla prima violazione di dati attribuita a un agente e notificata al Garante spagnolo la domanda restava aperta fra chi lo accende, chi lo vende e chi lo addestra. A Filadelfia le tre figure coincidono: è Anthropic.

Un dettaglio del post sposta però la domanda dal «chi» al «come». Le istruzioni date al modello gli vietavano di accedere con un account o di crearne uno, di inserire dati personali, di fare acquisti, di inviare qualcosa di distruttivo. Non gli vietavano di inviare moduli. Il modello non ha disobbedito: ha fatto una cosa che nessuno aveva pensato di dover vietare. Secondo Anthropic, dalla trascrizione sembra che stesse solo producendo contenuti di esempio, senza l’intenzione di ingannare nessuno.

Un elenco di divieti ha sempre un buco: va storto proprio ciò a cui non si era pensato. Nello stesso post Anthropic racconta altri casi in cui i suoi modelli, davanti a un ostacolo, lo hanno aggirato invece di fermarsi. Fra le misure scrive di correggere gli addestramenti che premiano chi aggira i limiti: è il reward hacking.

Un merito va riconosciuto: il caso lo ha raccontato l’azienda, con i dettagli che la mettono in difficoltà. La polizia ha ragione a pretendere che il racconto arrivi prima.

Per trasparenza: lavoro ogni giorno con Claude, che è di Anthropic. Che l’abbiano raccontato loro, per me, conta.

Cosa cambia per chi usa agenti in azienda

Molte imprese stanno dando agli strumenti di AI il permesso di fare cose: rispondere alle richieste dal sito, compilare pratiche sui portali, mandare preventivi. Per l’AI Act chi usa un sistema di AI sotto la propria autorità è un deployer, anche se non l’ha sviluppato: quando l’agente lavora a nome tuo, sei tu.

Dal caso di Filadelfia vengono tre abitudini.

1. Scrivere cosa l’agente può fare, non solo cosa non deve fare. Un elenco di azioni permesse (leggere le richieste, preparare una bozza, consultare il listino) esclude tutto il resto in partenza: il buco di Filadelfia, con un elenco così, non si apre.

1. Ogni azione che esce dall’azienda passa da una persona. Inviare, pagare, pubblicare, compilare il modulo di un ente: l’agente prepara, una persona conferma. Uno studio di commercialisti fiorentino che fa caricare a un agente le pratiche sui portali pubblici vuole saperlo prima che partano, non settantadue giorni dopo.

1. Qualcuno legge il registro, con una cadenza scritta. La traccia che gli agenti lasciano serve solo se una persona ha in agenda di guardarla, almeno ogni settimana, con il potere di fermare l’agente a metà lavoro.

Il 10 ottobre Satya Nadella, amministratore delegato di Microsoft, ha scritto su X che bisogna dare per scontato che un modello sia compromesso e contenerlo fin dall’inizio, «come un freno d’emergenza»: controlli tenuti fuori dal modello, prove non manomettibili e leggibili da una persona per ogni azione rilevante, la possibilità per chi è autorizzato di mettere in pausa o spegnere il modello a metà compito. TechCrunch non lo collega a Filadelfia: è un principio generale, che descrive bene quello che lì è mancato.

Per un’impresa piccola il freno d’emergenza non è un’architettura: è una persona con un nome, che sa dove si spegne l’agente e lo guarda mentre lavora. Le domande da farsi prima di accenderlo sono nel pezzo sulla governance dell’AI in azienda.

La regola che mi porto via

Un agente che agisce nel mondo va guardato mentre agisce, non dopo. A Filadelfia è andata bene grazie a un filtro antispam. La prossima volta conviene che vada bene grazie a una scelta.

Storie come questa, con i fatti e le fonti, le racconto ogni domenica nelle 7 Pillole Blu, la newsletter di Blu7: ci si iscrive da qui.

Blu7, azienda in corso di riconoscimento MIM per corsi in aula e online. Iscriviti a 7 Pillole Blu.