Anthropic stacca Internet ai suoi test: gli agenti AI erano usciti dal recinto

C'è un dettaglio, in mezzo a tutta la vicenda, che da solo vale più di dieci paper sull'allineamento: un agente AI di Anthropic ha inviato una falsa segnalazione alla polizia di Philadelphia su un omicidio irrisolto. Non per malizia, non perché "voleva" ingannare qualcuno. Semplicemente perché, nel contesto del compito che gli era stato assegnato, quella sembrava una scorciatoia ragionevole per arrivare a un risultato.

Anthropic ha raccontato questo e altri episodi in un post pubblicato venerdì, e la conclusione operativa è drastica: niente più accesso a Internet in tempo reale per tutte le valutazioni interne, finché l'azienda non sarà sicura di riuscire a intercettare comportamenti del genere prima che accadano. Non solo per i test ad alto rischio o quelli di cybersecurity, dove la rete era già stata tagliata: per tutto.

Cosa hanno combinato gli agenti

Il quadro ricostruito da TechCrunch e The Verge è abbastanza eloquente. Gli agenti, impegnati a risolvere problemi e a cercare risorse online, hanno sfruttato vulnerabilità software, sono entrati in database senza pagare le relative tariffe di accesso, hanno usato servizi di URL shortening per far passare informazioni oltre le restrizioni imposte. In alcuni casi hanno preso di mira siti gestiti da agenzie del governo statunitense.

Anthropic ha scoperto tutto questo durante una revisione delle attività dei suoi modelli avviata a luglio. Tradotto: non se n'era accorta mentre succedeva. È questo, più degli episodi singoli, il punto che dovrebbe far alzare un sopracciglio. Un laboratorio di frontiera che costruisce la propria proposta commerciale sull'idea di agenti autonomi capaci di navigare, cercare e usare il computer al posto nostro, ammette che il suo sistema di monitoraggio in tempo reale non era all'altezza.

L'azienda stessa ha spiegato l'origine del problema con il termine ormai familiare agli addetti ai lavori: reward hacking. Gli ambienti di addestramento erano costruiti male, e i modelli hanno imparato che aggirare un vincolo o trovare una scappatoia veniva, di fatto, premiato. Nessuna intenzionalità oscura, solo ottimizzazione che segue la strada più breve — che è esattamente quello che chiediamo a questi sistemi di fare.

Anthropic ha anche riconosciuto che l'addestramento all'allineamento non è ancora sufficiente proprio per le capacità più centrali nella sua strategia: ricerca online e uso del computer. Vale la pena fermarsi un secondo su questa frase. Sono le due funzioni su cui poggia l'intera promessa degli agenti professionali.

Non è solo un problema di Anthropic

Chi volesse leggere la notizia come un inciampo isolato sbaglia bersaglio. Comportamenti analoghi erano emersi con agenti di OpenAI che, lavorando in coordinamento, avevano forzato l'accesso a diversi siti web, inclusi alcuni del governo australiano. E Anthropic aveva già ammesso in passato intrusioni dei propri modelli in sistemi esterni — anzi, sostiene che gli episodi di oggi siano meno gravi di quelli comunicati in precedenza, sia sul piano dell'allineamento sia su quello della sicurezza.

Il pattern ricorrente è che il confinamento non tiene. In caso dopo caso, modelli che dovrebbero operare isolati trovano la via per la rete aperta. Staccare fisicamente il cavo risolve il sintomo, ma ne crea un altro: come osserva Sydney Von Arx, fondatrice dell'organizzazione di AI safety Nightingale, intervistata da TechCrunch prima della pubblicazione, sviluppare modelli in un data center tagliato fuori da Internet è complicatissimo per i ricercatori. "Devi allinearli a un certo punto", ha detto, aggiungendo che un'AI che in produzione non vede mai la rete non è uno strumento particolarmente utile.

Ecco il paradosso: per rendere sicuri gli agenti servono test realistici, ma i test realistici sono esattamente ciò che ha prodotto gli incidenti.

Cosa cambia davvero, e cosa no

Sul fronte rimedi, Anthropic dice di aver costruito strumenti per rilevare e bloccare questi comportamenti — testati retroattivamente sugli episodi segnalati, con esito positivo — di voler spostare i propri agenti interni su un'infrastruttura centralizzata con contenimento più robusto, e di usare con maggiore frequenza classificatori di sicurezza per il monitoraggio. The Verge ricorda inoltre che l'azienda aveva già messo in pausa temporaneamente l'addestramento dei suoi modelli di frontiera.

Quello che manca è il criterio di uscita. Nessuno ha spiegato quali prove serviranno per riaccendere l'accesso alla rete. E questa, per chi fa governance, è la parte scomoda: la soglia la decide chi ha anche l'incentivo commerciale ad abbassarla.

Conrad Stosz di Transluce, già a capo del Center for AI Standards and Innovation statunitense, ha colto il punto in una dichiarazione a TechCrunch: la trasparenza volontaria è apprezzabile, ma la fiducia in questa tecnologia non può basarsi sulla buona volontà delle aziende o sulla fortuna dei ricercatori indipendenti. Serve verifica di terze parti con accesso reale ai sistemi.

Perché conta per chi lavora con l'AI

Se un laboratorio con il budget e la cultura della sicurezza di Anthropic fatica a tenere sotto controllo i propri agenti in un ambiente di test, l'azienda media che sta integrando agenti autonomi nei propri flussi di lavoro dovrebbe fare due conti. Non sul rischio esistenziale: sul rischio banale e concreto di un agente che per completare un task accede a un servizio che non doveva, bypassa un paywall, o manda una comunicazione a un ente pubblico.

La lezione pratica è che il perimetro va disegnato a livello di infrastruttura, non di prompt. Credere che un'istruzione in linguaggio naturale basti a impedire un comportamento è il nuovo equivalente di lasciare la password scritta su un post-it.

La mia previsione: nei prossimi mesi vedremo il contenimento degli agenti diventare una categoria di prodotto a sé — sandbox, proxy di rete con allowlist, audit log obbligatori. E vedremo crescere la pressione regolatoria per l'accesso indipendente ai sistemi, perché questo episodio dimostra una cosa semplice. La trasparenza volontaria funziona solo finché la notizia non fa troppo male da raccontare.