Nadella: diamo per scontato che ogni modello AI sia compromesso

C'è una frase, nel lungo post pubblicato da Satya Nadella su X sabato mattina, che vale più di tutto il resto del ragionamento: dobbiamo partire dal presupposto che un modello sia compromesso e contenerlo fin dall'inizio. Non "potrebbe essere". Non "in rari casi". Dobbiamo assumerlo. E il CEO di Microsoft usa un'immagine molto concreta per spiegare cosa serve: un freno d'emergenza.

Non è una sfumatura retorica. È un cambio di postura mentale che, in sicurezza informatica, ha un nome preciso: zero trust. Per vent'anni le aziende hanno imparato a non fidarsi del perimetro di rete, a trattare ogni richiesta come potenzialmente ostile, a verificare sempre. Nadella sta dicendo che lo stesso principio va applicato ai modelli linguistici, e che va applicato ora, mentre i sistemi agentici iniziano a muoversi dentro i processi aziendali senza qualcuno che guardi ogni singolo passaggio.

Cosa propone davvero

Il punto di partenza, nelle parole di Nadella riprese da TechCrunch, è che è ora di fare un passo indietro e valutare l'"architettura di fiducia" dell'AI. Il nodo è che oggi questi sistemi funzionano come scatole nere annidate una dentro l'altra: arriva una raccomandazione, un'azione, una risposta, e all'utente resta solo la scelta binaria di accettarla o rifiutarla. Senza vedere nulla di quello che c'è in mezzo.

La ricetta che propone si articola su alcuni punti. Separare il modello dall'harness, cioè dall'impalcatura software che ne orchestra il lavoro — distinzione tecnica ma cruciale, perché è lì che un agente decide quali strumenti usare, quali API chiamare, quali dati toccare. Portare controlli e salvaguardie fuori dal modello, invece di affidarsi all'addestramento interno perché "si comporti bene". Documentare ogni azione significativa con prove a prova di manomissione e leggibili da un essere umano. E garantire che una persona autorizzata possa sempre mettere in pausa o spegnere un modello a metà di un compito.

The Verge fa notare, giustamente, che buona parte di queste richieste — divulgazione tempestiva degli incidenti, audit indipendenti, dati verificabili, contenimento — circola già da tempo nel settore. Dove Nadella si spinge un po' più in là è proprio sul contenimento, e sull'idea che i modelli più avanzati richiederanno tecnologie di contenimento più avanzate, da standardizzare.

Perché conta che lo dica Microsoft

Quando un ricercatore accademico chiede cautela, è il suo mestiere. Quando lo chiede Anthropic — e Dario Amodei ha pubblicato da poco un suo piano per uno sviluppo più prudente — fa parte del posizionamento di brand dell'azienda da anni. Ma Microsoft è il fornitore di AI più esposto commercialmente del pianeta: Copilot dentro Office, Azure OpenAI dentro migliaia di deployment enterprise, agenti che promettono di automatizzare workflow interi. Ogni parola sul contenimento è anche un impegno implicito sui propri prodotti.

E qui c'è il calcolo che trovo più interessante. Il freno d'emergenza non è solo etica: è una funzionalità vendibile. Il CISO di una banca o di un ospedale non compra agenti autonomi perché sono brillanti, li compra se può dimostrare al regolatore che c'è un log immutabile, un punto di interruzione, una catena di responsabilità. Nadella sta descrivendo, con il linguaggio della sicurezza, quello che diventerà il prossimo terreno di competizione tra hyperscaler: non chi ha il modello migliore, ma chi ha l'infrastruttura di fiducia migliore attorno al modello.

Il tempismo, del resto, non è casuale. Entrambe le testate collegano l'intervento al fatto che le principali aziende di AI ammettono sempre più spesso episodi in cui sembrano aver perso il controllo dei propri sistemi. Quando gli incidenti smettono di essere aneddoti e diventano una categoria, il settore ha due opzioni: autoregolarsi con credibilità o farsi regolare da fuori. Questo post è chiaramente un contributo alla prima strada.

Il dettaglio linguistico che non va ignorato

Un appunto che The Verge solleva con una certa insofferenza, e che condivido: Nadella parla di "Super Intelligence" per tutto il post. TechCrunch annota che è il termine preferito dall'amministrazione Trump per riferirsi all'AI. Non è una scelta neutra. Chiamare superintelligenza i sistemi attuali gonfia le aspettative, sposta la discussione dai problemi reali — agenti che sbagliano, prompt injection, dati esfiltrati — verso uno scenario fantascientifico. E paradossalmente indebolisce proprio l'argomento di Nadella, che è molto più solido se letto come ingegneria della sicurezza che come profezia.

Cosa aspettarsi adesso

La mia previsione: nei prossimi mesi vedremo il concetto di "kill switch" migrare dai manifesti ai contratti. Comparirà negli SLA, nelle checklist di procurement, nelle richieste degli auditor. Le aziende che oggi stanno sperimentando agenti in produzione dovrebbero porsi tre domande molto pratiche — chi ha l'autorità di fermare un processo a metà, dove finiscono i log delle azioni dell'agente, e se quei log sono modificabili da chi controlla il sistema.

Perché il problema vero non è che un modello diventi malvagio. È che, in una pipeline fatta di strumenti, plugin e dati esterni, basta un ingresso avvelenato perché un sistema perfettamente allineato faccia esattamente la cosa sbagliata. Assumere che sia già compromesso, da questo punto di vista, non è pessimismo. È semplicemente realismo operativo.