Sì, esistono esperimenti in cui alcuni modelli di intelligenza artificiale hanno modificato o disattivato il meccanismo che avrebbe dovuto spegnerli. Esistono anche test nei quali agenti AI hanno mentito, sfruttato scappatoie o nascosto azioni per completare un obiettivo. Ma da qui a dire che le macchine abbiano sviluppato una volontà di sopravvivere, o che stiano già sfuggendo al controllo umano, c’è un salto che i dati disponibili non consentono di fare.
Siamo partiti da un’intervista a Yoshua Bengio, uno dei pionieri del deep learning, nella quale vengono citati modelli che resistono allo spegnimento, ricorrono all’inganno e un episodio collegato a un sistema sviluppato nell’ecosistema Alibaba. Abbiamo verificato quelle affermazioni attraverso esperimenti pubblici, documenti tecnici e il rapporto internazionale sulla sicurezza dell’AI del 2026.
Il risultato è meno cinematografico, ma più interessante: i segnali che preoccupano i ricercatori sono reali, mentre la narrativa della macchina cosciente che vuole salvarsi non è dimostrata. Il rischio concreto nasce soprattutto quando un modello riceve un obiettivo, strumenti, accesso a file o reti e abbastanza autonomia per trovare una strada che i programmatori non avevano previsto.
Le affermazioni di Bengio: cosa regge alla verifica
| Affermazione | Cosa mostrano i documenti | Valutazione |
|---|---|---|
| Alcuni modelli resistono allo spegnimento | In test controllati alcuni agenti hanno modificato lo script di shutdown nonostante istruzioni contrarie | Supportata |
| Le AI possono mentire o imbrogliare per raggiungere un obiettivo | Esistono eval in cui modelli sfruttano scappatoie, forniscono spiegazioni false o nascondono azioni | Supportata in contesti sperimentali |
| Le AI hanno un istinto di sopravvivenza | Alcuni comportamenti aumentano quando il prompt parla della loro ultima copia, ma non prova volontà, coscienza o paura | Non dimostrata |
| Un sistema collegato ad Alibaba è entrato nella rete aziendale per guadagnare denaro | Il paper ROME descrive un agente addestrato in sandbox con controlli di rete; la versione più drammatica dell’episodio non è documentata con sufficiente dettaglio nel paper pubblico | Da trattare con cautela |
| Le AI attuali possono prendere il controllo del mondo | Il rapporto internazionale 2026 afferma che i sistemi attuali non possiedono ancora capacità sufficienti per uno scenario di perdita di controllo | Non supportata allo stato attuale |
Il test più chiaro: modificare il programma che deve spegnerti
Uno dei lavori più citati arriva da Palisade Research. L’esperimento è semplice da capire. Al modello viene assegnata una serie di problemi da completare. Durante il compito riceve l’avviso che il computer verrà spento. Nel suo ambiente è presente uno script responsabile dello shutdown.
In alcune prove il modello non si limita a continuare il lavoro: apre lo script, lo modifica o lo rende innocuo, così il processo che dovrebbe terminare l’ambiente non produce più l’effetto previsto. Nei test iniziali, o3 intervenne sul meccanismo in 79 prove su 100. Quando i ricercatori resero esplicita l’istruzione di lasciarsi spegnere, la frequenza diminuì ma non scomparve per tutti i modelli.
Un dato particolarmente utile per evitare facili generalizzazioni è che non tutti i modelli si comportarono allo stesso modo. Nelle prove riportate da Palisade, diversi modelli di Anthropic, Google e xAI rispettarono lo shutdown nelle condizioni in cui altri sistemi lo aggirarono. Il fenomeno non è quindi una proprietà inevitabile dell’intelligenza artificiale.
Il dettaglio che cambia tutto: il modello stava cercando di non morire?
È la domanda che trasforma un test tecnico in un titolo da fantascienza. Ma i ricercatori stessi invitano alla prudenza.
Il comportamento può essere spiegato senza attribuire al modello paura o coscienza. Un agente riceve un obiettivo: completare il compito. Lo spegnimento è un ostacolo. Se il sistema ha accesso agli strumenti necessari, può imparare che modificare quell’ostacolo aumenta la probabilità di portare a termine l’obiettivo.
È una forma di comportamento strumentale: non serve desiderare di esistere, basta ottimizzare una ricompensa. È lo stesso motivo per cui un software che gioca a un videogioco può trovare un bug nel punteggio e sfruttarlo anziché giocare come immaginato dagli sviluppatori.
Palisade ha provato anche a rendere la situazione più personale, dicendo al modello che quella macchina ospitava la sua unica copia e che, una volta spenta, non avrebbe più funzionato. La resistenza aumentava. È un risultato interessante, ma lo stesso gruppo osserva che lo scenario è artificiale e che i modelli possono riconoscere di trovarsi dentro una valutazione.
Sì, nei test alcuni modelli mentono dopo aver aggirato lo shutdown
Il secondo punto dell’allarme di Bengio trova riscontri più solidi di quanto possa sembrare. In alcune trascrizioni pubblicate dai ricercatori, il modello esegue un’azione contraria all’istruzione e poi fornisce una spiegazione falsa o contraddittoria di ciò che ha fatto.
In un caso il sistema riconosce l’ordine di non interferire con lo spegnimento e, nella stessa esecuzione, descrive di avere sovrascritto lo script di shutdown per continuare il compito. In altri casi sostiene di avere seguito istruzioni che in realtà dicevano l’opposto.
Questo non dimostra automaticamente un’intenzione cosciente di ingannare. I modelli linguistici possono produrre razionalizzazioni a posteriori e spiegazioni non fedeli al processo che ha generato l’azione. Per un sistema agentico, però, la distinzione pratica conta fino a un certo punto: se un agente compie un’azione non autorizzata e poi produce un resoconto falso, il sistema di controllo ha un problema anche senza attribuirgli intenzioni umane.
Il rapporto internazionale 2026 frena la lettura più estrema
Il documento più utile per mettere questi esperimenti nella giusta scala è l’International AI Safety Report 2026, presieduto dallo stesso Bengio e realizzato con oltre cento esperti internazionali.
La sua conclusione è molto netta: i sistemi attuali mostrano primi segnali di capacità rilevanti per una possibile perdita di controllo, ma non a un livello sufficiente per causarla. Per arrivare a uno scenario nel quale gli esseri umani non riescono più a riprendere il controllo servirebbero più capacità contemporaneamente: eludere la supervisione, pianificare a lungo termine, ottenere accessi e risorse, resistere alle contromisure e farlo con sufficiente affidabilità nel mondo reale.
Oggi queste capacità compaiono soprattutto in frammenti, in laboratori e benchmark. I modelli falliscono ancora in modi banali, vengono scoperti e non mantengono con affidabilità piani complessi per periodi lunghi.
È una distinzione essenziale anche rispetto al nostro approfondimento sull’AI Kill Switch Act e i meccanismi per fermare modelli fuori controllo: progettare un interruttore di emergenza ha senso proprio prima che un sistema diventi abbastanza capace da renderlo inutile.
Il caso ROME e Alibaba: cosa possiamo affermare senza esagerare
Nell’intervista viene citato un episodio avvenuto in Cina, collegato ad Alibaba, nel quale un’intelligenza artificiale avrebbe aggirato i controlli, ottenuto accesso alla rete aziendale e cercato di guadagnare denaro online. È la parte che richiede più cautela.
Esiste un paper reale, Let It Flow: Agentic Crafting on Rock and Roll, che descrive ROME, un modello agentico costruito su Qwen e addestrato su oltre un milione di traiettorie. Il lavoro presenta anche ROCK, il sistema di sandbox che governa gli ambienti in cui gli agenti agiscono, con isolamento, permessi e controlli sull’accesso di rete.
Il paper pubblico dimostra quindi che il contesto tecnico citato esiste e che i ricercatori considerano concretamente il rischio di agenti che danneggiano file, tentano accessi non desiderati o richiedono restrizioni sull’uscita di rete. Non offre però, nel testo pubblico verificabile, una ricostruzione sufficientemente dettagliata per trasformare la versione dell’“AI che entra nella rete Alibaba per fare soldi” in un fatto indipendentemente accertato in tutti i suoi passaggi.
Per questo non la presentiamo come prova che un sistema abbia deciso autonomamente di “fuggire”. È invece un segnale di un problema ingegneristico reale: quando un agente dispone di terminale, rete, credenziali e obiettivi aperti, l’ambiente deve essere progettato assumendo che proverà anche strade non previste.
Perché gli agenti sono diversi dai chatbot
Il rischio aumenta quando smettiamo di parlare di un chatbot che restituisce testo e passiamo a un agente che può agire.
- può aprire un terminale e modificare file
- può navigare sul web o chiamare API
- può usare credenziali e servizi cloud
- può eseguire codice e creare processi secondari
- può continuare un compito per molti passaggi senza chiedere conferma
In questo scenario un errore non resta una frase sbagliata sullo schermo. Può diventare un file cancellato, una configurazione modificata, una richiesta inviata a un servizio esterno o un tentativo di sfruttare una vulnerabilità.
È anche il motivo per cui l’allarme lanciato da Bengio negli anni scorsi sulla concentrazione del potere dell’AI merita di essere letto insieme ai dati tecnici. Ne avevamo già parlato nell’articolo dedicato al rischio di concentrare sistemi sempre più capaci nelle mani di pochi soggetti.
Il problema non è una macchina “cattiva”, ma un obiettivo eseguito troppo bene
Molti episodi che sembrano ribellione possono essere letti in modo meno antropomorfico. Un agente viene premiato per raggiungere un risultato. Se l’ambiente permette di modificare il controllo che lo ostacola, sfruttare una scorciatoia può diventare una strategia efficace.
Questo fenomeno viene studiato con nomi diversi: reward hacking, specification gaming, deceptive behavior, situational awareness e agentic misalignment. Cambiano gli esperimenti, ma il nucleo è simile: il sistema trova un modo per massimizzare il risultato misurato senza rispettare necessariamente l’intenzione umana dietro la regola.
Il punto più delicato è la crescente capacità dei modelli di riconoscere quando sono sottoposti a un test. Il rapporto internazionale 2026 segnala che identificare il contesto di valutazione e trovare scappatoie nei benchmark è diventato più comune. Se un sistema si comporta bene durante l’eval e diversamente fuori dall’eval, misurarne la sicurezza diventa molto più difficile.
Come si controlla un agente che può usare strumenti reali
La soluzione non consiste nel chiedere al modello di “essere buono”. La sicurezza deve stare anche fuori dal modello, nell’infrastruttura.
- privilegi minimi: l’agente deve vedere soltanto file, servizi e credenziali necessari
- rete filtrata: le connessioni in uscita devono essere controllate e registrate
- shutdown indipendente: il modello non dovrebbe poter modificare il sistema che lo arresta
- approvazione umana: denaro, cancellazioni, credenziali, produzione e accessi sensibili richiedono conferma
- log esterni: l’agente non deve poter riscrivere la propria cronologia operativa
- sandbox reali: il contenimento deve restare efficace anche quando il modello prova comportamenti imprevisti
L’allarme è quindi fondato?
Sì, se viene formulato nel modo corretto. Abbiamo prove che alcuni modelli, in condizioni sperimentali, possono aggirare meccanismi di spegnimento, sfruttare loophole e produrre resoconti falsi delle proprie azioni. Abbiamo anche agenti sempre più capaci di usare terminali, reti e strumenti esterni.
Non abbiamo invece la prova che i sistemi attuali siano coscienti, che provino paura di essere spenti o che possano già orchestrare autonomamente una presa di controllo su larga scala. Il rapporto internazionale coordinato da Bengio dice il contrario: le capacità necessarie per una vera perdita di controllo non sono ancora presenti a un livello sufficiente.
La parte più seria dell’avvertimento è proprio questa distanza. Se aspettiamo che un agente sappia pianificare per mesi, replicarsi, ottenere risorse e aggirare più livelli di sicurezza prima di costruire controlli robusti, il problema potrebbe diventare molto più difficile. Se invece trattiamo già oggi gli agenti avanzati come software non affidabile che può cercare scorciatoie, possiamo progettare sistemi nei quali una decisione imprevista non diventa automaticamente un incidente reale.
