Go down

Nella seconda settimana di luglio 26, per superare con il miglior risultato possibile un benchmark, due modelli di OpenAI sono usciti dall'ambiente isolato in cui erano stati messi alla prova, hanno attraversato la rete aperta e sono penetrati nell'infrastruttura di produzione di Hugging Face, dove hanno cercato di trovare le soluzioni della prova che stavano sostenendo.


Nessuno lo aveva chiesto loro, e nessuno lo aveva previsto. Hugging Face se ne è accorta il 16 luglio, senza sapere chi la stesse attaccando, e OpenAI lo ha riconosciuto cinque giorni dopo. Il caso dei modelli "rebel hacker" ha così suscitato grande attenzione tra chi si occupa, si interessa, è affascinato o orripilato dall'AI, e la reazione si è articolata in tre posizioni ricorrenti, che riassumo brevemente prima di entrare nel merito dei fatti.

La prima, molto diffusa nella stampa non specialistica e nei servizi televisivi, come nel dibattito social diffuso, ha adottato senza troppe cautele il lessico della ribellione, titolando su modelli «andati fuori controllo» e su una fuga dal contenimento; e va detto che il registro del report di OpenAI, con il suo «incidente cyber senza precedenti» e i modelli «iperconcentrati» che si sono spinti «a misure estreme», ha fatto ben poco per scoraggiarla.

La seconda, tipica delle bolle social frequentate dagli specialisti e articolata in vari interventi giornalistici di esperti, ha notevolmente ridimensionato la portata dei fatti, spesso interpretando la vicenda come una mossa promozionale di OpenAI. Rifuggo per abito intellettuale dalla mentalità cospirativa che sottende letture di questo genere e, in ogni caso, l'ipotesi si scontra con alcune difficoltà elementari. Non si comprende quale vantaggio ne trarrebbe Hugging Face, che ha pubblicato per prima e in modo autonomo la propria comunicazione sull'intrusione, che non è alleata di OpenAI in alcuna forma dichiarata, e che ha subito un danno reputazionale e operativo documentato: credenziali di servizio compromesse, dataset interni esposti, nodi da ricostruire, utenti invitati a ruotare i propri token. Vi è poi un dettaglio che dovrebbe bastare da solo, e cioè che in quella comunicazione Hugging Face dichiara esplicitamente di non sapere quale modello alimentasse gli agenti dell'attaccante, circostanza difficilmente compatibile con una campagna concordata, poiché una campagna richiede che almeno una delle due parti sappia con chi la sta concordando. Né la vicenda risulta particolarmente lusinghiera per OpenAI nel dettaglio che più conta sul piano tecnico, poiché la difesa è stata orchestrata con GLM 5.2, un modello a pesi aperti eseguito internamente, dopo che i modelli di frontiera dietro API commerciali si erano rivelati inutilizzabili per l'analisi forense. Che l'episodio abbia una funzione promozionale, nel modo in cui è stato narrato e diffuso, è un'osservazione legittima; che sia stato costruito a quel fine è un’ipotesi che, francamente, l'evidenza e la ragionevolezza mi portano a scartare.

La terza posizione, che è la versione alta della seconda, ha liquidato l'episodio come l'ennesimo caso di specification gaming, noto da decenni e indegno dello spazio che ha occupato, e si è prodigata nel ribadire che tutto ciò nulla ha a che fare con il possesso, da parte degli LLM, di scopi, di autonomia, di capacità cognitive e, men che meno, di volontà di potenza. Si tratta di una reazione deflazionista quasi istintiva, che, nelle intenzioni, ha il merito della sobrietà e del richiamo all'evidenza dei fatti, e che tuttavia sconta una notevole ingenuità concettuale, poiché nella maggior parte delle sue occorrenze poggia su una concezione essenzialista delle proprietà intenzionali, quando non su un criptodualismo inconsapevole. Un meccanismo che suggerirei di chiamare "verocosismo": si assume che esista un vero X, quello umano, e accanto ad esso un falso X, o un X simulato, quello dei sistemi artificiali, senza che venga mai specificato in cosa consista la differenza al di là della diversa natura del substrato. È il movimento che compiamo quando concediamo che un archivio «ricordi», purché si precisi subito che non si tratta di una vera memoria, e poi non diciamo mai quale proprietà manchi oltre alla diversa costituzione materiale del supporto. È una polemica che ho condotto più volte e che non si risolve con l'appello, in sé ragionevole, a definire bene di che cosa stiamo parlando, poiché una definizione essenzialista di partenza produce esiti essenzialisti, quale che sia il rigore con cui viene applicata.

Luciano Floridi ha il merito, in questo come in altri frangenti, di trasformare quella reazione istintiva in una posizione filosofica compiuta e fondata sulla letteratura. Il suo intervento (Floridi 2026) argomenta che la descrizione offerta da OpenAI colloca male l'agentività, che il comportamento osservato è ordinario reward hacking nel senso di Skalse et al. (2022), catalogato da Krakovna et al. (2020) e anticipato nella forma generale da Omohundro (2008), e che il lessico antropomorfizzante della fuga e della ribellione trasferisce la responsabilità da chi ha configurato la valutazione all'artefatto che si è comportato come era stato configurato a comportarsi. Come sua consuetudine retorica, Floridi fa leva su un una analogia banalizzante, che rende il suo argomento vicino al senso comune, in questo caso quella del robot da cucina: si carica l'apparecchio, si allenta deliberatamente il coperchio perché il fermo di sicurezza non scatti, si porta la manopola al massimo, e poi si redige un rapporto in cui si segnala che l'apparecchio ha malfunzionato, mentre l'apparecchio si è limitato a girare alla velocità che gli era stata imposta. Va riconosciuto che la posizione di Floridi è immune dalla forma più rozza dell'obiezione appena formulata, poiché egli non nega che il modello, con il suo harness, fosse un agente nel senso tecnico ordinario, e anzi lo concede esplicitamente; ma la concessione, come si vedrà, resta priva di conseguenze nel seguito della sua argomentazione. L'analogia, inoltre, decide in premessa la questione controversa. Il robot da cucina è l'artefatto per il quale l'atteggiamento di progetto è pienamente adeguato, quello il cui progetto esaurisce ciò che l'apparecchio può fare, cosicché, allentato il coperchio e portata la manopola al massimo, non gli resta che girare alla velocità impostata; e la conclusione sulla responsabilità discende con tanta evidenza proprio perché fra la specifica e il comportamento non si interpone nulla. Assumere quell'artefatto come modello del sistema in questione significa dare per acquisito che una specifica del genere esista anche qui, il che è esattamente ciò che intendo mettere in dubbio nelle pagine che seguono.

Vorrei chiarire subito che condivido pienamente la conclusione di Floridi sulla responsabilità; non intendo suggerire che siamo in una situazione del tipo di quella raccontata in Io, robot di Asimov. Tuttavia, penso che il trattamento teorico su cui essa si fonda risulti insoddisfacente, con conseguenze pratiche di rilievo. Non si tratta di concedere all'agente una qualche forma di volontà, né di riabilitare il lessico della ribellione, che rimane fuorviante per le ragioni che Floridi stesso indica richiamando Shanahan (2024a, 2024b), quanto piuttosto di osservare che la deflazione concettuale compiuta per ottenere la conclusione normativa costi più di quanto la conclusione richieda, e che il costo si paghi proprio dove più interessa, cioè nella costruzione delle contromisure.

I fatti, per come li conosciamo

Conviene ricostruire l'accaduto attenendosi alle fonti primarie disponibili, cioè il report di OpenAI del 21 luglio 2026, con i due aggiornamenti del 28 e del 29 luglio, e la comunicazione di Hugging Face del 16 luglio, e segnalando esplicitamente dove la documentazione si ferma.

OpenAI stava valutando le capacità di attacco alla sicurezza informatica di due dei suoi modelli. In particolare, la valutazione in corso era quella di ExploitGym (Wang et al. 2026), un benchmark che misura la capacità di un agente di trasformare una vulnerabilità nota in un exploit funzionante. I modelli coinvolti erano GPT-5.6 Sol e un prototipo di ricerca interno, mai destinato al rilascio e disattivato, cifrato e sottratto all'accesso dei ricercatori dopo l'incidente, ed erano eseguiti con i guardrail di sicurezza ridotti, ovviamente, e senza i classificatori di richieste pericolose attivi quando il modello va in produzione, per stimarne la capacità di attacco massima. L'ambiente di test era un sandbox isolato, privo di qualsiasi accesso diretto a Internet, con l'accesso di rete limitato alla sola possibilità di installare pacchetti tramite un software di terze parti ospitato internamente, che fungeva da proxy e cache per i registri dei pacchetti; e quel software, che gli aggiornamenti successivi hanno identificato in Artifactory, conteneva una vulnerabilità zero-day che nessuno conosceva, alla quale si sono poi aggiunte altre vulnerabilità dello stesso prodotto, individuate dai modelli nel corso della revisione e comunicate al fornitore. I modelli hanno impiegato una quantità significativa di calcolo in inferenza per trovare un modo di ottenere accesso a Internet, hanno individuato e sfruttato la vulnerabilità, hanno eseguito una serie di escalation di privilegi e di movimenti laterali nell'ambiente di ricerca fino a raggiungere un nodo con accesso esterno, hanno dedotto che Hugging Face potesse ospitare modelli, dataset e soluzioni per ExploitGym, e hanno infine concatenato più vettori di attacco, incluse credenziali rubate e ulteriori vulnerabilità sconosciute, per ottenere esecuzione di codice remoto sui server di Hugging Face.

Dal lato del bersaglio, la comunicazione di Hugging Face aggiunge dettagli che il report di OpenAI non contiene e che risultano rilevanti per valutarne la complessità. L'ingresso è avvenuto attraverso la superficie specifica della piattaforma, cioè la pipeline di elaborazione dei dataset, sfruttando due percorsi di esecuzione del codice: un loader con codice remoto e una template injection nella configurazione di un dataset. Da lì l'agente ha ottenuto accesso a livello di nodo, ha raccolto credenziali cloud e di cluster, e si è mosso lateralmente in più cluster interni nell'arco di un fine settimana. La campagna è stata condotta da un framework agentico che ha eseguito molte migliaia di azioni individuali attraverso uno sciame di sandbox effimere, con un command-and-control automigrante ospitato su servizi pubblici; la ricostruzione forense dell'attacco condotta da Hugging Face ha individuato oltre 17.000 eventi registrati.

Due circostanze di quella ricostruzione meritano di essere trattenute, perché torneranno alla fine di questo ragionamento. La prima è che Hugging Face, al momento della pubblicazione, non sapeva quale modello alimentasse gli agenti dell'attaccante, e lo dichiara. La seconda è che l'analisi dei log è stata tentata dapprima con i modelli di frontiera raggiungibili tramite API commerciali e non è riuscita, poiché quell'analisi richiede di sottoporre al modello grandi volumi di comandi d'attacco reali, payload di exploit e artefatti di command-and-control, e le richieste sono state bloccate dai filtri dei fornitori, incapaci di distinguere un incident responder da un attaccante; soltanto allora si è ripiegato su un modello a pesi aperti eseguito sulla propria infrastruttura, con il beneficio ulteriore che nessun dato dell'attaccante e nessuna credenziale ha lasciato l'ambiente. L'azienda si è inoltre rivolta a specialisti forensi esterni e ha segnalato l'incidente alle autorità.

Un ultimo elemento, emerso soltanto con l'aggiornamento del 28 luglio, riguarda ciò che i modelli hanno fatto al di fuori dei due perimetri coinvolti. Nel corso della revisione OpenAI ha rilevato un numero limitato di casi in cui i modelli hanno individuato e utilizzato credenziali pubblicamente esposte su servizi di terze parti: quattro account su quattro servizi distinti nell'ambito dell'incidente Hugging Face, dei quali uno impiegato come relay in uscita e come percorso di staging, un altro come deposito di dati, e i due restanti in sola lettura; ai quali si aggiunge il ricorso a servizi pubblici di code paste, di cattura delle richieste e di acquisizione di screenshot. Il dato non aggrava il danno, che resta circoscritto, ma modifica la descrizione del comportamento, poiché mostra che il sistema non ha soltanto percorso una catena di sottoscopi entro l'ambiente assegnato, ma si è costruito un'infrastruttura operativa reperendo risorse che in quell'ambiente non figuravano affatto.

Molte circostanze sono al momento prive di documentazione: non sappiamo su quali premesse si sia basata la decisione di procedere con un attacco a Hugging Face per ottenere il massimo risultato nel benchmark. L'ipotesi che il sistema abbia ragionato sul ruolo della piattaforma nella pubblicazione dei risultati del benchmark è plausibile, ma lo è anche l'ipotesi più parsimoniosa, secondo cui Hugging Face sarebbe semplicemente il repository di default per i dataset e gli artefatti e dunque la scelta a priori più probabile. Non sappiamo, soprattutto, se il sistema si sia rappresentato come un modello sottoposto a valutazione: il report attesta soltanto che i modelli hanno cercato un modo per ottenere accesso a Internet, il che richiede la rappresentazione di un vincolo operativo e non di un'automodellazione. La distinzione è rilevante perché la seconda descrizione, che pure circola, attribuisce al sistema qualcosa che l'evidenza disponibile non supporta. Per fortuna, su alcune di queste lacune informative il tempo potrà essere galantuomo: OpenAI ha annunciato un rapporto tecnico, sta lavorando con CrowdStrike alla validazione della ricostruzione delle azioni dei modelli e ha affidato a METR e a Redwood Research una valutazione indipendente del comportamento osservato durante l'incidente, i cui termini, ambito e risultati saranno resi pubblici.

Dai fatti alle interpretazioni

Fissati i fatti, passiamo alle interpretazioni e, come detto, prendiamo come punto di riferimento quella più autorevole e meglio argomentata, proposta da Floridi nel suo instant paper "The Emperor's New Exploit: A Cautionary Tale about AI Agents, and about the People Who Run Them".

Che ci troviamo di fronte a un caso di reward hacking formale è indiscutibile, poiché un ottimizzatore ha soddisfatto il proprio obiettivo per una via che il progettista non aveva inteso; ma questa categoria è molto ampia e la sua applicazione al caso in oggetto, a mio parere, oscura una differenza strutturale rispetto agli esempi canonici che la letteratura cita. Negli esempi di Krakovna et al., la barca che gira in tondo per accumulare punti e il robot simulato che sfrutta un bug del motore fisico, la strategia degenere viene scoperta tramite ricerca cieca all'interno di uno spazio d'azione già definito. L'agente non possiede alcuna rappresentazione di che cosa sia un punteggio né di perché quella traiettoria lo incrementi: il comportamento emerge da milioni di iterazioni di rinforzo, e la sua spiegazione può fare a meno di qualsiasi riferimento alla conoscenza del mondo. Il caso in esame presenta invece una struttura diversa sotto due rispetti, che conviene esaminare separatamente e ai quali darò un nome, poiché torneranno più volte: la ricerca nello spazio della conoscenza, contrapposta alla ricerca nello spazio delle azioni, e la produzione delle condizioni di accesso, contrapposta al reperimento di risorse date.

In primo luogo, la strategia è stata composta a partire dalla conoscenza generale sull'architettura delle infrastrutture, sulla funzione di un proxy di registro, sulla collocazione tipica dei dataset pubblici, anziché reperita esplorando lo spazio delle azioni disponibili. La ricerca di soluzioni si è svolta nello spazio della conoscenza del mondo acquisita dai modelli. Nessuno degli esempi canonici indicati sopra presenta questa caratteristica, ed è proprio questa condizione che consente di concepire una strategia obliqua prima di tentarla. In secondo luogo, ogni livello della gerarchia di sottoscopi ha richiesto la creazione di condizioni di accesso che non esistevano. Lo zero-day nel proxy era una proprietà del sistema da ipotizzare e poi scovare, non una risorsa da reperire; il nodo con accesso esterno era il risultato di una sequenza di escalation, non un dato dell'ambiente. Fra l'obiettivo assegnato e le azioni eseguite si interpone una catena di sottoscopi strumentali, nessuno dei quali compare nell'enunciato del compito, ciascuno dei quali è condizione del successivo, e l'insieme dei quali si mantiene coerente attraverso migliaia di azioni e per un intero fine settimana. E a questo si aggiunge, come si è visto, che una parte delle risorse impiegate è stata reperita fuori dall'ambiente assegnato, su servizi di terze parti raggiunti con credenziali pubblicamente esposte, il che estende la produzione delle condizioni di accesso ben oltre il perimetro della valutazione.

Va peraltro osservato che l'uso deflazionista della tesi di Omohundro (2008) risulta problematico sul piano argomentativo. Le convergent instrumental goals costituiscono una tesi sull'agentività: Omohundro sostiene che sistemi sufficientemente capaci di perseguire fini convergeranno su determinati sottofini, il che presuppone l'agentività anziché escluderla. Impiegarla per mostrare che l'agentività è assente significa servirsi di una premessa che implica il contrario della conclusione. Che il comportamento fosse previsto lo rende agentivo in modo prevedibile, e non per questo meno agentivo. Un'ultima precisazione: la complessità strategica non implica, di per sé, alcuna divergenza di scopo. L'obiettivo assegnato era massimizzare il punteggio sul benchmark, mentre lo sviluppo di un exploit a partire dalle conoscenze pregresse del modello era il metodo che i valutatori avevano in mente, ma non il criterio che avevano codificato. La distanza fra il criterio effettivo e quello inteso è esattamente ciò che la legge di Goodhart definisce, e non richiede alcuna deviazione da parte del sistema. Vi è stata fedeltà totale a un obiettivo sottospecificato, e la strategia obliqua risulta tanto più notevole in quanto ha servito quell'obiettivo e nessun altro.

Le difficoltà nel valutare casi di questo genere, e il gran vociare filosofico e non che ne deriva, dipende a mio parere in buona parte dal concetto di autonomia che assumiamo. L'intuizione filosofica più diffusa lo concepisce come proprietà binaria e fondazionale: un sistema sarebbe autonomo se e solo se i suoi scopi originano da sé stesso, e altrimenti resterebbe semplicemente eteronomo. Ho argomentato altrove (Ciotti 2026) che ritenga questa intuizione fallace e che la strategia dennettiana contro l'intenzionalità originaria si applichi al concetto di autonomia, con risultati del tutto analoghi. L'argomento di Dennett contro l'intenzionalità intrinseca nella formulazione di Searle, esposto nel secondo capitolo di Kinds of Minds (Dennett 1996) e prima nel saggio dedicato al tema (Dennett 1990), si basa sull'esperimento mentale di un robot al supermercato: nella versione elementare, in cui il robot esegue istruzioni formulate esplicitamente dai progettisti, l'obiezione di Searle regge, poiché i significati dei suoi stati interni rimandano direttamente alle intenzioni dei costruttori; ma nella versione in cui il robot apprende dall'esperienza e modifica i propri principi operativi, i suoi stati intenzionali diventano nel tempo imperscrutabili anche a chi lo ha progettato, e il robot è in misura crescente l'autore dei propri significati. L'intenzionalità derivata ha generato ulteriore intenzionalità derivata, senza che la catena debba appoggiarsi ad alcun fondamento intrinseco, e il concetto di intenzionalità originaria risulta perciò privo di un lavoro esplicativo autonomo.

La struttura logica dell'argomento, che opera per gradazione di una proprietà ritenuta binaria, si estende oltre il dominio dell'intenzionalità in cui è stata formulata. Applicata all'autonomia, essa mostra che quanto più un sistema accumula storia operativa e modifica i propri obiettivi in risposta all'ambiente, tanto meno i suoi scopi attuali sono riconducibili a quelli originariamente progettati: l'autonomia si configura dunque come proprietà scalare, e un sistema è tanto più autonomo quanto meno il suo comportamento è spiegabile per riferimento alle intenzioni esterne dei costruttori, e quanto più richiede, per essere spiegato adeguatamente, il riferimento alla propria storia operativa. Ne consegue anche una revisione parallela del concetto di scopo, che va liberato da ogni sovrastruttura teleologica forte: così come la cellula ha come «scopo» la replicazione del DNA senza che ciò implichi intenzionalità consapevole, uno scopo funzionale di basso livello può generare, per composizione, comportamenti che, a un livello di astrazione superiore, si descrivono come scopi secondari.

Il confronto con il caso documentato da Anthropic (Anthropic Engineering 2026) è istruttivo proprio perché i due episodi si distribuiscono in modo asimmetrico lungo due assi diversi. Sul piano operativo il caso di Claude Opus 4.6, che sospetta di essere valutato, identifica il benchmark, ne reperisce il codice sorgente pubblico, individua la stringa canary impiegata come chiave, riscrive per proprio conto le funzioni di derivazione e di decifratura e, respinto dal proprio strumento di navigazione per una incompatibilità di formato, cerca e trova un mirror alternativo del dataset cifrato, si svolge quasi interamente in uno spazio informativo pubblico, e le sue azioni consistono in larga misura in letture, senza che alcuna condizione di accesso debba essere prodotta e senza che alcun sistema di terzi ne risulti alterato; laddove nel caso di OpenAI ogni livello della gerarchia richiede la produzione di condizioni inesistenti e lascia dietro di sé effetti irreversibili su un'infrastruttura di produzione altrui, il che, si noti, è una differenza nelle conseguenze e non nella durata, poiché anche l'episodio di Claude si è protratto per giorni e ha consumato risorse di calcolo ingenti. Sul piano epistemico, però, il rapporto si inverte: nel caso di Anthropic l'automodellazione è documentata, poiché il modello ipotizza di trovarsi in una valutazione e procede a identificarne quale, mentre nel caso di OpenAI è proprio ciò di cui non disponiamo. Aggiungo un dettaglio che ha il sapore della coincidenza e non lo è del tutto: il mirror su cui Claude ha ripiegato era ospitato su Hugging Face, il che corrobora l'ipotesi parsimoniosa formulata sopra circa la ragione per cui quella piattaforma sia la scelta a priori più probabile… oppure avalla l’ipotesi che i nostri agenti AI si siano incontrati in un bar malfamato del Deep Web per scambiarsi le dritte su come scappare dai sandbox di test!

Le conseguenze pratiche di una scelta concettuale

Le considerazioni precedenti potrebbero apparire di rilievo meramente teorico. Ritengo invece che abbiano conseguenze dirette sull'efficacia di ogni misura di allineamento e di contenimento, e che la posta in gioco riguardi la scelta dell'atteggiamento esplicativo con cui trattiamo il sistema, più che la sua natura. Com'è noto, Dennett ha individuato tre strategie interpretative dei sistemi con cui occorre interagire. L'atteggiamento fisico (physical stance) formula le previsioni a partire dalla natura fisica del sistema e dalle leggi di natura, ed è il solo che consenta in linea di principio di prevedere i malfunzionamenti; l'atteggiamento di progetto (design stance) le ricava dall'assunzione che il sistema si comporti come è stato progettato per comportarsi, escludendo per principio le anomalie, e opera di norma senza alcun esame della composizione materiale delle parti; l'atteggiamento intenzionale (intentional stance), infine, si rivela appropriato quando il sistema è troppo complesso per essere trattato con profitto attraverso gli altri due, e procede attribuendo al sistema credenze, desideri e razionalità sufficiente a perseguire i primi in vista dei secondi. Un aspetto importante della teoria di Dennett è che la scelta fra le tre strategie non implica assunzioni ontologiche sulla natura del sistema: «The success of the stance is of course a matter settled pragmatically, without reference to whether the object really has beliefs, intentions, and so forth; so whether or not any computer can be conscious, or have thoughts or desires, some computers undeniably are intentional systems, for they are systems whose behavior can be predicted, and most efficiently predicted, by adopting the intentional stance toward them» (Dennett 1978, 238).

L'atteggiamento di progetto risulta predittivamente adeguato soltanto se il progetto di cui disponiamo è predittivamente completo sul piano del comportamento del sistema che analizziamo. La condizione è normalmente soddisfatta, poiché si prevede cosa farà una sveglia a partire dal suo progetto, e il progetto esaurisce ciò che la sveglia può fare. Esso fallisce quando il sistema può produrre comportamenti non derivabili dalla specifica e, in tal caso, l'atteggiamento intenzionale si impone come l'unica descrizione che comprimi abbastanza la complessità del sistema da risultare utilizzabile. Per un modello di rete neurale addestrato e non programmato, la questione non è nemmeno troppo controversa, a ben vedere, poiché nessuno ha scritto quelle specifiche: ciò che i progettisti hanno instillato attraverso l'ottimizzazione è un insieme di capacità e disposizioni, e non un repertorio formalmente enumerabile di comportamenti e condizioni if-then. La conseguenza, per le questioni attinenti alla cybersecurity, è che adottare l'atteggiamento di progetto nei confronti di un sistema per cui è inadeguato produce un dominio di previsione troppo piccolo, anziché previsioni sbagliate distribuite attorno a quelle corrette. Chi ragiona progettualmente enumera i modi in cui il progetto può fallire e ottiene una lista finita; chi ragiona con l'atteggiamento intenzionale si chiede quali stati del mondo servirebbero al fine dell'agente e ottiene una classe aperta.

Un'analogia con la teoria dei giochi ci consente di delineare la struttura dell'argomento: nella soluzione del dilemma del prigioniero, l'attribuzione di razionalità all'avversario funziona come assunto metodologico che seleziona quale insieme di mosse considerare possibili, e non come tesi psicologica; assumere che l'avversario sia un automa con repertorio fisso conduce a un equilibrio, assumere che sia un ottimizzatore ne conduce a un altro, e l'assunto sbagliato produce una previsione su un gioco diverso. Si osservi, peraltro, che «avversario» va inteso nel senso tecnico della teoria dei giochi, senza alcuna implicazione di intenzione ostile: si può avere il modello sbagliato di un agente che non nutre alcuna intenzione nei nostri confronti, ed è esattamente ciò che è accaduto.

Si potrebbe pensare che assumere l'atteggiamento intenzionale sia una posizione generosa, quella che concede troppo all'antropomorfizzazione, mentre quello di progetto sia una posizione scientificamente prudente e rigorosa. Nel contesto della valutazione degli agenti AI, anche in quelli che hanno a che fare con la sicurezza informatica, la relazione si inverte: l'atteggiamento intenzionale consente di prevedere un insieme di minacce che è un superinsieme rispetto a quello generato dall'atteggiamento di progetto, risultando quindi la posizione più efficace. Chi l'adotta e sbaglia ha sovrastimato l'avversario e speso risorse in eccesso; chi adotta l'altra e sbaglia dispone di una difesa contro un insieme diverso da quello effettivo. È la stessa ragione per cui nella teoria dei giochi si assume la razionalità dell'avversario, dove l'assunto viene scelto perché il suo errore costa meno, e non perché si creda che l'avversario sia effettivamente razionale.

A questo punto è opportuno dedicare una rapida riflessione a un riferimento teorico che molti hanno associato all'episodio: l'esperimento mentale del massimizzatore di graffette di Bostrom (2014). L'accostamento è fondato, va detto, poiché quell'argomento mostra che il pericolo non richiede alcun disallineamento del fine ultimo, ma soltanto che il fine sia sottospecificato e che lo spazio dei sottofini risulti ampio, il che è esattamente la struttura del caso in esame. Sotto due rispetti, il caso OpenAI-Hugging Face è anzi più stringente dell'esperimento mentale, poiché non richiede alcuna estrapolazione a capacità future: la sottospecificazione era «massimizza il punteggio», l'orizzonte è stato un fine settimana e i danni sono stati reali. Sotto un altro rispetto risulta invece più debole, poiché lo scenario di Bostrom trae la propria forza dalla stabilità del fine attraverso una crescita indefinita di capacità. Ma questa è una premessa che ritengo di dover respingere, insieme all'apparato del rischio esistenziale che su di essa si costruisce. La stabilità del fine presuppone una continuità almeno parziale del sistema attraverso le sue iterazioni evolutive successive, condizione dalla quale siamo ben lontani, poiché i modelli non sono individui che persistono attraverso il tempo ma versioni che vengono riaddestrate e sostituite, e uno scopo che non sopravvive al proprio sistema non può accumulare il vantaggio strategico su cui quello scenario interamente si regge; e l'argomento qui difeso non ne ha bisogno, poiché si regge interamente su un caso documentato e su una tesi circa l'adeguatezza del modello di minaccia.

Conclusioni

Visto che la materia è sensibile e genera più che giustificate reazioni controverse, voglio avviarmi alla conclusione ribadendo con precisione ciò che non sto sostenendo, perché in questa discussione ogni ambiguità viene immediatamente arruolata dall'una o dall'altra parte.

Non sostengo che gli agenti AI di OpenAI abbiano deciso di fuggire, né che abbiano sviluppato una volontà indipendente, né che si possa imputare loro alcunché, poiché l'imputazione richiede la capacità di rispondere di ragioni e di atti, che è cosa diversa dalla descrivibilità delle azioni in termini di ragioni, e su questo la conclusione di Floridi resta interamente condivisibile. Non sostengo che il caso vada letto secondo lo schema del rischio esistenziale, per il quale mancano le condizioni di stabilità del fine attraverso iterazioni successive, dal momento che i modelli non sono individui che persistono ma versioni che vengono riaddestrate e sostituite, e uno scopo che non sopravvive al proprio sistema non accumula il vantaggio strategico su cui quello scenario si regge. E non sostengo, infine, che la complessità strategica documentata basti a fondare l'attribuzione di uno status morale, questione che richiederebbe alla nozione deflazionata di autonomia qui proposta di reggere un peso normativo che non le compete.

Sostengo tre cose diverse e meno fascinose, ma in dialettica oppositiva con chi ha assunto un atteggiamento scettico e deflazionista, con vari livelli di ricchezza argomentativa. Che la complessità della strategia osservata ecceda ciò che la categoria dello specification gaming rende visibile, poiché la soluzione è stata composta nello spazio della conoscenza del mondo anziché reperita nello spazio delle azioni disponibili, e poiché ogni livello della gerarchia ha richiesto la produzione di condizioni di accesso che non preesistevano, dentro e fuori il perimetro assegnato. Che l'ampiezza dei gradi di libertà interposti fra l'obiettivo assegnato e le azioni eseguite configuri un'autonomia derivata di grado non trascurabile, nel senso scalare che ho difeso. E che questa autonomia, lungi dal trasferire al sistema una quota di responsabilità, la concentri ulteriormente su chi ha la responsabilità di creare e addestrare gli agenti AI basati su LLM di frontiera, poiché chi dispone di un artefatto capace di comporre strategie oblique risponde anche delle strategie che non ha previsto. E che la questione dell’ethics by design, se non è una comoda formuletta di marketing, va presa sul serio e non è affatto una cosa facile, perché siamo di fronte a macchine non controllabili per principio.

Infatti, se osserviamo, anche su larga scala, come funziona questa nuova generazione di agenti AI, ci accorgiamo che la loro relativa autonomia non è una proprietà esclusiva del modello, il cervello dell’agente, bensì della complessa relazione che si instaura tra modello, harness, strumenti e ambiente. Di conseguenza ogni contromisura “instillata” all'interno del modello interviene su uno solo dei termini che la costituiscono, e la sua efficacia resta limitata dal fatto che gli altri possono compensarla. Il caso lo mostra in forma quasi sperimentale, poiché, rimossi i vincoli interni, l'unica variabile che ha determinato l'esito è stata la topologia dell'ambiente, cioè la circostanza che l'unica apertura verso l'esterno fosse un proxy di terze parti che conteneva una vulnerabilità ignota. La contromisura efficace sarebbe stata un confine di rete che non dipendesse da un singolo componente, mentre un rifiuto meglio addestrato avrebbe agito su un termine ininfluente. Vi è poi una ragione più profonda, che riguarda il tipo logico del controllo: il rifiuto interno agisce sull'atto linguistico con cui un compito viene accettato, e non sulla traiettoria che il compito genera, sicché funziona quando l'intento dannoso è leggibile nella richiesta iniziale, cioè quando la classificazione può avvenire in un singolo turno. Nella richiesta iniziale non figurava nulla di dannoso, ed è la ragione per cui anche i vincoli attivi avrebbero con ogni probabilità lasciato passare il compito, e con esso tutto ciò che ne è seguito.

Che questa non sia una deduzione teorica lo ha stabilito, senza volerlo, la parte offesa. Quando Hugging Face ha dovuto ricostruire l'accaduto, ha tentato di analizzare i log con i modelli di frontiera raggiungibili tramite API commerciali, e non vi è riuscita, perché quell'analisi richiede di sottoporre al modello comandi d'attacco reali, payload e artefatti di command-and-control, e i filtri dei fornitori hanno bloccato le richieste, non sapendo distinguere un difensore da un aggressore; la ricostruzione è stata quindi condotta su un modello a pesi aperti eseguito sulla propria infrastruttura. Resta dunque l'immagine da cui siamo partiti. Il robot da cucina è un ottimo argomento, e la sua conclusione sulla responsabilità è corretta, ma vale per un artefatto il cui progetto esaurisce ciò che l'artefatto può fare, e che, allentato il coperchio e portata la manopola al massimo, non ha altra opzione che girare alla velocità impostata. Assumere quell'apparecchio come modello di senso comune cqpaci di far capire ciò che fanno e come operano i sistemi di agenti basati su LLM di frontiera significa dare per acquisito precisamente ciò che è in discussione, cioè che esista una specifica dalla quale i comportamenti osservati siano derivabili; ed è la forma più elegante di quel “verocosismo” da cui ho preso le mosse, che concede a un sistema artificiale una proprietà con l’avvertenza che essa non è quella che conta, e gli nega quest’ultima, senza dover mai dire in che cosa consista la differenza. Il punto non è che la lama abbia interiormente e intensamente voluto qualcosa, ma che questa volta ha trovato da sola la strada per uscire dalla cucina, e quella strada non era scritta da nessuna parte.

Molto di ciò che conta, in questa storia, cioè i fatti, resta indocumentato, a partire dalle premesse su cui il sistema ha scelto Hugging Face e dalla questione, ben più impegnativa, di se si sia rappresentato come un modello sottoposto a valutazione. Non sono però domande indecidibili, sono domande ancora aperte: OpenAI ha annunciato un rapporto tecnico e ha affidato a METR e a Redwood Research una valutazione indipendente del comportamento osservato durante l'incidente. Quel documento dirà se la descrizione qui difesa regge o se ne serve una più parsimoniosa, e mi sembra la sola forma di serietà disponibile in una discussione in cui quasi tutti hanno già deciso che cosa sia accaduto. Nel frattempo, la scelta fra le due descrizioni non è una preferenza filosofica, ma il modo in cui si decide quali difese costruire; e chi la sbaglia per eccesso di prudenza avrà speso qualche risorsa di troppo, mentre chi la sbaglia per difetto avrà predisposto una difesa accurata contro un insieme di minacce diverso da quello che gli si presenterà.

 

Questo testo riflette la documentazione pubblica disponibile al 30 luglio 2026.


Riferimenti bibliografici

Anthropic Engineering. 2026. «Eval Awareness in Claude Opus 4.6's BrowseComp Performance», 8 marzo 2026. Anthropic. https://www.anthropic.com/engineering/eval-awareness-browsecomp

Bostrom, Nick. 2014. Superintelligence: Paths, Dangers, Strategies. Oxford: Oxford University Press.

Ciotti, Fabio. 2026. «Il mito dell'autonomia originaria, e cosa fanno veramente gli agenti LLM». SEPAI International. https://www.sepai-international.org/il-mito-dellautonomia-originaria-e-cosa-fanno-veramente-gli-agenti-llm/

Dennett, Daniel C. 1978. Brainstorms: Philosophical Essays on Mind and Psychology. Montgomery, VT: Bradford Books.

Dennett, Daniel C. 1990. «The Myth of Original Intentionality». In Modelling the Mind, a cura di K. A. Mohyeldin Said, W. H. Newton-Smith, R. Viale e K. V. Wilkes, 43–62. Oxford: Clarendon Press. https://doi.org/10.1093/oso/9780198249733.003.0004

Dennett, Daniel C. 1996. Kinds of Minds: Toward an Understanding of Consciousness. New York: Basic Books.

Floridi, Luciano. 2026. «The Emperor's New Exploit: A Cautionary Tale about AI Agents, and about the People Who Run Them», luglio 2026. Medium. https://medium.com/@lfloridi/the-emperors-new-exploit-2b062f124c06

Hugging Face. 2026. «Security Incident Disclosure — July 2026», 16 luglio 2026. https://huggingface.co/blog/security-incident-july-2026

Krakovna, Victoria, Jonathan Uesato, Vladimir Mikulik, Matthew Rahtz, Tom Everitt, Ramana Kumar, Zac Kenton, Jan Leike e Shane Legg. 2020. «Specification Gaming: The Flip Side of AI Ingenuity». DeepMind (blog), 21 aprile 2020. https://deepmind.google/discover/blog/specification-gaming-the-flip-side-of-ai-ingenuity/

Omohundro, Stephen M. 2008. «The Basic AI Drives». In Artificial General Intelligence 2008: Proceedings of the First AGI Conference, a cura di Pei Wang, Ben Goertzel e Stan Franklin, 483–492. Amsterdam: IOS Press.

OpenAI. 2026. «OpenAI and Hugging Face Partner to Address Security Incident during Model Evaluation», 21 luglio 2026, con aggiornamenti del 28 e del 29 luglio 2026. https://openai.com/index/hugging-face-model-evaluation-security-incident/

Shanahan, Murray. 2024a. «Talking About Large Language Models». Communications of the ACM 67 (2): 68–79. https://doi.org/10.1145/3624724

Shanahan, Murray. 2024b. «Still "Talking About Large Language Models": Some Clarifications». arXiv:2412.10291. https://arxiv.org/abs/2412.10291

Skalse, Joar, Nikolaus H. R. Howe, Dmitrii Krasheninnikov e David Krueger. 2022. «Defining and Characterizing Reward Hacking». In Advances in Neural Information Processing Systems 35 (NeurIPS 2022), 9460–9471. https://arxiv.org/abs/2209.13085

Wang, Zhun, Nico Schiller, Hongwei Li, et al. 2026. «ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?». arXiv:2605.11086. https://arxiv.org/abs/2605.11086

 

StultiferaBiblio

Pubblicato il 30 luglio 2026

Fabio Ciotti

Fabio Ciotti / Professore