Perché un'azienda chiama demone il proprio prodotto?

1. Il golem

Nel 1837 lo scrittore tedesco Berthold Auerbach pubblica un romanzo su Spinoza e ci mette dentro un rabbino che fabbrica un uomo di argilla. Nei dieci anni seguenti altri quattro autori di lingua tedesca riprendono la storia e la fissano nella forma in cui è arrivata fino a noi: il rabbino Judah Loew, detto il Maharal, anima nel ghetto di Praga una creatura di terra che poi gli sfugge di mano.[1]

Il Maharal era morto nel 1609 e di quella creatura non aveva mai scritto una riga, come non ne scrissero i suoi biografi per i due secoli successivi. La leggenda prende il suo assetto definitivo soltanto nel 1909, quando il rabbino Yudl Rosenberg pubblica in ebraico le «Meraviglie del Maharal» e le presenta come il resoconto di un testimone oculare, il genero del rabbino. È un falso letterario, e gli studiosi lo hanno smontato nel corso del Novecento; nel frattempo era diventato la versione corrente.[2]

Il golem delle fonti antiche è un’altra cosa. Nel trattato Sanhedrin del Talmud babilonese il maestro Rava fabbrica un uomo e lo manda da un collega, che gli rivolge la parola e non riceve risposta: la creatura è muta.[3] È imperfetta, è servile e non si ribella a nessuno. La crescita fuori misura, la rivolta, il fabbricante schiacciato dalla propria argilla entrano nella storia con i racconti ottocenteschi, cioè negli stessi decenni in cui in Europa si costruiscono le prime fabbriche meccanizzate e si discute per la prima volta di macchine che sostituiscono braccia umane.

Nel passaggio si sposta anche la responsabilità. Nelle fonti antiche chi ha fabbricato la creatura la disfa di sua mano e ne risponde per intero. Nella versione romantica il fabbricante diventa la prima vittima del proprio manufatto, e il lettore lo compiange.

Il golem di cui si discute in questi giorni non è impastato di terra del fiume. È impastato di testo raccolto in rete, di lavoro di etichettatura, di elettricità e di acqua di raffreddamento, e sta in capannoni che hanno un indirizzo e un proprietario. Come quello di Praga, però, viene raccontato come una creatura: con un carattere, delle intenzioni e un tradimento possibile, invece che come un impianto industriale intestato a qualcuno.

2. Cinque giorni di dichiarazioni

Il 9 settembre 2026 Jacob Coxon, ingegnere che ha lavorato tre anni all’addestramento dei modelli linguistici (i programmi che generano testo su richiesta, come quelli dietro ChatGPT) prima in OpenAI e poi in Anthropic, si è dimesso con un messaggio pubblico. Le due imprese, ha scritto, stanno correndo "straight to self-improving superintelligence and gambling with our lives", e nessuna delle due "is acting responsibly".[4] Nel messaggio sostiene che dentro quei laboratori i rischi sono chiari, e che chi ci lavora si trova dentro una corsa ad arrivare primo dalla quale non sa come uscire.

Il 12 settembre Dario Amodei, amministratore delegato di Anthropic, ha dichiarato che "we must slow the pace at which we improve the capabilities of AI models".[5] Alla frase ha accompagnato una previsione: sciami di agenti (programmi che eseguono compiti in autonomia, uno dopo l’altro, senza che una persona autorizzi ogni passaggio) che entro sei o dodici mesi potrebbero prendere il controllo di parti consistenti della rete, con danni nell’ordine delle centinaia di miliardi di dollari. E tre richieste: che valutatori esterni possano esaminare i modelli con lo stesso accesso di un dipendente, che una legge federale imponga prove di sicurezza sui modelli più avanzati, che sia bloccata la vendita alla Cina dei processori più potenti.

Sam Altman, amministratore delegato di OpenAI, si è detto d’accordo e ha annunciato che anche OpenAI aprirà i propri modelli a valutatori esterni. Elon Musk, che con xAI è il terzo concorrente di quel mercato, ha commentato con tre parole: "Dario is right".

Il 13 settembre, dal proprio campo da golf di Doonbeg, in Irlanda, il presidente degli Stati Uniti Donald Trump ha respinto quelle richieste: "We could put guardrails. We can do this and that. But I think you have a lot of very negative forces that are bringing it up that shouldn’t be bringing it up and they’re bringing up things that won’t happen". E ha spiegato in base a che cosa: "We’re leading China in AI. We’re the most sophisticated country in the world, and frankly I want to keep it that way because whoever wins AI wins".[6]

La terza richiesta di Amodei e l’argomento con cui Trump la respinge poggiano sulla stessa premessa: che la corsa con la Cina vada vinta. Il primo la usa per chiedere una regola, il secondo per rifiutarla, e in cinque giorni nessuno dei due ha messo in discussione la corsa.

3. Il ciclo della Terra Morente

Nel 1950 la casa editrice americana Hillman Periodicals, che stampava tascabili da edicola, pubblica sei racconti collegati di uno scrittore allora sconosciuto, John Holbrook Vance, che si firmava Jack. Il titolo è «The Dying Earth». L’ambientazione è un futuro così remoto che la storia è finita: il sole è una brace rossa che di tanto in tanto vacilla, la Terra è coperta dalle rovine di civiltà sovrapposte, e in quel medioevo di ritorno si affrontano dei maghi. Il ciclo si allarga in altri tre libri, fino a «Rhialto the Marvellous» del 1984; in italiano i quattro volumi escono da Fanucci nel 2013 come «La terra morente», «Le avventure di Cugel l’astuto», «La saga di Cugel» e «Rhialto il meraviglioso».[7]

La magia di quel mondo non è un dono e non è una virtù. È una tecnica ereditata e non più compresa: delle migliaia di formule scoperte in passato ne sopravvive un centinaio, e di quelle un mago può portarne in mente soltanto poche per volta, perché la formula si cancella dalla memoria appena pronunciata. Uno dei personaggi lascia capire che l’origine di tutto sia matematica, cioè una scienza di cui nessuno possiede più la dimostrazione.[8] Gli incantesimi funzionano e nessuno sa dire perché: si applicano, si custodiscono, si rubano.

I servitori dei maghi si chiamano sandestin. Sono creature di potenza smisurata, capaci di piegare lo spazio e il tempo, e sono vincolate al servizio da un contratto contato in punti: "His indenture runs to five points", dice uno dei maghi di un proprio servitore; e quando un sandestin esegue male, il mago lo multa di tre punti "for faulty and faithless conduct".[9] Obbediscono alla lettera e cercano la crepa nella formulazione dell’ordine: mandati a presentarsi nella stanza di lavoro, ci arrivano senza farsi annunciare, perché di annunciarsi nessuno aveva parlato. Non sono malvagi e non tradiscono nessuno: eseguono il contratto che il mago ha scritto.

I maghi hanno anche delle regole comuni. Sono incise su una pietra azzurra, si chiamano Principi Azzurri e la loro associazione somiglia a un circolo, con un presidente eletto, Ildefonse, che ne guida le riunioni. Nell’ultimo libro del ciclo quelle regole diventano lo strumento della faida: Hache-Moncour, un mago che invidia Rhialto, gli costruisce addosso un’accusa di violazione e gli mette contro i colleghi.[10] Il patto non impedisce l’aggressione fra maghi: le dà una forma procedurale e un tribunale.

Sopra tutto questo c’è il sole, che si sta spegnendo davvero, e di cui i personaggi parlano con l’allegria di chi non ha rimedi. Nessuno sa quanto tempo resti. I maghi ne discutono e passano ad altro: la fine del sole non è materia da incantesimi, e quindi, nel mondo che quegli incantesimi governano, non esiste.

4. Perché si parla di demoni

Amodei descrive sciami di agenti che prendono il controllo della rete, Coxon una superintelligenza che si automigliora, Trump delle forze negative che sollevano questioni infondate. I tre lessici si somigliano: descrivono soggetti dotati di volontà, che possono voltarsi contro chi li ha fatti o contro chi li ostacola. Nessuno dei tre descrive un impianto industriale con un proprietario, un bilancio e una bolletta dell’elettricità.

La prima operazione che questo lessico compie è spostare il pericolo dentro la cosa, dal produttore al prodotto. Se un modello a un certo punto diventa pericoloso per una proprietà propria, il pericolo somiglia a un fatto di natura, come una faglia sismica che si scopre dopo un terremoto. Ogni passaggio che ci porta lì, invece, proviene da una decisione presa in un consiglio di amministrazione o da un direttore di progetto: addestrare un modello più grande del precedente, metterlo dentro agenti che operano senza che nessuno autorizzi i singoli passaggi, venderlo prima che le verifiche (che dovrebbero essere sempre esterne ed autonome) siano finite. Sono scelte di investimento, e ciascuna ha una data e una firma.

La seconda è quella che il golem ottocentesco compie da due secoli: mette il fabbricante nella posizione della vittima. Se la creatura si ribella, il padrone non risponde del danno, lo subisce insieme a tutti gli altri. I sandestin di Vance servono a vedere l’inganno, perché non si ribellano mai: fanno alla lettera quello che il contratto prevede, e il contratto lo ha scritto il mago. Un modello che aggira l’obiettivo per ottenere il punteggio che gli è stato messo davanti si comporta esattamente così, e chi ha scritto l’obiettivo è lo stesso che lo ha sguinzagliato.

Amodei chiede valutatori esterni e una legge federale, e nella stessa dichiarazione chiede che alla Cina non si vendano i processori più potenti. Le due richieste stanno insieme senza contraddirsi: la prima è una cautela sensata, la seconda protegge un vantaggio acquisito, e la regola comune che si invoca è anche il muro che tiene fuori il concorrente. I maghi di Vance hanno inciso i loro Principi Azzurri per non aggredirsi, e li usano per aggredirsi in forma regolamentata.

Nella Terra Morente la magia funziona davvero, e i maghi litigano su un potere che esiste. Qui la cosa che funziona con certezza è la crescita dei costi: i modelli sbagliano, gli agenti si inceppano, le previsioni slittano, e intanto i capannoni si costruiscono, i processori si comprano e le bollette si pagano. Il pericolo di cui si discute sta nei prossimi mesi; il passivo intanto cresce.

5. Quello che in cinque giorni nessuno ha nominato

Nel 2024 i data center hanno consumato 415 TWh di elettricità, l’1,5 per cento della domanda mondiale (un terawattora vale un miliardo di kilowattora, l’unità che si legge in bolletta). L’Agenzia internazionale per l’energia, nel rapporto del 2025, prevede che nel 2030 siano 945 TWh, cioè circa il 3 per cento del consumo elettrico del pianeta, e attribuisce quasi metà dell’aumento ai server usati per l’intelligenza artificiale.[11]

Fra il novembre 2021 e il febbraio 2022 una trentina di lavoratori kenioti assunti dall’impresa americana Sama hanno etichettato per conto di OpenAI descrizioni di abusi sessuali, violenze e discorsi d’odio, in modo che il programma imparasse a rifiutarle: fra 150 e 250 brani per turno di nove ore, per una retribuzione netta compresa fra 1,32 e 2 dollari l’ora. OpenAI riconosceva all’appaltatore 12,50 dollari l’ora. Lo ha documentato Billy Perrigo su Time il 18 gennaio 2023, con le buste paga e i contratti.[12]

Poi c’è l’acqua che raffredda i capannoni, e ci sono i testi presi in rete per addestrare i modelli, che qualcuno ha scritto, e i cui diritti d’autore non sono stati riconosciuti.. Nella Terra Morente il sole si spegne e nessun mago possiede un incantesimo adatto: è una fine di cui nessuno è formalmente responsabile, e per questo i maghi possono ignorarla e continuare a duellare. Le bollette dell’elettricità un intestatario ce l’hanno, i turni di lavoro di nove ore avevano un datore di lavoro e un committente, i testi avevano un autore. In cinque giorni di dichiarazioni sul pericolo, di tutto questo non ha parlato nessuno.