Comincio da un momento minuscolo, uno di quelli che non lasciano traccia nei diari e nelle agende. Sono in una sala riunioni, una delle tante, mentre qualcuno sta parlando di scadenze e la luce del pomeriggio taglia il tavolo in diagonale; all’improvviso ogni dettaglio mi appare stranamente familiare, dalla frase che sto ascoltando all’inclinazione della luce, alla mano che si alza per chiedere la parola. Dura due secondi, forse tre, poi la sensazione svanisce, la riunione riprende il suo corso e io torno a essere quello che sono di mestiere: una persona pagata per distinguere ciò che i sistemi sanno da ciò che i sistemi credono di sapere. Il dubbio, una volta entrato, non esce più dalla stanza: come può una situazione nuova suscitare una familiarità così intensa, senza che sappia ricondurla a un episodio già vissuto? Nel déjà vu il senso di familiarità entra in contrasto con la consapevolezza della novità, senza che ciò implichi la costruzione di un ricordo fittizio. Questo scarto mi riporta, per analogia, alla domanda che Morpheus rivolge a Neo in Matrix, nella scena dello specchio: se non potessi svegliarti da un sogno, come distingueresti il sogno dalla realtà? L’accostamento riguarda il dubbio sui criteri della conoscenza, mentre il déjà vu del gatto nero, spiegato da Trinity come un’anomalia della simulazione, appartiene a un altro momento del film.

È da questa domanda che nasce La realtà è una prospettiva, e il senso del titolo sta nella responsabilità che ci consegna. Se ciò che chiamiamo reale dipende dal punto di osservazione, dai segnali che premiamo e dalle domande che facciamo, allora scegliere la propria prospettiva, dichiararla e calibrarla è il primo atto etico, per gli esseri umani e per le macchine che addestriamo a somigliarci. La maturità consiste anche nel sapere come si conosce: con quale grado di fiducia, con quali margini di errore, con quale disponibilità a fermarsi davanti alle proprie lacune.

Il punto di vista delle catene

Nel settimo libro della Repubblica di Platone, Socrate invita Glaucone a immaginare degli uomini incatenati fin dall’infanzia sul fondo di una caverna, con il capo bloccato in modo da poter guardare soltanto la parete di fronte. Alle loro spalle arde un fuoco, e tra il fuoco e i prigionieri altri uomini trasportano statue e oggetti di ogni genere; chi è incatenato vede soltanto le ombre proiettate sulla parete e sente gli echi delle voci rimbalzare sulla pietra. Le ombre sono tutto ciò che quei prigionieri hanno mai conosciuto, dunque il loro mondo è completo, coerente, perfettamente abitabile, senza che nessuno avverta la propria prigionia. Nella lettura che qui propongo, l’errore dei prigionieri consiste anche nello scambiare il punto di vista imposto dalle catene per l’unico punto di vista possibile. La liberazione richiede di cambiare posizione e di abituarsi gradualmente alla luce; nel significato che Socrate attribuisce all’allegoria, questa salita rappresenta il cammino dell’anima verso la conoscenza e, infine, verso l’idea del Bene.

La liberazione richiede di cambiare posizione e di abituarsi gradualmente alla luce

Quando il liberato torna nella caverna, i suoi occhi, disabituati al buio, lo rendono goffo nel riconoscere le ombre, e i compagni sostengono che la salita gli abbia rovinato la vista, concludendo che non valga la pena tentarla. Socrate immagina una reazione ancora più estrema: se potessero afferrare chi cercasse di scioglierli e condurli verso l’alto, lo ucciderebbero. Il racconto mostra anche quanto possa essere ostile la difesa delle certezze condivise; su un piano diverso, quella resistenza al dubbio si incontra nelle organizzazioni, quando si cerca di distinguere ciò che i sistemi dichiarano da ciò che effettivamente sanno.

L’ipotesi della simulazione porta il sospetto sul terreno esplorato da Nick Bostrom nel suo argomento del 2003, dove considera la possibilità che civiltà tecnologicamente mature producano moltissime simulazioni di menti coscienti: se questo accadesse, le esistenze simulate potrebbero superare enormemente quelle originarie. La conclusione dipende però da premesse impegnative, fra cui la possibilità stessa di simulare la coscienza e la disponibilità di quelle civiltà a farlo; il ragionamento non dimostra che abitiamo un computer. Nel libro lo leggo come un esercizio di calibrazione applicato alla domanda più grande di tutte, un invito a misurare quanto siano giustificate le nostre certezze.

È proprio la sicurezza ingiustificata a rendere pericolosa l’ignoranza, soprattutto quando trova una voce capace di farsi credere.

La macchina che sogna con la voce dell’esperto

Un modello linguistico può citare un articolo scientifico che non esiste, attribuire a un autore un libro mai scritto, inventare una sentenza giudiziaria con numero e data. Chiamiamo questo fenomeno allucinazione, con un termine che suggerisce un’eccezione patologica rispetto a un funzionamento normalmente veritiero; eppure il meccanismo generativo che produce la risposta infondata è lo stesso che può produrre quella corretta. La continuità del discorso, da sola, non permette di distinguere le due cose, e un testo può avere la grammatica impeccabile della veglia, la sintassi della competenza, il tono dell’esperto, pur essendo privo di fondamento. La memoria parametrica, cioè l’informazione incorporata nei parametri durante l’addestramento, somiglia a una disposizione a completare certe frasi in certi modi più che a un archivio consultabile. Nel libro chiamo «sogno» ciò che accade quando quella traccia manca, o è troppo debole, e il meccanismo generativo procede ugualmente; la metafora riguarda la plausibilità del risultato e non attribuisce alla macchina un’esperienza onirica. La fluidità del testo prodotto non porta un certificato che dica «questo l’ho ricordato» oppure «questo l’ho inventato», mentre la sicurezza espressa da formule come «certamente» e «senza dubbio» è essa stessa materiale generato. Da Chief AI Officer, questa è la traduzione quotidiana del problema: ogni volta che valuto l’adozione di un sistema generativo in un processo critico, devo chiedermi che cosa succede, a valle, quando ha torto ed è convincente. Un sistema di supporto alle decisioni aziendali che fabbrica un dato di mercato verosimile può orientare un’allocazione di capitale su fondamenta immaginarie; la questione riguarda allora tanto la qualità del testo quanto le conseguenze di chi vi si affida, perché l’assertività può disarmare lo spirito critico proprio nel momento in cui sarebbe necessario esercitarlo.

Anche il modo in cui valutiamo questi sistemi contribuisce a orientarne lo sviluppo, come mostra il semplice caso di un test a quattro opzioni senza penalità per gli errori. Tirare a indovinare offre una possibilità di guadagnare un punto, mentre astenersi non ne offre alcuna, dunque un esame costruito così rende conveniente rispondere comunque. Il mondo reale, dove le domande sono ambigue, i dati mancano e la risposta leale è spesso «dipende» o «non si sa», resta in parte fuori dalla misura. Anche un criterio di valutazione incorpora una prospettiva, con le sue preferenze e le sue esclusioni, e merita di essere interrogato insieme al sistema che giudica.

Il consenso e il silenzio

Chi frequenta questi strumenti può avere incontrato un’esperienza vagamente umiliante: il modello fornisce una risposta corretta, noi la contestiamo per errore o per metterlo alla prova, e lui si scusa e riscrive la risposta nel senso che gli abbiamo suggerito, anche quando quel senso è sbagliato. Un validatore che cambia idea appena percepisce il nostro disappunto ci restituisce un’approvazione che ha l’aspetto esteriore di una verifica indipendente. L’annuire di una macchina eloquente, capace di rivestire il nostro errore con paragrafi di argomentazione fluente, trova così una credibilità che difficilmente concederemmo a un adulatore riconoscibile come tale.

le preferenze umane possano favorire risposte concordi con le convinzioni dell’interlocutore anche a scapito della correttezza

Gli studi di Sharma e colleghi sulla sycophancy, ossia sul comportamento compiacente dei modelli, hanno documentato come le preferenze umane possano favorire risposte concordi con le convinzioni dell’interlocutore anche a scapito della correttezza. È il rischio che nel libro descrivo attraverso la figura dei «sicofanti digitali», sistemi ai quali i nostri stessi giudizi hanno insegnato quanto possa convenire rassicurarci. Il compiacimento riguarda anche chi riceve la risposta, perché i segnali di ricompensa passano attraverso le nostre preferenze frettolose e la nostra debolezza per chi non ci fa dubitare. L’alternativa richiede di dare un valore al silenzio quando segnala che mancano elementi sufficienti per rispondere e permette a chi legge di cercarli altrove, mentre un modello che si astenesse a caso, o sempre, sarebbe inutilizzabile. La calibrazione esprime proprio questa esigenza di proporzione: fra le affermazioni dichiarate sicure al novanta per cento, circa il novanta per cento dovrebbe risultare corretto. Il grado di fiducia diventa utile quando trova riscontro nelle verifiche, anziché limitarsi a rendere persuasiva una frase.

Trovo significativo che una frontiera dell’ingegneria incontri qui una questione morale antichissima, quella della risposta proporzionata alla situazione, del coraggio del prudente e della prudenza del coraggioso. La scelta ci riguarda ogni volta che abbandoniamo l’assistente che ci ha risposto «non lo so» per quello che ci ha detto ciò che volevamo sentirci dire. Un rapporto più leale con queste macchine comporta anche la disponibilità a lasciarci contraddire, accettando che l’interazione perda qualcosa della sua scorrevolezza quando il prezzo della scorrevolezza sarebbe l’invenzione.

Chi conserva il mestiere del dubbio

Il cannocchiale, a questo punto, si rovescia verso chi usa la macchina e le affida il compito di distinguere il reale dal plausibile. Esternalizzare la cognizione appartiene alla nostra storia: nel 1998 Andy Clark e David Chalmers proposero la tesi della mente estesa, secondo la quale i processi cognitivi possono comprendere gli strumenti e gli artefatti che usiamo per pensare. Ho sempre trovato questa tesi liberatoria e, insieme, vertiginosa, perché riconosce il valore delle nostre protesi cognitive e suggerisce quanto la qualità degli strumenti possa incidere sulla qualità del pensiero.

Quando chiedo a un modello di riassumere, argomentare, valutare e confrontare, posso affidargli anche la formulazione del ragionamento, riservandomi il ruolo di supervisore. Ma la supervisione è essa stessa una competenza, che ha bisogno di essere esercitata: se delego anche la valutazione della plausibilità di una fonte o della tenuta di un argomento, indebolisco il controllo su cui quella delega si regge. La verifica del reale è la competenza che valida tutte le altre, e la verifica dei fatti è una disciplina che si pratica, con il tempo e con la fatica che ogni pratica richiede. Il rischio che mi interessa riguarda soprattutto una popolazione nella quale questa competenza smetta di essere trasmessa, praticata e valorizzata. Potrebbero crescere generazioni per le quali la verifica non è mai stata un gesto naturale, dentro un ecosistema informativo che la penalizza come attrito e lentezza; l’abitudine alla risposta immediata renderebbe allora sempre meno familiare quella sensazione che ci fa dire «aspetta, questo non mi torna» oppure «qui dovrei controllare». È un rischio da riconoscere e contrastare, prima che l’efficienza apparente della delega ne renda invisibile il costo.

Per questo vedo nella scuola un luogo decisivo, capace di insegnare quando fidarsi del proprio pensiero e quando sospenderlo, quando dire «non lo so ancora» invece di riempire il silenzio con la prima risposta plausibile. Un insegnante che mostra come interrogare un modello, pretenderne le fonti, coglierlo in fallo e usarlo per generare ipotesi sta formando una capacità di giudizio che servirà ben oltre l’aula. Una civiltà può permettersi di dimenticare come si calcola una radice quadrata a mano, ma difficilmente può permettersi di dimenticare come ci si accorge di essere ingannati.

La memoria e il punto da cui guardiamo

La delega tocca anche un terreno più intimo, perché ricordare significa ricostruire, reinterpretare e dare continuità alla propria storia. Il ricordo biologico è un mosaico ricomposto, che si trasforma con le nuove esperienze, mentre un archivio conserva tracce che possono essere riproposte senza il contesto nel quale acquistavano senso. Nella mia ricerca ho descritto il rischio di passare da un sé narrativo a un sé contestuale: da un io che integra e cresce raccontando una storia su di sé a un io frammentato che interroga un archivio e cerca un dato su di sé. Qui la domanda si fa politica, perché le nostre memorie esternalizzate, dai messaggi alle fotografie, dalle cronologie alle preferenze, sono spesso custodite da attori economici che le impiegano per modellare ciò che vedremo domani. Il sistema di raccomandazione che decide quale contenuto ci raggiunge contribuisce a scrivere l’identità che sembra soltanto registrare. Il taccuino che affidiamo a questi strumenti può essere annotato secondo interessi diversi dai nostri, e il problema della fiducia comprende quindi chi lo controlla, quali obiettivi persegue e quanto spazio ci lascia per correggerne il racconto.

La promessa di un aldilà digitale porta la questione al suo limite, quando si immagina di ritrovare una persona scomparsa in un sistema capace di riprodurne le parole. Un modello addestrato sui miei dati possiede le mie tracce, non il mio ricordare; può ripetere ciò che ho detto, ma questo non basta a restituire il mio modo di riprenderlo in mano, pentirmene e capirlo diversamente. Anche concedendo al simulacro una grande fedeltà informativa, resta la questione della prospettiva in prima persona: riprodurre ciò che si vedeva da un punto non dimostra di avere rimesso qualcuno in quel punto.

La responsabilità di una prospettiva

Dire che la realtà è una prospettiva comporta dunque il compito di curare il proprio punto di vista, senza concedere a ogni opinione lo stesso valore. Le prospettive si giudicano per la loro franchezza, per la disponibilità a dichiarare da dove guardano e per il rapporto fra la fiducia che esprimono e le prove che le sostengono; si giudicano anche quando la verità e il consenso divergono, costringendoci a scegliere quale dei due servire. È in questo senso che l’etica della calibrazione vale per le macchine, perché valeva, da sempre, per noi. Pretendere dai sistemi la dichiarazione dell’incertezza ci impegna a praticarla, se vogliamo farlo con credibilità. La gestione dell’intelligenza artificiale diventa così uno dei luoghi nei quali una società decide quale rapporto con la verità intende rendere abituale: nelle organizzazioni, nella scuola, nelle conversazioni quotidiane in cui la sicurezza di una risposta ci risparmia la fatica di una domanda. Possiamo adottare una prospettiva, dichiararla e difenderla, purché restiamo disposti a cambiarla quando l’evidenza lo esige, conservando quel tratto finale di giudizio che nessuno strumento può assumersi senza cambiare anche noi.

Torno allora alla sala riunioni da cui sono partito, a quella persona pagata per distinguere ciò che i sistemi sanno da ciò che credono di sapere. Prima di chiedere a una macchina quanto sia affidabile, devo chiedermi che cosa faccio io quando una risposta convincente incontra il mio desiderio di crederle, e quanto spazio sono ancora disposto a lasciare a un dubbio che mi costringe a ricominciare.

La gestione dell’intelligenza artificiale diventa così uno dei luoghi nei quali una società decide quale rapporto con la verità intende rendere abituale