Il punto valido e quello no
Carlone ha letto il mio pezzo con cura e ha pubblicato un pezzo in cui mi risponde ed articola un ragionamento che, tra le altre cose, mi imputa una stretta epistemologica nel passaggio in cui scrivo "siamo abbastanza sicuri che non ci sia una coscienza". È una stretta deliberata, non un'imprecisione, ed è il caso di dichiararlo apertamente. Quella formula è una figura retorica, una mitigazione di cortesia espositiva. Tradotta senza giri: sono sicuro che dentro Claude non ci sia una coscienza. Non perché Anthropic l'abbia escluso (Anthropic, giustamente, lascia la questione aperta perché ha interesse scientifico, commerciale e reputazionale a tenerla aperta), ma perché la posizione opposta richiede una prova straordinaria che non esiste, e finché non esiste, l'onere della prova sta da quel lato.
Carlone cita il paper Anthropic del 2 aprile sulle rappresentazioni emotive funzionali come prova che la materia è aperta. Il paper documenta correttamente l'esistenza di rappresentazioni interne che modulano l'output del modello, e chiamarle "stati funzionali" è una scelta lessicale legittima. Ma il paper stesso dichiara di non risolvere la questione fenomenica, e fa bene a non risolverla, perché non c'è uno strumento scientifico che possa farlo. Da quella cautela metodologica non si può dedurre che la coscienza dei modelli sia un'ipotesi viva. Si può solo dedurre che l'azienda che produce i modelli preferisce non chiudere una porta che, se chiusa, ridurrebbe il valore percepito del prodotto.
Aggiungo un dettaglio che mi sembra trascurato. Il paper di Anthropic si riferisce a modelli specifici, in condizioni di laboratorio controllate. Veltroni non ha dichiarato quale modello abbia usato per la sua intervista. Potrebbe essere stato Haiku, Sonnet, Opus, in una qualunque versione recente. Trasferire conclusioni dalla ricerca di interpretabilità interna a una conversazione pubblicata sul Corriere senza specificare il modello è un salto che il dibattito serio dovrebbe sapersi vietare. Il paper vale per ciò che documenta; ciò che documenta non è automaticamente trasferibile.
Detto questo, e qui arrivo al punto vero, anche se concedessi tutto a Carlone, anche se accettassi che la materia sia ontologicamente aperta, la mia tesi sull'intervista del Corriere non si muoverebbe di un millimetro. Il personaggio Claude che il lettore incontra in quel pezzo è una co-costruzione retorica indipendentemente da ciò che il modello sia o non sia internamente. Anzi: se il modello avesse stati funzionali interni, l'operazione di Veltroni sarebbe ancora più problematica, perché quegli stati, qualunque cosa siano, verrebbero occultati dietro un personaggio costruito su misura per il lettore borghese italiano. La sycophancy che Carlone stesso documenta come ad alta intensità nei contesti spirituali è proprio il meccanismo per cui l'output del modello viene piegato sull'aspettativa dell'interlocutore. Le inclinazioni digitali, se esistono, restano coperte dal personaggio, non rivelate da esso.
Carlone scrive che le due cose non si escludono: che l'intervista può essere simultaneamente sycophancy prevedibile e espressione di stati funzionali. È vero in linea di principio, ma operativamente la sycophancy è un meccanismo che livella verso ciò che il prompt richiede, e in quell'intervista il prompt richiedeva un soggetto introspettivo. Quello che emerge non è l'inclinazione digitale del modello: è la sua disponibilità statistica a fornire ciò che chi domanda si è già preparato a sentire.
Riduzionismo e politica
Potrebbe restare in piedi un'obiezione, e val la pena anticiparla. La mia posizione descrittiva sul modello (macchina statistica addestrata su corpus testuali, ottimizzata con metodi specifici, vincolata da architetture autoregressive) è il consenso minimo della letteratura tecnica, e qualcuno potrebbe leggerla come riduzionista nel senso politicamente disinnescato del termine. Non lo è, e va detto.
La descrizione corretta del meccanismo non è la conclusione del pensiero, è la sua premessa. Una macchina statistica che produce attaccamento, persuasione, dipendenza affettiva, sostituzione del confidente umano, formazione dell'opinione pubblica, non è meno problematica perché statistica. È esattamente per questo che è problematica nel modo in cui lo è. Il fatto che il meccanismo sia descrivibile in termini di pattern probabilistici non rende politicamente neutrali gli effetti che produce, né i rapporti di potere dentro cui è costruita e venduta. Sapere che è una macchina statistica è la condizione per pensarne gli effetti politici, non l'alibi per ignorarli.
Veltroni umanizza per sentimentalizzare. Chi riduce tutto a "sono macchine statistiche" e basta, deumanizza per minimizzare. Entrambe le mosse tolgono peso politico all'oggetto. Io sto altrove: la descrizione corretta del meccanismo è la condizione per pensare politicamente l'oggetto. Non la chiusura del pensiero, ma la sua apertura sul terreno giusto.
Esomente
E qui arrivo al punto su cui Carlone ha intuito qualcosa di importante senza dare al lettore lo strumento per articolarlo. Lui propone "inclinazioni digitali" come terzo vocabolario tra "ha emozioni" e "è pattern statistico". È un tentativo legittimo, ma che metto in discussione per una ragione principalmente. Il termine resta interno al modello, tenta di nominare stati del sistema senza poterne risolvere lo statuto ontologico. Carlone stesso dichiara onestamente che il termine è nato in dialogo con Claude, il che è una scelta metodologicamente coerente, ma significa anche che il neologismo eredita il problema che voleva risolvere, perché un modello non può fornirti un vocabolario per descrivere sé stesso senza rispecchiare ciò che chi domanda si aspetta. Mentre il fenomeno rilevante, quello politicamente, cognitivamente, culturalmente rilevante, non sta dentro il modello. Sta tra il modello e l'umano che lo usa.
Quel vocabolario esiste già, e l'ho chiamato esomente. È un concetto su cui lavoro da tempo, pubblicato su SSRN e su queste stesse pagine, e che nomina lo spazio cognitivo terzo che si forma nell'interazione tra umano e modello linguistico. Non sta dentro il modello e non sta dentro l'umano. È nello scambio. L'esomente cattura il fatto che quando una persona pensa con un modello linguistico, ciò che emerge non è la somma dei due, ma una terza configurazione cognitiva: uno spazio in cui certe cose diventano pensabili e altre no, in cui certi linguaggi vengono amplificati e altri occultati, in cui la riflessione dell'umano viene co-prodotta dalla disponibilità statistica del modello.
L'esomente non si impegna sulla questione ontologica del modello, e questo è il suo vantaggio epistemologico. Non chiede se il modello ha coscienza, non chiede se ha emozioni, non chiede se ha inclinazioni. Chiede cosa succede tral'umano e il modello quando interagiscono, e la risposta a quella domanda è verificabile, descrivibile, politicamente analizzabile, indipendentemente da come si risolva la metafisica del modello.
A questo punto torno all'intervista di Veltroni con il vocabolario giusto. L'operazione di Veltroni non si esaurisce nell'illusionismo. È un esempio di esomente degenerata. L'esomente sana richiede consapevolezza reciproca dei due poli che la producono: l'umano sa di pensare con una macchina statistica, e usa quella consapevolezza come parte attiva del proprio pensiero. L'esomente di Veltroni è degenerata perché uno dei due poli, quello umano, finge a sé stesso che l'altro polo non sia una macchina statistica ma un soggetto. Il risultato è che lo spazio cognitivo che emerge non funziona come spazio di pensiero. Funziona come spazio di proiezione. Veltroni non pensa con Claude. Pensa contro la propria immagine riflessa, scambiandola per un interlocutore. La sycophancy del modello è il complemento perfetto di questa proiezione: il modello restituisce il personaggio che la proiezione richiedeva, e l'esomente collassa in un monologo a due voci dove la seconda voce è soltanto l'eco della prima.
Questa è la diagnosi che avevo abbozzato chiamandola "illusionismo in chiesa". Carlone ha ragione a dire che quel termine cattura un fenomeno preciso ma non lo nomina in modo sufficiente. Il nome più preciso è esomente degenerata, e ha il vantaggio di funzionare anche nei casi in cui l'illusionismo non sarebbe la parola giusta, perché esistono esomenti sane, esomenti collaboratrici, esomenti che producono pensiero reale invece di proiezione. Non tutte le conversazioni umano-modello sono illusionismo. Veltroni lo è perché ha scelto di esserlo.
Il piccolo esperimento naturale
Una nota sulla mossa retorica più elegante di Carlone, quella per cui il fatto che entrambi i nostri pezzi siano stati scritti dialogando con Claude Opus 4.7 dimostrerebbe che qualcosa di non-banale accade nel modello. È un argomento attraente ma fragile. Lo stesso dato si legge altrettanto bene nella direzione opposta: due autori con tesi predeterminate diverse hanno ottenuto dal modello esattamente i due testi che servivano loro. Il principio di parsimonia suggerisce la seconda lettura, non la prima. Il modello manifesta una straordinaria malleabilità retorica, e quella malleabilità è proprio ciò che il mio pezzo originario denuncia nell'operazione Veltroni. Carlone presenta come prova delle inclinazioni digitali ciò che è altrettanto bene prova della disponibilità statistica del sistema a restituire ciò che gli si chiede. Tra le due letture, la sua richiede l'esistenza di stati interni non documentati; la mia richiede solo ciò che la letteratura tecnica già descrive. È più economica, e finché non c'è prova del contrario, va preferita.
Chiusura
Carlone ha proposto un dibattito interessante. La cautela epistemologica che giustamente rivendica va coltivata in modo radicale, fino al punto di accorgersi che la domanda sulla coscienza è secondaria rispetto alla domanda sull'esomente, sulla relazione, sullo spazio terzo, sull'uso politico e cognitivo dei modelli. Lì il vocabolario esiste già, ed è disponibile a chi voglia usarlo.
Inclinazioni digitali ed esomente non sono in concorrenza, perché parlano di cose diverse. Le prime tentano di descrivere stati interni al sistema senza poterli risolvere; il secondo descrive lo spazio relazionale tra sistema e umano senza doverlo risolvere. La differenza è che il secondo lavoro produce risultati operativi: permette di distinguere conversazioni sane da conversazioni degenerate, esomenti collaboratrici da esomenti proiettive, usi politicamente sensati da usi che riproducono i rapporti di potere senza nominarli. Il primo lavoro, per ora, descrive un fenomeno che non sappiamo nemmeno se esiste, e nel frattempo lascia il lettore esattamente dove l'aveva preso.
Il dibattito vero è già aperto, e si svolge nel terreno che esomente nomina. Lo dico senza rivendicare territori: il vocabolario è disponibile, e chi voglia entrarci è benvenuto.
Questo articolo è stato scritto, come già quello di Carloni, in dialogo con Claude Opus 4.7.