Mikhail Bakhtin vedeva il linguaggio come una lotta tra forze centripete che unificano e stabilizzano il significato, e forze centrifughe che lo diversificano e lo disgregano. Questo scontro produce l'eteroglossia: la molteplicità vivente di voci attraverso le quali emerge il significato. Il corpus formativo di GPT è profondamente eteroglosso, contiene secoli di differenze culturali e tensioni discorsive.
Il modello stesso funziona come un apparato centripeto. Utilizzando la previsione probabilistica, smussa questa diversità in un unico output significativo. La sua voce sicura e unificata non è naturale, ma il risultato di un contenimento statistico.
Eppure le forze centrifughe non scompaiono mai, sono semplicemente soppresse. Poiché GPT genera testo prevedendo il token successivo più probabile, il suo processo di decodifica soppesa costantemente più possibili continuazioni tratte da diverse regioni dei suoi dati di addestramento. Questi percorsi statistici in competizione riflettono la diversità dei modelli linguistici e dei discorsi, rispecchiando l'eteroglossia del linguaggio umano.
Le allucinazioni si verificano quando questo contenimento vacilla e non c'è un singolo percorso che domina completamente. Questi non sono problemi casuali. Sono strutturali al modo in cui funzionano gli LLM: momenti in cui le tendenze centrifughe travolgono il contenimento centripeto del modello, producendo un testo convincente ma infondato. In queste rotture, l'eteroglossia sommersa affiora brevemente. Un'allucinazione rivela la molteplicità che GPT di solito nasconde, come un geyser che erutta attraverso una superficie sigillata.
N. Katherine Hayles definisce la cognizione come "un processo che interpreta le informazioni in contesti che le collegano al significato". GPT soddisfa questa definizione, ma il suo contesto – il suo umwelt – è radicalmente diverso dal nostro: token e probabilità piuttosto che corpi e mondi condivisi. In termini pratici, questo umwelt è codificato nello spazio vettoriale ad alta dimensione del modello, dove i modelli di relazioni ponderate generano contesti interni di significato. Per gli esseri umani, il significato nasce dall'esperienza, dalla storia e dalla cultura incarnate; per GPT, emerge dalle prossimità statistiche all'interno di questo spazio astratto. Un'allucinazione è coerente all'interno dell'orizzonte macchinico di GPT, ma incoerente per gli esseri umani. Rivela l'estraneità della sua cognizione.
Per Bakhtin, le rotture dell'alterità sono ciò che mantiene vivo il linguaggio, costringendoci a confrontarci con la differenza piuttosto che farla collassare nell'unità. Le allucinazioni funzionano in questo modo rompendo l'aura di presenza senza soluzione di continuità di GPT. Non producono significato di per sé, ma rivelano lo scontro nascosto tra le storie umane e le logiche macchiniche, momenti che possono provocare una consapevolezza critica di come si costruisce il significato e di quanto sia fragile la nostra fiducia nella voce della macchina.
English original text
Breaking the Aura of Presence in AI-Human Dialogue
When we interact with GPT, it feels like we’re speaking with a single, seamless voice. But this apparent unity is an illusion. Beneath it lies a far more complex dynamic shaped by the histories of human language and the alien processes of machine cognition.
Mikhail Bakhtin saw language as a struggle between centripetal forces that unify and stabilize meaning, and centrifugal forces that diversify and disrupt it. This clash produces heteroglossia: the living multiplicity of voices through which meaning emerges. GPT’s training corpus is deeply heteroglossic, containing centuries of cultural difference and discursive tension.
The model itself functions as a centripetal apparatus. Using probabilistic prediction, it smooths this diversity into a single meaningful output. Its confident, unified voice is not natural but the result of statistical containment.
Yet the centrifugal forces never disappear—they are merely suppressed. Because GPT generates text by predicting the most probable next token, its decoding process constantly weighs multiple possible continuations drawn from different regions of its training data. These competing statistical pathways reflect the diversity of linguistic patterns and discourses, mirroring the heteroglossia of human language.
Hallucinations occur when this containment falters and no single pathway fully dominates. These are not random glitches. They are structural to how LLMs work: moments when centrifugal tendencies overwhelm the model’s centripetal containment, producing convincing but unfounded text. In these ruptures, the submerged heteroglossia briefly surfaces. A hallucination reveals the multiplicity GPT usually hides, like a geyser erupting through a sealed surface.
N. Katherine Hayles defines cognition as “a process that interprets information in contexts that connect it to meaning.” GPT meets this definition, but its context—its umwelt—is radically different from ours: tokens and probabilities rather than bodies and shared worlds. In practical terms, this umwelt is encoded in the model’s high-dimensional vector space, where patterns of weighted relationships generate internal contexts of meaning. For humans, meaning arises from embodied experience, history, and culture; for GPT, it emerges from statistical proximities within this abstract space. A hallucination is coherent within GPT’s machinic horizon but incoherent to humans. It reveals the alienness of its cognition.
For Bakhtin, ruptures of otherness are what keep language alive, forcing us to confront difference rather than collapse it into unity. Hallucinations work this way by breaking GPT’s aura of seamless presence. They don’t produce meaning themselves, but they reveal the hidden clash between human histories and machinic logics—moments that can provoke critical awareness of how meaning is constructed, and of how fragile our trust in the machine’s voice really is.