In questo scenario si collocano due voci centrali del dibattito contemporaneo: Jaron Lanier, informatico e musicista, pioniere della realtà virtuale e critico dell’economia digitale delle piattaforme, e Cathy O’Neil, matematica e autrice di Weapons of Math Destruction, tra le prime a denunciare gli effetti sociali dei modelli predittivi. Le loro posizioni convergono nella critica al mito dell’oggettività algoritmica, ma divergono per accenti teorici e soluzioni politiche.
Lanier osserva la tecnologia come un dispositivo che ridefinisce insieme l’idea di umano e le forme della produzione economica, gli algoritmi non sono semplici strumenti, ma strutture che modellano comportamenti, desideri e relazioni, concentrando ricchezza e potere informativo in poche mani.
O’Neil, dal canto suo, analizza gli algoritmi come infrastrutture operative del potere, sistemi che, presentandosi come neutrali, riproducono e amplificano disuguaglianze sociali, rendendo automatiche e incontestabili decisioni che un tempo sarebbero state politiche.
Il loro confronto riguarda la possibilità stessa di una cittadinanza nell’epoca delle macchine decisionali. In che modo si esercita il controllo democratico su processi che nessuno vede e quasi nessuno può spiegare? Che forma assume la responsabilità quando una scelta è tradotta in punteggio, previsione, probabilità?
È questo il punto di partenza delle critiche di Lanier e O’Neil, che pur da prospettive diverse, interrogano lo stesso nodo politico. Che ne è della democrazia quando il potere decisionale si sposta verso sistemi progettati per ottimizzare interessi che non coincidono con quelli dei cittadini?
1. Il potere invisibile dei dati
Gli algoritmi non governano formalmente, ma decidono chi ottiene un prestito, chi viene assunto, chi viene sorvegliato, quali contenuti emergono e quali scompaiono nello spazio informativo. Questa forma di potere non si esercita attraverso leggi o decreti, ma tramite procedure tecniche che producono effetti politici. Possiamo ancora parlare di democrazia quando decisioni cruciali vengono delegate a sistemi che nessuno ha votato e che quasi nessuno è in grado di comprendere o contestare?
In Weapons of Math Destruction, Cathy O’Neil definisce gli algoritmi più pericolosi come modelli opachi, scalabili e dannosi. Opachi, perché il loro funzionamento è sottratto allo sguardo di chi li subisce; scalabili, perché una decisione sbagliata può colpire milioni di persone; dannosi, perché incidono direttamente su diritti e opportunità. Il problema, per O’Neil, non è l’errore tecnico in sé, ma l’asimmetria di potere che lo circonda. Chi è valutato non ha accesso ai criteri della valutazione, né strumenti per correggerla. In questo senso, la matematica smette di essere uno strumento di conoscenza e diventa una forma di autorità politica non eletta, che assegna ruoli sociali senza responsabilità pubblica.
In Who Owns the Future?, Jaron Lanier descrive invece l’ascesa dei Siren Servers, poche piattaforme che concentrano enormi quantità di dati e ricchezza, trasformando l’informazione in dominio economico. Per Lanier l’algoritmo non è mai neutrale, ma una forma di organizzazione sociale travestita da calcolo, un dispositivo che distribuisce valore e visibilità secondo logiche proprietarie. Non è la macchina a essere pericolosa, ma l’ecosistema che la circonda, in cui il sapere collettivo viene catturato e monetizzato da pochi attori globali.
O’Neil guarda agli effetti discriminatori concreti, modelli che penalizzano sistematicamente poveri, minoranze, soggetti già vulnerabili. Lanier guarda al modello economico che rende questi effetti strutturali, un capitalismo delle piattaforme fondato sull’estrazione gratuita di dati e comportamenti. Entrambi, però, leggono gli algoritmi come una nuova architettura del potere, invisibile, pervasiva, difficilmente contestabile.
Per Lanier, i social network e gli ecosistemi digitali hanno progressivamente spogliato gli individui del proprio valore, trasformando ogni interazione in una merce. La celebre formula «se il prodotto è gratuito, il prodotto sei tu» non è solo uno slogan, ma la sintesi di un passaggio storico, la vita quotidiana diventa materia prima di un’economia predittiva che prospera sulla profilazione continua. Il soggetto non è più cittadino né lavoratore, ma fornitore involontario di dati.
O’Neil sposta il discorso dal piano filosofico a quello empirico. Gli algoritmi, lungi dall’essere imparziali, incorporano i pregiudizi dei dati su cui vengono addestrati. Dal credito bancario all’assunzione, dalle assicurazioni all’istruzione, la “matematica della distruzione di massa” non corregge le disuguaglianze sociali, le formalizza, le rende procedure, le riveste di un’aura di oggettività. Così ciò che prima era discriminazione diventa previsione statistica, e ciò che era ingiustizia diventa output di un modello.
2. L’illusione dell’oggettività
La sfera pubblica contemporanea non è più soltanto il luogo del confronto tra opinioni, ma un ambiente filtrato e ordinato da sistemi di raccomandazione che massimizzano l’attenzione, non la comprensione. La visibilità dei contenuti non dipende dal loro valore argomentativo o civico, ma dalla loro capacità di trattenere l’utente, suscitare reazioni, alimentare interazioni. In questo contesto, che cosa viene reso visibile, e secondo quali criteri? Se la selezione della realtà è automatizzata, su quali basi può ancora esistere una deliberazione democratica?
La manipolazione algoritmica produce così una disinformazione strutturale, non consiste soltanto nella diffusione di notizie false, ma nella costruzione di un orizzonte percettivo parziale e orientato. La realtà non viene negata, viene alterata. Alcuni eventi diventano centrali, altri scompaiono; alcune emozioni vengono incentivate, altre rese irrilevanti. È una forma di potere che non impone un messaggio unico, ma frammenta il campo dell’esperienza in bolle coerenti, difficilmente comunicanti.
In Ten Arguments for Deleting Your Social Media Accounts Right Now (2018), Jaron Lanier interpreta questo processo come una trasformazione antropologica. Le piattaforme non si limitano a trasmettere informazioni, modificano il comportamento, incentivano reazioni estreme, favoriscono l’identificazione tribale. Il risultato non è soltanto un’opinione pubblica polarizzata, ma un soggetto politico meno autonomo e più prevedibile. L’algoritmo diventa un regolatore emozionale della collettività.
Cathy O’Neil, invece, guarda al livello infrastrutturale di questo potere. La sua analisi non si concentra sugli effetti simbolici, ma sui dispositivi che li producono. Nei suoi studi sui modelli predittivi, mostra come la pretesa di neutralità matematica si traduca in pratiche concrete di selezione e classificazione, sistemi di valutazione scolastica usati per licenziare insegnanti, algoritmi che stimano la recidiva penale sulla base di dati distorti, procedure automatiche di recruiting che penalizzano donne e minoranze. Qui la disinformazione è una procedura di governo, la realtà sociale viene tradotta in numeri che orientano decisioni irreversibili.
Lanier definisce questo atteggiamento “misticismo statistico”, la convinzione che un accumulo sufficiente di dati possa descrivere fedelmente il mondo e anticiparne i comportamenti. O’Neil ne fornisce la verifica empirica, dietro questa fede nel numero si nasconde una delega di potere politica e morale a sistemi che non rispondono a nessuno. La decisione appare tecnica, ma è profondamente normativa, stabilisce chi conta, affidabile, e visibile.
O’Neil smonta i meccanismi, Lanier descrive gli effetti antropologici, ma convergono sul fatto che l’algoritmo agisce come un regista invisibile della percezione collettiva. Non dice cosa pensare, ma costruisce le condizioni entro cui il pensiero diventa possibile.
3. L’errore come diritto
I dati sono la nuova materia prima del capitalismo. Ma, come per ogni materia prima, la questione decisiva non è solo chi la estrae, bensì chi ne controlla la trasformazione e la rendita. Ogni clic, spostamento, ricerca, relazione diventa informazione economicamente valorizzabile. È possibile redistribuire valore in un’economia fondata sulla previsione dei comportamenti?
Per Cathy O’Neil, il problema non è che gli algoritmi “sbaglino”, ma che funzionino troppo bene nel riprodurre le disuguaglianze sociali esistenti. I sistemi predittivi non osservano la realtà in modo neutro, la traducono in modelli che trasformano lo svantaggio in probabilità e la probabilità in destino. I poveri vengono più sorvegliati, più valutati, più penalizzati; i quartieri fragili diventano “zone a rischio”; le biografie instabili diventano “profili problematici”. In questo modo l’algoritmo non corregge l’ingiustizia, la automatizza. La previsione sostituisce la politica.
Jaron Lanier colloca la stessa dinamica dentro una critica più ampia all’economia delle piattaforme. Le grandi infrastrutture digitali accumulano valore appropriandosi gratuitamente dei dati prodotti dagli utenti: comportamenti, scelte, relazioni, stili di vita. È una nuova forma di estrazione, in cui il lavoro non è riconosciuto come tale e la ricchezza si concentra nei “server sirena”. Da qui la sua proposta di un sistema di micro-pagamenti, ogni contributo informativo dovrebbe essere tracciabile e remunerato. Non per moralismo, ma per riequilibrare un ecosistema che oggi trasforma l’esperienza umana in profitto opaco.
Le due prospettive divergono sulle soluzioni. O’Neil punta su regolazione, auditing, accountability istituzionale; Lanier su un ripensamento radicale dell’architettura economica del digitale. Ma convergono sul punto che gli algoritmi non sono semplici strumenti di efficienza, sono moltiplicatori di disuguaglianza.
Per Lanier, questa deriva è anche antropologica. L’imperfezione è il cuore dell’umano, solo chi può sbagliare può cambiare. L’errore non è un difetto da eliminare, ma una risorsa evolutiva. In un sistema che misura ogni deviazione come anomalia, l’errore diventa sospetto, non possibilità. La previsione prende il posto dell’esperienza, il profilo statistico quello della biografia.
O’Neil traduce questa intuizione in termini giuridici e politici, se un algoritmo decide, deve poter essere contestato. Se classifica, deve poter essere spiegato. Se penalizza, deve poter essere messo in discussione. La trasparenza non è un valore tecnico, ma una condizione di cittadinanza. Senza diritto all’errore non c’è diritto al futuro, c’è solo l’amministrazione automatica del passato.
Difendere l’errore, in questo senso, significa difendere la possibilità di essere diversi dai propri dati, affermare che nessun modello predittivo può esaurire ciò che una persona è o può diventare. Ed è forse qui che si gioca la posta più alta della democrazia algoritmica, non nell’efficienza delle previsioni, ma nello spazio che resta per l’imprevisto, la trasformazione, il dissenso.
4. Etica e trasparenza
Gli algoritmi vengono spesso presentati come strumenti oggettivi, impersonali, quasi naturali. Ma quando una decisione automatizzata nega un mutuo, esclude da un lavoro o indirizza un controllo di polizia, chi risponde dei suoi effetti? Il programmatore che ha scritto il codice, l’azienda che lo commercializza, l’istituzione che lo adotta? La retorica dell’automazione tende a dissolvere la responsabilità in una catena tecnica, trasformando scelte progettuali in necessità matematiche.
Non esistono modelli neutrali. Ogni algoritmo incorpora ipotesi sul mondo, criteri di priorità, definizioni implicite di normalità e devianza. Decidere quali dati usare, quali variabili pesare, quali obiettivi ottimizzare significa già prendere posizione. Un punteggio basso, una previsione sfavorevole, un profilo “a rischio” diventano etichette difficili da contestare. L’assenza di accountability trasforma così una scelta tecnica in una forma di governo silenzioso.
In You Are Not a Gadget (2010), Jaron Lanier attacca proprio l’ideologia che riduce l’essere umano a informazione trattabile come un qualsiasi altro dato. Se le persone vengono interpretate come insiemi di pattern statistici, la responsabilità morale si diluisce, non si decide più su qualcuno, ma su qualcosa. Il rischio, per Lanier è antropologico, quando accettiamo che un sistema calcoli il nostro valore, rinunciamo implicitamente all’idea che ogni individuo ecceda la sua descrizione numerica.
Cathy O’Neil, da una prospettiva più operativa, chiede che i modelli siano sottoposti a trasparenza istituzionale e controllo pubblico. Per lei, il problema non è l’uso della matematica in sé, ma il fatto che venga sottratta al principio democratico della verificabilità. Un algoritmo che incide sulla vita delle persone dovrebbe essere ispezionabile come una legge.
Lanier difende la singolarità umana contro la riduzione statistica; O’Neil difende il diritto dei cittadini a conoscere e contestare i criteri che li classificano. Entrambi rifiutano il mito dell’automatismo neutrale e convergono sul rendere visibile ciò che oggi è invisibile.
Lanier immagina un’economia in cui i dati abbiano un valore riconosciuto e condiviso, una forma di remunerazione diffusa per chi contribuisce alla rete informativa. Restituire valore economico significa anche restituire riconoscimento politico, chi produce informazione non dovrebbe essere solo materia prima gratuita. O’Neil propone invece una pratica di auditing etico dei modelli, revisioni indipendenti, pubbliche, orientate a individuare discriminazioni sistemiche prima che diventino politiche di fatto.
In modi diversi, entrambi rifiutano la logica della delega cieca. La tecnologia non è un destino né un arbitro imparziale, ma un insieme di decisioni cristallizzate nel codice. E proprio per questo, sostengono, chi la progetta e chi la utilizza deve rispondere delle sue conseguenze.
5. La cittadinanza algoritmica
Regolare gli algoritmi o ripensare il sistema? La questione non è solo tecnica, ma istituzionale. La democrazia può davvero governare gli algoritmi senza essere progressivamente assorbita dalla loro logica di ottimizzazione, previsione e controllo?
Per Cathy O’Neil, la risposta passa attraverso gli strumenti classici dello Stato di diritto: audit indipendenti, trasparenza dei modelli, limiti legali all’uso dei dati, possibilità di contestare le decisioni automatiche come si contestano le leggi. Gli algoritmi devono diventare oggetti politici, sottoposti a scrutinio pubblico, perché producono effetti materiali sulle vite delle persone. Rendere i modelli “contestabili” significa sottrarli al mito dell’oggettività matematica e restituirli al campo del conflitto democratico.
Jaron Lanier spinge la critica più a monte. Non si limita a chiedere regole per gli algoritmi esistenti, ma propone di rifondare l’economia digitale che li rende necessari, spezzare i monopoli informativi, riconoscere valore economico ai dati prodotti dagli individui, costruire circuiti di compensazione che restituiscano reddito e potere decisionale alle persone. Dove O’Neil pensa in termini di riforma istituzionale, Lanier pensa in termini di ristrutturazione sistemica.
Riforma contro rifondazione, due strategie diverse, ma non incompatibili. Entrambi insistono su fatto che la tecnica non è neutrale, è una scelta politica incorporata nel codice. Ogni algoritmo definisce implicitamente che cosa conta, chi conta, e con quali criteri.
Alla fine, Lanier parla di spiritualità e O’Neil di giustizia sociale, ma la posta in gioco è la stessa, salvare la soggettività nell’epoca delle macchine statistiche. Difendere la possibilità che l’essere umano non venga ridotto a profilo predittivo, a punteggio di rischio, a traiettoria comportamentale ottimizzata.
Brevi bio
Jaron Lanier - Informatico, musicista e saggista statunitense, è considerato uno dei pionieri della realtà virtuale e una delle voci più originali nella critica culturale ed economica del digitale. Dopo aver lavorato in aziende chiave dello sviluppo informatico (tra cui Atari, Silicon Graphics e Microsoft Research), ha affiancato all’attività tecnica una riflessione filosofica sulle conseguenze sociali della computazione. Nei suoi saggi ha criticato l’ideologia tecnocratica che riduce l’essere umano a flusso di dati e il web a macchina di estrazione del valore. In You Are Not a Gadget (2010) attacca il mito della “mente collettiva” e la dissoluzione dell’individualità nell’ecosistema digitale; in Who Owns the Future? (2013) analizza la concentrazione di ricchezza prodotta dalle grandi piattaforme, proponendo modelli alternativi di remunerazione dei dati; in Ten Arguments for Deleting Your Social Media Accounts Right Now (2018) denuncia gli effetti psicologici e politici dei social network sulla libertà individuale e sulla qualità del discorso pubblico. Il suo pensiero intreccia tecnologia, economia e spiritualità, ponendo al centro la difesa della singolarità umana contro la riduzione statistica dell’esperienza.
Cathy O’Neil - Matematica e data scientist statunitense, formata tra l’Università della California a Berkeley e Harvard, ha lavorato sia in ambito accademico sia nel settore finanziario prima di dedicarsi alla critica pubblica degli algoritmi. È nota per aver portato il tema dell’ingiustizia matematizzata nel dibattito politico contemporaneo. In Weapons of Math Destruction (2016) mostra come i modelli predittivi utilizzati in ambiti come credito, istruzione, welfare e polizia producano discriminazioni sistemiche quando sono opachi, scalabili e incontestabili. La sua analisi sposta l’attenzione dall’errore tecnico alla responsabilità sociale dei modelli. In The Shame Machine (2022) estende la critica ai meccanismi digitali di umiliazione pubblica e controllo morale, mostrando come le piattaforme trasformino l’indignazione in profitto. Fondatrice di ORCAA (O’Neil Risk Consulting & Algorithmic Auditing), promuove l’audit indipendente degli algoritmi e la loro regolazione come infrastrutture di potere. La sua prospettiva combina rigore matematico e impegno civile, ponendo la questione dell’equità al centro della governance tecnologica.
POV nasce dall’idea di mettere a confronto due autori viventi, provenienti da ambiti diversi - filosofia, tecnologia, arte, politica - che esprimono posizioni divergenti o complementari su un tema specifico legato all’intelligenza artificiale.
Si tratta di autori che ho letto e approfondito, di cui ho caricato i testi in PDF su NotebookLM. A partire da queste fonti ho costruito una scaletta di argomenti e, con l’ausilio di GPT, ho sviluppato un confronto articolato in forma di articolo.
L’obiettivo non è giungere a una sintesi, ma realizzare una messa a fuoco tematica, far emergere i nodi conflittuali, perché è proprio nella differenza delle visioni che nascono nuove domande e strumenti utili a orientare la nostra ricerca di senso.