1. La promessa di neutralità
Per Cathy O’Neil, la retorica dell’oggettività è spesso il modo in cui un potere si sottrae al confronto democratico. Un algoritmo diventa socialmente pericoloso quando combina tre elementi: opacità, scala e danno. In Weapons of Math Destruction descrive sistemi che, pur presentandosi come strumenti tecnici, producono effetti concreti su lavoro, credito, istruzione e sicurezza, trasformando correlazioni statistiche in verdetti difficili da contestare e facilmente replicabili su larga scala. La matematica, in questo scenario, non elimina il pregiudizio, lo automatizza e lo rende più resistente alla critica.
Virginia Eubanks parte da una sfiducia analoga verso la neutralità algoritmica, ma la colloca dentro una genealogia politica più lunga. In Automating Inequality mostra come i sistemi digitali di gestione del welfare - dall’assegnazione dei sussidi alla valutazione del rischio familiare - ereditino una logica storica di classificazione dei poveri tra “meritevoli” e “immeritevoli”. La cosiddetta poverty analytics non rappresenta quindi un incidente tecnico, ma una nuova forma di governo della povertà, una burocrazia automatizzata che trasforma il bisogno in sospetto e la vulnerabilità in parametro amministrativo.
La convergenza tra le due autrici è chiara, i dati non purificano la decisione, la incapsulano. Gli algoritmi riflettono i contesti sociali in cui vengono progettati e finiscono per amplificare le disuguaglianze esistenti. Per O’Neil, l’ingiustizia nasce spesso da modelli costruiti male o utilizzati senza adeguata verifica, servono audit indipendenti, trasparenza e responsabilità pubblica.
Per Eubanks, invece, il problema è più profondo, anche un sistema tecnicamente accurato può produrre ingiustizia se è progettato per gestire la povertà come rischio da contenere piuttosto che come condizione sociale da trasformare.
In altre parole, dove O’Neil vede una crisi di responsabilità nel design e nell’uso degli algoritmi, Eubanks vede una continuità storica tra politiche di controllo sociale e infrastrutture digitali.
2. Lavoro come punteggio
Nel lavoro, gli algoritmi entrano spesso con una promessa rassicurante, rendere le selezioni più rapide, le valutazioni più oggettive, le decisioni più efficienti. Ma è proprio qui che Cathy O’Neil individua uno dei rischi principali, sistemi che classificano candidati e lavoratori attraverso punteggi difficili da contestare, capaci di decidere chi entra e chi resta fuori senza reale trasparenza.
Il problema non è l’automazione in sé, ma l’opacità su larga scala. Se i dati di partenza riflettono disuguaglianze già esistenti, gli algoritmi le riproducono e le rafforzano, trasformandole in numeri apparentemente neutri. L’esclusione non avviene più per scelta umana, ma per probabilità statistica, e contro una probabilità è difficile opporsi.
Virginia Eubanks mostra la stessa logica nel welfare, sistemi automatizzati pensati per “efficienza” e reinserimento lavorativo finiscono per spezzare le relazioni tra istituzioni e cittadini, trasformando errori amministrativi in colpe individuali. La tecnologia non aiuta solo a lavorare, disciplina e seleziona.
Quando il lavoro diventa un punteggio, cresce l’asimmetria tra chi definisce le metriche e chi le subisce. Diritti e opportunità si trasformano in ranking. O’Neil propone trasparenza e audit indipendenti sugli algoritmi; Eubanks va oltre e chiede di interrogarsi sul modello sociale che li rende necessari.
3. Welfare digitale
Se Cathy O’Neil analizza come gli algoritmi influenzano credito, lavoro e istruzione, Virginia Eubanks guarda al punto in cui tecnologia e Stato si incontrano su welfare, casa, assistenza. È qui che l’automazione mostra il suo lato più critico.
Nel suo Automating Inequality, Eubanks racconta il caso dell’Indiana, un sistema automatizzato per valutare l’accesso al welfare, introdotto per ridurre costi e frodi, finì per aumentare drasticamente i dinieghi. Migliaia di persone persero sussidi e cure per errori formali, una firma mancante, un modulo sbagliato. L’arbitrio non era scomparso, era diventato impersonale e difficile da contestare.
O’Neil, in Weapons of Math Destruction, si concentra invece sui modelli opachi che classificano le persone e decidono chi è “affidabile” o “rischioso”, amplificando disuguaglianze senza possibilità di ricorso. Eubanks mostra come la digitalizzazione del welfare trasformi la povertà in un problema di controllo amministrativo, l’automazione non solo distribuisce risorse, ma filtra e sorveglia. Ne emerge una sorta di “poorhouse digitale”, in cui i cittadini più fragili sono trattati come potenziali trasgressori prima che come titolari di diritti.
Le due prospettive convergono su un punto, l’automazione non elimina l’arbitrio umano, lo rende meno visibile. Dove prima c’era una decisione contestabile, ora c’è un output percepito come neutrale.
Divergono però sulle soluzioni. O’Neil chiede audit e trasparenza dei modelli. Eubanks è più radicale, non basta correggere gli algoritmi se il welfare è già costruito su diffidenza e austerità.
4. Dati e potere
Cathy O’Neil e Virginia Eubanks mostrano come gli algoritmi non si limitino a descrivere la realtà, ma anche a produrla. Quando vengono usati su larga scala, generano cicli di rinforzo in cui le decisioni automatizzate creano nuovi dati che confermano la validità del sistema.
O’Neil, in Weapons of Math Destruction, spiega come modelli predittivi applicati a credito, lavoro o sicurezza possano escludere sistematicamente alcune categorie sociali. L’esclusione peggiora le condizioni di quelle persone e quei risultati diventano la “prova” che il modello aveva ragione. L’algoritmo finisce così per costruire la realtà che sostiene di misurare.
Eubanks, in Automating Inequality, descrive un meccanismo simile nelle politiche pubbliche. I sistemi di welfare digitale raccolgono molti più dati sulle persone povere, più vengono monitorate, più appaiono “a rischio”. La sorveglianza produce dati che giustificano ulteriore sorveglianza. Non si limita a prevedere i problemi, li istituzionalizza.
Le due autrici convergono sul fatto che gli algoritmi amplificano disuguaglianze già presenti nei dati, mentre divergono sulle soluzioni. O’Neil chiede audit indipendenti, trasparenza e responsabilità pubblica. Eubanks ritiene che il problema non sia solo tecnico, ma politico. Sono le scelte su cosa misurare e chi controllare - spesso legate ad austerità e criminalizzazione della povertà - a orientare i sistemi. La tecnologia non crea la disuguaglianza, ma la rende più efficiente e meno visibile.
5. Regole, audit e contropoteri
Quando si passa dalle diagnosi alle soluzioni, le posizioni di Cathy O’Neil e Virginia Eubanks si avvicinano, ma non coincidono. O’Neil non propone di spegnere gli algoritmi, bensì di sottoporli a regole pubbliche simili a quelle che regolano altre infrastrutture sociali. Con il suo lavoro sull’audit algoritmico sostiene la necessità di controlli indipendenti, obblighi di trasparenza e responsabilità legale per sistemi che incidono su lavoro, credito, istruzione e sicurezza. L’obiettivo è rendere gli algoritmi verificabili e contestabili, sottraendoli alla sola autoregolazione delle aziende.
Eubanks è più scettica sull’idea che basti intervenire sul codice. Nei sistemi di welfare digitalizzato, osserva, l’ingiustizia è spesso incorporata nelle politiche che li generano, logiche di scarsità, sospetto e controllo. Anche un algoritmo tecnicamente accurato può produrre esclusione se il modello sociale di partenza resta punitivo. Per questo insiste su diritti esigibili, servizi universali e strumenti concreti di ricorso per chi subisce decisioni automatizzate.
Il confronto si riflette anche nel contesto europeo. L’AI Act prova a trasformare la responsabilità algoritmica da scelta volontaria a obbligo normativo, soprattutto nei settori più sensibili come lavoro, credito, sanità e welfare. È un passaggio importante, ma non sufficiente.
Entrambe mettono in guardia da un rischio, se l’accountability si riduce a verifiche tecniche o certificazioni formali, può diventare un linguaggio di conformità che rassicura senza redistribuire davvero il potere. Senza istituzioni pubbliche forti, diritti di contestazione accessibili e risorse per chi subisce danni, la trasparenza rischia di trasformarsi in una forma elegante di legittimazione.
La questione, allora, non è solo come regolare gli algoritmi, ma chi ha la capacità concreta di contestarli, modificarli o rifiutarli.
Conclusione
O’Neil e Eubanks partono dalla stessa constatazione - la tecnologia non è neutrale, è politica - ma la sviluppano con priorità diverse. O’Neil decostruisce l’aura di oggettività mostrando come l’opacità su larga scala produca danno e cicli di rinforzo, e propone una cultura della responsabilità (audit, trasparenza, regolazione) come infrastruttura democratica minima. Eubanks, invece, legge l’automazione come prosecuzione di una storia lunga, la gestione dei poveri come alternativa (più accettabile per il ceto medio) all’eliminazione della povertà. La sua critica è meno “ingegneristica” e più sistemica, senza un cambio di paradigma - dall’austerità ai diritti, dalla sorveglianza alla cura - l’AI nel welfare rischia di trasformarsi in una burocrazia senza volto che punisce e classifica. Il punto di incontro possibile sta nel passaggio dalla denuncia alla progettazione politica, rendere contestabili le decisioni, limitare gli usi ad alto rischio, obbligare trasparenza e rimedi, e insieme ricostruire le condizioni materiali (reddito, casa, servizi) che impediscono alla povertà di diventare un “dato” da amministrare.
Brevi biografie delle autrici
Cathy O’Neil (nata nel 1972) è matematica e data scientist statunitense. Dopo un dottorato in matematica ad Harvard e un’esperienza nel settore finanziario e nelle startup tecnologiche, si è affermata come una delle voci più autorevoli nella critica agli algoritmi opachi e discriminatori. È autrice del saggio Weapons of Math Destruction (2016), in cui analizza l’impatto sociale dei modelli predittivi su lavoro, credito, istruzione e sicurezza. Oggi lavora su rischio, bias e accountability dei sistemi automatizzati ed è fondatrice e CEO di ORCAA (O’Neil Risk Consulting & Algorithmic Auditing), società specializzata nell’audit degli algoritmi.
Virginia Eubanks (nata nel 1968) è politologa, giornalista investigativa e docente di scienze politiche presso la University at Albany (State University of New York). I suoi studi si concentrano sull’impatto delle tecnologie digitali sui sistemi di welfare e sulle popolazioni più vulnerabili. Con il libro Automating Inequality (2018) ha contribuito a rendere centrale il dibattito sul cosiddetto “digital poorhouse”, la gestione tecnologica e automatizzata della povertà e dell’assistenza sociale. Il suo lavoro unisce ricerca accademica, indagine sul campo e impegno politico sul tema dei diritti digitali e della giustizia sociale.
POV nasce dall’idea di mettere a confronto due autori viventi, provenienti da ambiti diversi - filosofia, tecnologia, arte, politica - che esprimono posizioni divergenti o complementari su un tema specifico legato all’intelligenza artificiale.
Si tratta di autori che ho letto e approfondito, di cui ho caricato i testi in PDF su NotebookLM. A partire da queste fonti ho costruito una scaletta di argomenti e, con l’ausilio di GPT, ho sviluppato un confronto articolato in forma di articolo.
L’obiettivo non è giungere a una sintesi, ma realizzare una messa a fuoco tematica, far emergere i nodi conflittuali, perché è proprio nella differenza delle visioni che nascono nuove domande e strumenti utili a orientare la nostra ricerca di senso.