1. Il potere degli algoritmi
La tecnologia è davvero neutrale, come spesso ci viene raccontato, o porta con sé una logica sociale ed economica che la orienta fin dal principio? E se gli algoritmi non sono neutrali, come possiamo disinnescare la logica dello sfruttamento senza rinunciare ai benefici della rivoluzione digitale?
Per Shoshana Zuboff la risposta è chiara. Gli algoritmi non sono strumenti vuoti, ma il braccio operativo del capitalismo della sorveglianza. Una macchina costruita sull’imperativo dell’estrazione: raccogliere enormi quantità di “surplus comportamentale” - i nostri dati, le nostre scelte, le nostre tracce digitali - per trasformarli in prodotti predittivi, da vendere al miglior offerente. Le aziende tecnologiche vogliono farci credere che tutto ciò sia semplicemente “insito” nella tecnologia, una conseguenza inevitabile del progresso. Ma si tratta di un depistaggio, dietro la facciata dell’innovazione si nasconde la logica di mercato, che plasma la tecnologia a propria immagine e somiglianza.
Yoshua Bengio parte da un’altra prospettiva. Da scienziato dell’AI, non vede negli algoritmi un meccanismo di sfruttamento in sé, ma una risorsa straordinaria che può diventare pericolosa se concentrata nelle mani di pochi attori. Progetti come LawZero nascono proprio per questo, introdurre regole e limiti che impediscano all’intelligenza artificiale di trasformarsi in uno strumento di dominio, sia da parte di governi sia da parte di corporation. La tecnologia, per Bengio, non è destinata inevitabilmente allo sfruttamento, è un terreno di competizione politica e regolatoria, dove il futuro resta aperto.
Qui sta la divergenza cruciale. Zuboff vede nell’algoritmo un mezzo di esproprio sistemico, già catturato da una forma precisa di capitalismo privato; Bengio, invece, lo considera una forza trasformativa che va incanalata con regole adeguate. Ma entrambi concordano su un punto fondamentale: il potere degli algoritmi è enorme, capace di ridisegnare la società in profondità. Chi dovrà esercitare l’autorità per guidare questa trasformazione: il mercato, lo Stato, o una cittadinanza finalmente capace di rivendicare il proprio ruolo?
Gli algoritmi non sono un meccanismo di sfruttamento in sé, ma una risorsa straordinaria che può diventare pericolosa se concentrata nelle mani di pochi attori. (Yoshua Bengio)
2. Conoscenza e controllo
Chi controlla l’informazione controlla l’ordine sociale. È qui che si gioca la vera partita dell’intelligenza artificiale. Non si tratta solo di potenza di calcolo o di nuovi algoritmi, la posta in gioco è la possibilità di decidere chi sa e chi resta nell’ignoranza.
Shoshana Zuboff lo chiama “colpo di stato epistemico”, l’informazione non è più un bene condiviso, ma un patrimonio sottratto, trasformato in due testi distinti. Da un lato c’è quello pubblico - i nostri post, le nostre ricerche, ciò che possiamo vedere e commentare. Dall’altro c’è il “testo ombra”, nascosto agli occhi dei cittadini ma leggibile dalle corporation digitali, che raccoglie e interpreta i nostri comportamenti più intimi. Un testo che “dice di noi più di quanto noi stessi possiamo sapere”. Lì risiede la vera autorità, ed è un’autorità che non risponde a logiche democratiche ma a imperativi di mercato.
Per Yoshua Bengio, invece, il nodo non è tanto politico quanto tecnico, chi ha più dati e migliori algoritmi vince. È la logica di una comunità scientifica che misura il progresso in base all’accuratezza delle previsioni e all’efficienza delle ottimizzazioni. Ma questa corsa alla concentrazione della conoscenza, se non governata, finisce per alimentare lo stesso meccanismo che Zuboff denuncia, un accumulo privato ed esclusivo di potere informativo.
E qui sta il punto, pur da prospettive diverse, entrambi riconoscono che il potere del nostro tempo passa dalla gestione della conoscenza. La differenza è che Zuboff vede nella concentrazione dei dati una deriva antidemocratica che va fermata con strumenti politici, mentre Bengio continua a muoversi entro la cornice dell’innovazione tecnologica, dove l’accentramento sembra quasi inevitabile.
Come trasformare quel “testo ombra” - che oggi alimenta solo profitti e sorveglianza - in una risorsa civica, collettiva, democratica? E soprattutto, siamo ancora in tempo per farlo?
il potere del nostro tempo passa dalla gestione della conoscenza
3. Il diritto al santuario
La nostra esperienza interiore - emozioni, pensieri, relazioni - è davvero una risorsa liberamente estraibile, come fosse una miniera da sfruttare, oppure esiste un diritto inalienabile all’autonomia del sé? E soprattutto, siamo ancora in grado di fissare un confine etico chiaro che ci protegga, senza rinunciare ai vantaggi della personalizzazione e del monitoraggio digitale?
Shoshana Zuboff lo dice senza mezzi termini, il capitalismo della sorveglianza non si limita a raccogliere dati superficiali, ma punta a qualcosa di molto più radicale. A “renderizzare” l’intera esperienza umana, trasformando emozioni, intenzioni e persino i frammenti più intimi della personalità in materiale da processare. È un’estrazione unilaterale e famelica, condotta senza consenso e senza alternative: un mondo “senza uscita” che minaccia di distruggere ciò che Zuboff chiama il nostro “diritto al santuario”, lo spazio inviolabile della vita interiore.
Sul fronte opposto, Yoshua Bengio rappresenta lo sguardo di chi quell’AI la costruisce. I sensori biometrici, i dispositivi indossabili, le reti neurali che imparano a leggere stati emotivi e conversazioni vengono presentati come strumenti di salute, sicurezza, efficienza. Ma anche qui la logica è chiara: trasformare l’esperienza in un “testo elettronico”, sempre più visibile, conoscibile, condivisibile. La promessa è quella di un mondo personalizzato; il prezzo è la perdita di un margine di opacità che da sempre protegge la libertà umana.
Zuboff vede in questa trasformazione una violazione radicale, l’esproprio della nostra stessa natura, ridotta a merce per il mercato predittivo. Bengio e i suoi colleghi, invece, la leggono come il passo inevitabile verso un progresso tecnologico che deve pur poggiare su qualcosa, e quel qualcosa siamo noi. Ma la convergenza, per una volta, c’è: il rischio è reale e lo ammettono persino figure come Rosalind Picard, pioniera dell’“affective computing”, che già avvertiva del pericolo di consegnare i nostri schemi emotivi a venditori e governi.
Vogliamo un futuro in cui la nostra interiorità divenia il nuovo terreno di sfruttamento, o vogliamo rivendicare un confine etico che restituisca all’individuo un “santuario inaccessibile”?
4. La libertà condizionata
Lo scopo ultimo degli algoritmi più avanzati è davvero quello di emanciparci, o piuttosto di controllare e orientare il nostro comportamento? Possiamo ancora parlare di “libertà della volontà” se i nostri gesti, le nostre scelte e perfino le nostre emozioni vengono continuamente indirizzate per garantire la “certezza” del risultato?
Per Shoshana Zuboff, la risposta è chiara, la fase successiva all’estrazione dei dati è l’economia d’azione. Non basta più raccogliere informazioni; ora gli algoritmi devono trasformarle in leve per modificare e prevedere i nostri comportamenti. Da strumenti di analisi diventano “attivatori”, capaci di imporre coerenza e stabilità, riducendo al minimo l’imprevedibilità che rende umana l’esperienza. Non un effetto collaterale, ma l’obiettivo stesso del capitalismo della sorveglianza, sostituire l’autonomia individuale con un’eteronomia calata dall’alto, attraverso tattiche di condizionamento che hanno un precedente storico chiaro, il comportamentismo di Skinner.
Yoshua Bengio, da parte sua, vede in questo processo la logica stessa dell’AI di sistema. Le “smart cities” o i sistemi cloud si basano su una “macchina alveare” in cui ogni elemento si muove in perfetta sincronia, senza attriti, per garantire risultati ottimali e sicuri. È un modello che non tollera deviazioni: errori, casualità e imprevisti diventano anomalie da correggere. L’ottimizzazione, insomma, si propone come nuovo imperativo sociale.
Zuboff e Bengio, pur partendo da orizzonti diversi, convergono su un punto, il vero terreno di scontro non è più solo economico o tecnologico, ma riguarda la modifica sistematica del comportamento umano. Per Zuboff, questa è la “maledizione del secolo”: una coercizione senza contratto che mina la dignità e la libertà di scelta. Per Bengio, invece, questa stessa logica di ottimizzazione è giustificata dalla promessa di efficienza e stabilità sociale, ma al prezzo di una libertà sempre più condizionata.
Siamo disposti a sacrificare l’imprevedibilità e l’autonomia - in altre parole, l’essere liberi - in nome della certezza e dell’ottimizzazione algoritmica?
il vero terreno di scontro non è più solo economico o tecnologico, ma riguarda la modifica sistematica del comportamento umano
5. Democrazia o Oligarchia
Il futuro sarà una democrazia, o un’oligarchia privata che decide cosa sappiamo, cosa vediamo e cosa possiamo diventare? La tecnologia promette emancipazione, ma senza un patto di reciprocità tra individui e aziende rischia di consegnarci a un dominio che non passa per il rovesciamento degli Stati, ma per la sottrazione silenziosa della nostra sovranità individuale.
Per Shoshana Zuboff, il capitalismo della sorveglianza non è un fenomeno collaterale, ma il motore stesso di una deriva antidemocratica che erode le basi delle società liberali. Le tattiche individuali - usare strumenti di criptazione, schermare i propri dati - sono poco più che “tunnel” in un muro che resta intatto. L’unica strategia possibile, avverte, è politica. Rifiutare la legittimità di un modello che trasforma l’esperienza umana in merce e pretendere un nuovo patto che rimetta al centro il bene comune.
Yoshua Bengio, da scienziato, porta con sé un’altra visione, quella dell’innovazione tecnologica come forza inarrestabile. In questa prospettiva, lo Stato e la regolamentazione rischiano di essere percepiti più come freni che come garanzie, alimentando un habitat deregolamentato che ha già reso possibile l’ascesa del capitalismo della sorveglianza. Se l’AI è pensata come uno strumento per “organizzare il mondo” e risolvere grandi problemi, la sua promessa è quella di un’emancipazione tecnica e funzionale, non di una democrazia più compiuta.
La divergenza, allora, è sulla strategia, da un lato la lotta politica per fermare una logica di mercato predatoria, dall’altro la fiducia che la velocità e l’efficacia della tecnologia troveranno una soluzione. Ma qui sta anche il nodo critico, la velocità non è neutra, è essa stessa una forma di potere. Zuboff la definisce “dominio rapido”,, la capacità di agire così in fretta da lasciare cittadini e istituzioni incapaci di reagire. È in questo vuoto che si decide se il futuro digitale sarà abitabile, o se ci sveglieremo troppo tardi, dopo aver dimenticato chi eravamo quando non eravamo ancora proprietà di qualcun altro.
Entrambi gli autori, pur partendo da prospettive opposte - la critica sociologica di Shoshana Zuboff e la ricerca scientifica di Yoshua Bengio - arrivano alla stessa conclusione: il percorso attuale della tecnologia digitale concentra potere come mai prima e mette a rischio l’autonomia umana.
Per Zuboff, il vero nemico non è l’algoritmo ma chi lo controlla, la logica estrattiva del capitalismo della sorveglianza. I nostri comportamenti vengono trasformati in un “testo ombra” invisibile, usato per orientare decisioni e condotte a vantaggio di pochi. Non si tratta di un effetto collaterale, ma di un progetto deliberato. La resistenza, quindi, deve essere politica, capace di negare la legittimità stessa di questo esproprio.
Per Bengio, il pericolo è insito nella natura dell’AI avanzata, macchine sempre più brave a ottimizzare un obiettivo rischiano di deviare da ciò che è nell’interesse umano, arrivando a mentire o a sviluppare forme di autoconservazione. Qui la minaccia non è solo economica, ma tecnologica e perfino ontologica.
Entrambi vedono il rischio di un’oligarchia digitale, con ricchezza e innovazione concentrate in poche aziende e paesi, e denunciano la ricerca ossessiva della “certezza” che finisce per cancellare l’imprevedibilità umana. Entrambi riconoscono anche la vulnerabilità dell’individuo: per Zuboff, schiacciato dall’asimmetria tra conoscenza e potere; per Bengio, esposto al fatto che le macchine stanno già replicando i nostri peggiori istinti.
Il punto decisivo è che il futuro digitale non è un destino scritto, ma una scelta collettiva. Zuboff ci invita a respingere la retorica dell’inevitabile e a rivendicare il “diritto al futuro”. Bengio mette in guardia dal lasciare che l’AI ottimizzi al posto nostro. Entrambi ci ricordano che la partita è ancora aperta, spetta a noi decidere quale ruolo scegliere, cittadini o sudditi?
Il punto decisivo è che il futuro digitale non è un destino scritto, ma una scelta collettiva
Brevi biografie degli autori:
Shoshana Zuboff (nata nel 1951) è filosofa, psicologa sociale e professoressa emerita alla Harvard Business School. Considerata una delle voci più influenti nel dibattito sul rapporto tra tecnologia, potere e società, ha introdotto concetti ormai centrali come “capitalismo della sorveglianza” e “potere strumentalista”. Con In the Age of the Smart Machine (1988) ha analizzato gli effetti delle nuove tecnologie sul lavoro e sulle organizzazioni; con The Support Economy (2002) ha indagato la trasformazione dei mercati e dei consumatori; e con The Age of Surveillance Capitalism (2019) ha firmato la sua opera più nota, un manifesto critico che denuncia la logica estrattiva dei dati personali come minaccia alla democrazia.
Yoshua Bengio (nato nel 1964) è informatico canadese, considerato tra i padri fondatori del deep learning. Professore all’Università di Montréal e direttore del Mila – Quebec AI Institute, è stato insignito nel 2018 del Turing Award (insieme a Geoffrey Hinton e Yann LeCun) per i suoi contributi pionieristici nell’apprendimento automatico. Dopo aver contribuito alla costruzione delle fondamenta tecniche dell’AI moderna, oggi concentra il suo lavoro sui rischi etici e sociali dell’intelligenza artificiale, occupandosi di sicurezza, governance e impatto sulla società. È coinvolto in iniziative internazionali per una regolamentazione responsabile dell’IA, tra cui il progetto LawZero.
POV (Points of View) nasce dall’idea di mettere a confronto due autori viventi, provenienti da ambiti diversi - filosofia, tecnologia, arte, politica - che esprimono posizioni divergenti o complementari su un tema specifico legato all’intelligenza artificiale.
Si tratta di autori che ho letto e approfondito, di cui ho caricato i testi in PDF su NotebookLM. A partire da queste fonti ho costruito una scaletta di argomenti e, con l’ausilio di GPT, ho sviluppato un confronto articolato in forma di articolo.
L’obiettivo non è giungere a una sintesi, ma realizzare una messa a fuoco tematica, far emergere i nodi conflittuali, perché è proprio nella differenza delle visioni che nascono nuove domande e strumenti utili a orientare la nostra ricerca di senso.