Nell’immaginario collettivo, l’intelligenza artificiale è uno strumento capace di assistere le decisioni umane. Oggi stiamo entrando in una fase diversa.
Gli agenti AI non si limitano più a suggerire una risposta o a produrre un’analisi. Possono eseguire attività, prendere decisioni operative, interagire con altri sistemi e, sempre più spesso, influenzare direttamente la vita delle persone.
Pensiamo ad algoritmi che supportano la concessione del credito, la selezione del personale, l’individuazione delle frodi, la valutazione del rischio assicurativo e perfino alcune decisioni in ambito giudiziario e sanitario.
Di fronte a questa trasformazione emerge una domanda profonda:
Esiste un diritto a non essere giudicati esclusivamente da una macchina?
La risposta è sì, almeno sul piano dei principi.
Il diritto europeo ha già riconosciuto che alcune decisioni non dovrebbero essere interamente delegate agli algoritmi. Il problema è che, nella pratica, questo diritto è ancora fragile, costellato di eccezioni e spesso difficile da esercitare.
Proprio per questo l’era degli agenti AI ci costringe a porci una domanda nuova: il principio di non delega è sufficiente così com’è o deve essere ripensato e rafforzato?
Il primo pilastro: il GDPR
L’articolo 22 del GDPR riconosce alla persona il diritto di non essere sottoposta a una decisione basata unicamente su un trattamento automatizzato quando questa produce effetti giuridici o incide in modo significativo sulla sua vita.
Quando chiediamo un mutuo, veniamo valutati per un’assunzione o subiamo una decisione che può modificare concretamente le nostre opportunità, il legislatore europeo afferma un principio preciso: una decisione puramente automatica non dovrebbe essere la regola.
Dietro quel principio c’è un’idea semplice ma potente: quando una decisione incide sui diritti e sulla dignità di una persona, deve sempre esistere uno spazio per l’intervento umano.
L’articolo 22, tuttavia, non rappresenta un divieto assoluto delle decisioni automatizzate. La norma prevede importanti eccezioni, ad esempio quando il trattamento è necessario per l’esecuzione di un contratto, è autorizzato dal diritto dell’Unione o di uno Stato membro oppure si basa sul consenso esplicito dell’interessato.
Proprio queste eccezioni hanno portato parte della dottrina a considerare il diritto a non essere sottoposti a decisioni automatizzate come un diritto ancora debole nella sua concreta applicazione: più forte sul piano dei principi che su quello dell’effettiva tutela.
Il secondo pilastro: l’AI Act
Con l’AI Act, l’Europa ha compiuto un ulteriore passo.
L’articolo 14 impone che i sistemi di intelligenza artificiale ad alto rischio siano progettati e utilizzati in modo da consentire una supervisione umana effettiva.
La norma richiama esplicitamente anche un rischio spesso sottovalutato: l’automation bias, ossia la tendenza degli esseri umani ad attribuire alle raccomandazioni di un sistema automatizzato un grado di affidabilità superiore a quello che meritano.
È un passaggio importante.
Perché il problema non è soltanto che l’algoritmo possa sbagliare.
Il problema è che gli esseri umani potrebbero smettere di esercitare il proprio giudizio critico semplicemente perché la macchina sembra avere quasi sempre ragione.
L’AI Act e il GDPR affrontano quindi il problema da due prospettive diverse ma complementari.
Il primo impone a chi sviluppa e utilizza il sistema di mantenere un controllo umano significativo. Il secondo tutela la persona che subisce la decisione, riconoscendole il diritto a non essere valutata esclusivamente da una macchina.
Insieme, queste norme delineano un principio che appare sempre più centrale nell’era degli agenti AI: alcune decisioni non possono essere completamente delegate agli algoritmi.
Quando la supervisione umana diventa una finzione
La storia recente dimostra che la supervisione umana formale non sempre coincide con una supervisione umana sostanziale.
Il sistema di recruiting sviluppato da Amazon venne abbandonato dopo aver mostrato una tendenza a penalizzare le candidature femminili, riflettendo i bias presenti nei dati storici utilizzati per l’addestramento.
Nei Paesi Bassi, il cosiddetto toeslagenaffaire portò migliaia di famiglie a essere accusate ingiustamente di frode nei sussidi per l’infanzia sulla base di sistemi automatizzati di valutazione del rischio. Lo scandalo fu talmente grave da provocare, nel 2021, le dimissioni dell’intero governo.
Negli Stati Uniti, il caso COMPAS ha aperto un intenso dibattito sull’utilizzo di sistemi algoritmici per stimare il rischio di recidiva in ambito giudiziario. Quando un decisore umano si affida a un punteggio che non comprende pienamente, chi è realmente responsabile della decisione?
Questi casi mostrano che il problema non è soltanto tecnologico.
È un problema di responsabilità.
La responsabilità non può essere automatizzata
Possiamo delegare a una macchina l’analisi di milioni di dati.
Possiamo chiederle di individuare correlazioni invisibili all’occhio umano.
Possiamo persino utilizzarla per formulare raccomandazioni sempre più accurate.
Ma esistono decisioni che richiedono qualcosa che nessun algoritmo possiede: l’assunzione di responsabilità.
Decidere se negare un’opportunità lavorativa.
Decidere se concedere un credito.
Decidere un trattamento sanitario.
Decidere l’impiego della forza.
In questi casi il valore dell’essere umano non consiste necessariamente nel prendere decisioni migliori della macchina.
Consiste nell’essere responsabile delle conseguenze di quella decisione.
Perché la responsabilità non è un problema tecnico.
È un fatto umano, giuridico e morale.
Forse l’Europa ha già individuato il principio corretto: alcune decisioni non dovrebbero essere lasciate interamente alle macchine.
La vera sfida dei prossimi anni non sarà riconoscere questo principio, ma renderlo effettivo. Perché un diritto che esiste soltanto sulla carta rischia di diventare, nell’era degli agenti AI, una garanzia puramente formale.
E nessuna persona dovrebbe essere governata da una decisione che nessun essere umano è in grado di comprendere, contestare e assumersi.