Bill Joy: "Il mio senso di sconforto si intensificò"

George Gilder, già ghost writer di Richard Nixon, strenuo sostenitore del liberismo economico, diviene negli Anni Novanta portabandiera delle nuove tecnologie digitali.¹ Lo sviluppo economico, sostiene, si basa sull'incremento rapido e costante della larghezza di banda, e sull'ascesa del software Java di Sun Microsystems, adatto a Internet. Gilder organizza nel settembre 1997 un convegno sull'argomento. La seconda edizione, un anno dopo, ha tra i relatori Ray Kurzweil e Bill Joy.

Kurzweil: genio precoce, tecnologo e imprenditore digitale affermato, ora quarantaduenne, sette anni prima ha scritto un libro che ha fatto rumore: The Age of Intelligent Machine.² Saggio nel quale presentava l'argomento che, via via approfondito, o ingigantito, tornerà in tutte le opere successive: essendo gli esseri umani figli dell'evoluzione darwiniana, l'evoluzione proseguirà dopo l'uomo con l'era dominata dalle macchine.

Joy: quarantenne campione dello sviluppo software, cofondatore e comproprietario di Sun, impresa leader della Silicon Valley, impegnato nello sviluppo di Java e Jini, software progettati per funzionare in modo indipendente dalla macchina fisica, l'hardware. E' un entusiasta sostenitore delle nuove tecnologie digitali.

Bill Joy, in una pausa dei lavori, è avvicinato da Kurzweil che attacca bottone. Kurzweil lascia a Joy un estratto del suo nuovo libro: The Age of Spiritual Machines.³

Quella stessa sera Joy sfoglia le pagine. Via via che avanzava nel leggere di come “gli umani, diventando un tutt'uno con la tecnologia robotica, si avvicinavano all'immortalità, il mio senso di sconforto si intensificava. Ero sicuro che Kurzweil non poteva non aver compreso i pericoli impliciti in questo cammino”.⁴

“L'argomento mi perseguita ancora”, scrive Joy un anno e mezzo dopo.⁵ Per lui Kurzweil è il tecnico che ha inventato il riconoscitore ottico dei caratteri stampati, e su quella base ha concepito una macchina che permette ai ciechi di leggere. Ma quello che Kurzweil scrive ora... “Sapevo che nuove tecnologie ci stavano dando il potere di rifare il mondo. Ma un realistico ed imminente scenario di robot intelligenti mi lasciò sconcertato”.

Nel frattempo Bill Joy ha letto anche il libro di Hans Moravec: Robot: Mere Machine to Transcendent Mind.⁶ Vi si legge che “prima o poi i robot ci succederanno - gli umani si affacciano all'estinzione”. Turbato, Bill ha chiesto lumi all'amico Danny Hillis, che stima come Computer Scientist e pensatore di ampie vedute. “La risposta di Danny mi lasciò stupefatto. Disse, che i cambiamenti sarebbero avvenuti gradualmente e che ci saremmo abituati”. Ancora in The Age of Spiritual Machines una citazione di Hillis dice: “amo il mio corpo come chiunque altro ma se posso arrivare a duecento anni con un corpo di silicone, mi va bene”: accetta di trasformarsi in robot pur di vivere cent'anni di più. Appare evidente a Bill l'egoismo che fuorvia: non solo si separa l'essere umano dalla natura, dall'ambiente, ma si separa l'ego dal noi, dalla società. Non resta che il bieco utilitarismo, il proprio personalissimo interesse.

Scrivere per mettere a fuoco

Molto impressionato, Joy non può fare a meno di scrivere, per mettere a fuoco il limite, lo sfuggente punto di non ritorno. E come sempre i pensieri più profondi si radicano nel proprio essere, e si manifestano come scelte dolorose, discontinuità nella propria vita.

Il mero scrivere, in realtà, è solo l'ultima fase di una lenta meditazione. Un processo lento, angustiante, che passa attraverso notti insonni. Scrive di notte, cercando chiarezza nel silenzio dell'alba. All'inizio del 2000 consegna a Wired la bozza di un articolo. Wired, la rivista-simbolo che celebra i fasti della rivoluzione digitale e della New Economy- non può rifiutare un articolo di un campione esemplare di quella stagione.

L'articolo -Why the Future Doesn't Need Us: ne ho già citato qualche frase- esce sul numero dell'aprile 2000.⁷

Intanto, il 10 marzo l'indice NASDAQ -la Borsa che quotava i titoli tecnologici, tra cui Sun- raggiunge un picco mai visto. Ma al picco segue il crollo. Nell'aprile, quando esce l'articolo di Bill Joy, è andato perso il 25% del valore.

In quel clima Bill Joy parla fuor di apologia del mondo che Moravec e Kurzweil auspicano: tutto il lavoro sarà fatto da sistemi di macchine che prendono decisioni senza supervisione umana; la specie umana scivolerà verso una totale dipendenza dalle macchine, finché non saprà più prendere decisioni e allora non potrà più spegnere le macchine perché equivarrebbe a un suicidio; forse il controllo umano sulle macchine sarà conservato, ma sarà nelle mani di una piccola élite con un controllo ferreo sulle masse; e poiché il lavoro umano non sarà necessario, le masse saranno un inutile fardello; se l'élite avrà un atteggiamento dal cuore tenero, soddisferà le loro necessità; ma la vita di questi umani -senza potere, senza lavoro- dovrà a essere riprogettata in modo che sia senza bisogni, senza desideri. Esseri umani ridotti ad animali domestici.

Pubblicato l'articolo, Bill Joy resta inquieto. Passerà ancora lungo tempo chiuso in stanze di hotel, leggendo e meditando. C'è qualcosa di oscuro, minaccioso, nella crescita esponenziale, nella Law of Accelerating Returns, nella promessa salvezza tecnologica che è il messaggio di Kurzweil in The Age of Spiritual Machines. Bill Joy vorrebbe rispondere con un suo libro. Non riuscirà a scriverlo. Abbandonerà l'impresa.

Ma resta quell'articolo. Basta, anche un quarto di secolo dopo, quell'articolo.

Le tecnologie del Ventunesimo Secolo -genetica, nanotecnologia, robotica (GNR)- sono così potenti da aprire il terreno ad una sterminata serie di incidenti ed abusi. Si affaccia all'orizzonte qualcosa di ben peggiore delle armi di distruzione di massa: il quel caso la conoscenza era finalizzata alla distruzione di massa [Knowledge-enabled Mass Destruction, KMD]. In queste nuove tecnologie il rischio sta nell'autoreplicazione, nel progettare enti in grado di autoriprodursi. Senza sapere quali possono essere le conseguenze.

Joy è costretto ad ammettere che siamo sulla soglia “del male estremo”: siamo di fronte ad un terribile potenziamento dell'individualismo. Scegliere di essere, tramite l'ingegneria genetica, “specie separate e ineguali”. Da un lato l'elevazione di sé stessi: essere Superuomini. Dall'altro i cittadini ridotti a sudditi sempre minacciati da pandemie, per sciagurate scelte militari, terroristiche, o fatali accidenti. Minando “l'idea di uguaglianza che è la pietra miliare della nostra democrazia”.

Bill Joy si pone domande

Niente -continua Joy- nella mia storia di precoce appassionato di tecnologia, di appassionato di computer “mi aveva fatto presagire che avrei dovuto confrontarmi con questi profondi problemi etici e morali”. “Ma ora devo fare i conti con una nuova idea: sto lavorando per creare strumenti che premetteranno di sostituire la nostra specie. Come mi sento? Molto a disagio”. Quando avremo trasferito ad una macchina la propria personale memoria, le proprie conoscenze, la propria stessa coscienza, quali probabilità avremo di essere ancora noi stessi, e addirittura di essere umani?

Bill Joy si chiede: sono luddisti gli scienziati che mettono in guardia contro i rischi dell'ingegneria genetica? Non dovremmo temere i gravi rischi impliciti nelle nanotecnologie, nell'elettronica molecolare? “Un'immediata conseguenza delle ricerche nel campo delle nanotecnologia è che corriamo un grave rischio - il rischio di distruggere la biosfera dalla quale tutta la vita dipende”.

Mentre scrive, Joy è sulla cresta dell'onda: tecnico e imprenditore ammirato e stimato per il suo successo. Ma ora sente il peso della responsabilità; e non esita a mettere il dito nella piaga.

La genetica, la nanotecnologia, la robotica, sono sviluppate quasi esclusivamente da imprese private, e hanno un chiaro utilizzo commerciale. In questa epoca della trionfante commercializzazione, la tecnologia -che ha ridotto la scienza a suo supporto- sta realizzando invenzioni che comportano fenomenali opportunità di lucro. “Immersi nell'attuale indiscusso sistema del capitalismo globale, pressati dalla competizione e dagli incentivi finanziari, siamo aggressivamente inseguiti dalle promesse implicite in queste innovazioni”.

Questo è il primo momento nella storia del nostro pianeta in cui una specie, a causa della propria azione volontaria, è diventata pericolosa per se stessa – così come per il complessivo sistema ecologico.

Joy non esista a mettere in discussione le proprie passate certezze, anche a costo di distruggere la propria immagine pubblica; anche a costo di mettere a repentaglio la posizione conquistata, i propri privilegi. Spia di questa conversione è il cambiamento repentino del registro narrativo.

“Ricordo che quando ero bambino”, dice. Mia nonna aveva il buon senso di pensare che convenisse prendere gli antibiotici solo quando era strettamente necessario. Non era nemica del progresso. Era ben consapevole di come mio nonno, diabetico, aveva goduto di trattamenti che si erano resi via via disponibili durante la sua vita. “Ma ora lei, come molte altre persone equilibrate, probabilmente penserebbe che sarebbe una grande arroganza da parte nostra [greatly arrogant for us] progettare una 'specie sostitutiva' robotica, mentre abbiamo così tanti problemi a far funzionare cose relativamente semplici, e abbiamo così tante difficoltà a gestire -o addirittura a capire- noi stessi”.

“Ora mi rendo conto che lei era consapevole di un ordine naturale della vita e della necessità di vivere rispettando questo ordine”. “Appare oggi necessaria una umiltà di cui, con tutta la nostra chutzpah di inizio XXI secolo, purtroppo per noi, siamo privi”. Chutzpah: parola yiddish che sta per audacia, insolenza, arroganza.

“L'evidente fragilità e le inefficienze dei sistemi costruiti dall'uomo [human made systems] dovrebbero far riflettere tutti noi. La fragilità dei sistemi su cui ho lavorato mi rende umile”.

Ci stiamo spingendo in questo nuovo secolo senza nessun piano, nessun controllo, senza freni. Siamo già andati troppo in là per cambiare direzione. Quali sono qui le implicazioni morali?

Se potessimo concordare, come specie, che cosa volessimo, dove vogliamo arrivare, e perché, allora il nostro futuro sarebbe molto meno pericoloso - allora potremmo capire che cosa possiamo e vorremmo abbandonare. Ma questo è per motivi politici, economici e sociali, impossibile nel breve periodo. “Dato che può portare alla nostra estinzione, la verità che la scienza cerca può certamente essere considerata un pericoloso sostituto di Dio”. Joy si chiede invece se il buon senso [common sense] non dovrebbe spingerci a mettere in discussione “convinzioni a lungo sostenute”, come la fiducia nel progresso, la continua ricerca dell'innovazione, l'affidamento alle macchine.

Così, mentre la sua narrazione si fa sempre più concitata, spinta dall'urgenza, Joy arriva a dire:

“l'unica alternativa realistica che io vedo è la rinuncia: limitare lo sviluppo delle tecnologie che sono troppo pericolose, limitando la nostra aspirazione a certi tipi di conoscenza [knowledge]”.

“Il buon senso dice che c'è un limite alle nostre necessità materiali e che alcune conoscenze sono troppo pericolose. Quindi meglio dimenticarle”.

Lui, uno degli eroi del nuovo tempo digitale, non vuole considerarsi niente di più di un essere umano che appartiene alla natura, alla vita, alla storia. “Perché la vita merita essere vissuta?”. “La cosa più importante è per noi condurre la nostra vita con amore e compassione per gli altri, e che le nostre società hanno bisogno di sviluppare una più forte nozione di responsabilità universale e della nostra interdipendenza”.

Un appello al buon senso, un richiamo all'umana saggezza, alla ricerca della consapevolezza.

Dubbio, malinconia, scelte personali

Joy accetta il dubbio. Vede il rischio esistenziale, accetta la pesante responsabilità: la denuncia è un imperativo etico a cui non si sottrae. L'essere umano sa fermarsi: come Prometeo, cerca indefessamente il progresso; ma come suo fratello, Epimeteo, sa pensare a cose fatte, osservare ciò che ha creato, vederne la bellezza, e però anche l'orrore.

“Il mio lavoro consiste nel migliorare l'affidabilità del software. Il software è uno strumento, e devo fare i conti con gli usi a cui sono destinati i miei strumenti.” “Ho sempre creduto che fare software più affidabili avrebbe reso il mondo più sicuro e migliore; se giungessi a credere il contrario, allora sarei moralmente obbligato a mettere fine al mio lavoro. Ora posso immaginare quel giorno potrebbe arrivare”. Poco più di tre anni dopo, un comunicato ufficiale di Sun Microsystem annuncia che il “Co-Founder and Chief Scientist, Bill Joy, sta lasciando Sun”.

“Non sono arrabbiato, semmai un po' malinconico”. Solo ora stiamo cominciando ad affrontare seriamente le questioni relative alle tecnologie del Ventunesimo Secolo: “la prevenzione della distruzione di massa basata sulla ricerca scientifica [knowledge-enabled]. E quindi sono ancora qui a cercare. Se ce la faremo o se falliremo, se sopravviveremo o cadremo vittime di queste tecnologie, è ancora da vedere”.

Sa che il suo appello ha poche probabilità di andare a buon fine. Eppure lo propone ugualmente. Il punto è che la sua è una posizione etica. Parla, a proprio rischio e pericolo, perché si sente in dovere di farlo di fronte a se stesso, e alla comunità umana.

Kurzweil parla come portabandiera dell'utilitarismo: ciò che conviene alla mia carriera, al mio successo. E parla come darwinista pragmatico: siccome la macchina trionferà, conviene stare dalla parte della macchina, conviene stare con la macchina.

Bill Joy, in quelle notti, avendo in mente le promesse di Kurzweil, si è convertito. Bill Joy, per rispondere, non parla non più come tecnologo, ma come cittadino. Parla con la voce di sua nonna.

Così Joy ci parlava un quarto di secolo fa. E ci parla ancora. Si legge che oggi Joy è sfiduciato. La sobrietà, il senso del limite, l'umiltà non hanno certo trionfato in questi anni. La sua battaglia sembra perduta. Queste tecnologie sono arrivate per restare. La loro affermazione è inevitabile.

Ma Joy ha fatto la sua parte.

Il suo invito a scandalizzarsi, a indignarsi, a non arrendersi, vale per tutti noi. Sta a noi oggi osservare la scena senza infingimenti e fare la nostra parte. Sta noi oggi non rinunciare a vedere. Accettare l'inquietudine. Trarne le conseguenze.

Note