That which optimizes to be kind will be vanquished by that which optimizes to not die. — Daniel Faggella
Daniel Faggella , è un pro-estinzione che guida il cosiddetto movimento del ” degno successore “, che spera di creare un sistema di intelligenza artificiale generale (AGI) avanzato per sostituire l’umanità. Sostiene che “il grande (e in definitiva, unico) obiettivo morale dell’intelligenza artificiale generale dovrebbe essere la creazione di un degno successore”, che definisce come “un’intelligenza postumana così capace e moralmente preziosa che preferiresti volentieri che fosse lei (non l’umanità) a controllare il governo e a determinare il futuro percorso della vita stessa”. Possiamo chiamare questa versione del pro-estinzione ” eugenetica digitale “.
All’inizio di quest’anno, Faggella ha tenuto una conferenza dal titolo ” Wanty Successor: AI and the Future After Humankind ” in una villa di San Francisco (dove se no?), a cui, a suo dire, hanno partecipato “membri del team di OpenAI, Anthropic, DeepMind e altri laboratori AGI, insieme ai fondatori dell’organizzazione per la sicurezza AGI e a numerosi fondatori di aziende leader nel campo dell’IA”. Questo indica l’interesse che gli abitanti della Silicon Valley nutrono per l’estinzione . Secondo un annuncio recente , Faggella sta pianificando un’altra conferenza simile per la fine di questo mese a New York City, che mira a riunire “diplomatici, dipendenti del laboratorio AGI, pensatori politici dell’intelligenza artificiale e altri in un’unica stanza per discutere la traiettoria della vita postumana”.
Ecco alcuni tweet di Faggella degli ultimi giorni (al momento in cui scrivo), per darvi un’idea del suo sistema di credenze escatologiche:
Faggella sostiene che l’intera etica possa essere ridotta a un unico imperativo basato su una teoria monistica del valore: massimizzare la potenzialità. O, per usare le sue parole , “un’espansione sicura (o almeno non palesemente e inutilmente pericolosa) della potenzialità è l’unico imperativo morale”. Come si può raggiungere questo obiettivo? Costruendo un’intelligenza artificiale superintelligente, o integrando la tecnologia nel nostro cervello (anche se Faggella afferma di essere d’accordo con Ray Kurzweil sul fatto che alla fine il materiale artificiale avrà la meglio: “Il non biologico supererà quasi certamente il biologico in importanza”).
Altri due termini sono necessari per comprendere questa visione: la torcia e la fiamma. Il primo si riferisce al substrato della fiamma, mentre il secondo non ha una definizione coerente negli scritti di Faggella. A volte la definisce come ” la vita stessa “, mentre in altre occasioni parla di ” fiamma della coscienza e della potenza “. (La vita non è la stessa cosa della coscienza; alcuni esseri viventi, come i batteri, non sono coscienti.)
L’idea chiave è che la torcia non conta: ciò che conta è la fiamma. E poiché gli esseri umani sono solo un tipo di torcia in grado di alimentare la fiamma, in definitiva non contiamo nulla e, come tali, dovremmo essere scartati in futuro.
con una flotta di navicelle, che viaggiano a velocità prossime a quelle della luce, convertendo i pianeti in altro materiale per la costruzione di navicelle e convertendo le stelle in centri di produzione di energia in modi incredibilmente più potenti di qualsiasi idea della scala di Kardashev che i nostri sciocchi cervelli ominidi potrebbero escogitare.
Immagina che questi esseri futuri “possano letteralmente materializzare astronavi, cibo o altri materiali/cose dal nulla con nanotecnologie o altri progressi che non comprendiamo nemmeno”, e che avranno accesso a una “gamma quasi infinita di esperienze senzienti beate”. “Ogni volta che parla”, aggiunge , “hai l’impressione che sappia un miliardo di volte più di te, come se un essere umano fosse in grado di comunicare con un grillo (ma il grillo sei tu)”.
Questi sono ottimi esempi di pensiero utopico: affermazioni assurde e fantasiose che ignorano opportunamente i dettagli confusi di come sarebbe effettivamente un futuro del genere. Ad esempio, ci sono argomenti convincenti sul perché la colonizzazione dello spazio porterebbe probabilmente a continue guerre catastrofiche tra diverse civiltà planetarie o solari. Ho scritto un articolo su questo argomento diversi anni fa (un riassunto accessibile è disponibile qui ) e il teorico delle relazioni internazionali di fama mondiale Daniel Deudney ha pubblicato un intero libro sull’argomento nel 2020 intitolato Dark Skies, che consiglio vivamente.
Gli aspiranti deviatori di collisioni di asteroidi, i collettori di energia solare spaziale, i minatori di asteroidi e i geoingegneri spaziali promuovono con insistenza i loro megaprogetti che cambieranno la Terra. Date le numerose catastrofi planetarie che incombono (dal cambiamento climatico estremo alla superintelligenza artificiale fuori controllo), cercare soluzioni al di fuori della Terra potrebbe sembrare una strategia valida per l’umanità. E in effetti, sostenuto da una rete globale di ferventi sostenitori dello spazio – e reso plausibile, persino inevitabile, da un mare di fantascienza e dalla magia del cinema moderno – lo spazio si presenta come una strada piena di speranza per la sopravvivenza e la prosperità dell’umanità, un futuro positivo in tempi sempre più bui. Ma nonostante le domande fondamentali sulla fattibilità, queste numerose iniziative spaziali avranno davvero gli effetti desiderati, come sostengono i loro sostenitori? Nel primo libro che valuta criticamente le principali conseguenze delle attività spaziali dalle loro origini negli anni ’40 ad oggi e oltre, Daniel Deudney sostiene in Dark Skies che il risultato principale dell’era spaziale è stato quello di aumentare la probabilità di una guerra nucleare globale, un fatto convenientemente oscurato dal mancato riconoscimento che i missili balistici con testate nucleari sono intrinsecamente armi spaziali.
L’argomentazione, in breve, è questa: se gli esseri futuri hanno la tecnologia per diffondersi oltre il nostro sistema solare, probabilmente avranno anche la tecnologia per infliggere danni catastrofici alle rispettive civiltà. Potrebbero esserci armi cosmiche che non possiamo nemmeno immaginare. Inoltre, lo spazio sarà politicamente anarchico , il che significa che non ci sarà un Leviatano (o uno Stato) centrale a mantenere la pace. Infatti, poiché un Leviatano richiede un coordinamento tempestivo per essere efficace, e poiché lo spazio è così vasto, stabilirne uno sarà impossibile. (In altre parole, non ci sarà una singola civiltà, ma una vasta gamma di queste civiltà, popolate da esseri con capacità cognitive, repertori emotivi, capacità tecnologiche, teorie scientifiche, organizzazioni politiche e persino ideologie religiose estremamente diverse, ecc. ecc.)
Questo lascia la minaccia della distruzione reciproca assicurata , o MAD, come unico meccanismo per garantire la pace. Ma dato l’incommensurabile numero di civiltà che esisterebbero (perché l’universo è immenso), sarebbe praticamente impossibile tenere d’occhio tutti i potenziali aggressori e nemici. Le civiltà si troverebbero in una trappola hobbesiana radicalmente multipolare, in cui anche le civiltà pacifiche avrebbero un incentivo ad attaccare preventivamente le altre. Tutti vivrebbero nella costante paura dell’annientamento, e i dilemmi di sicurezza intrinseci di questa situazione innescherebbero spirali di militarizzazione che non farebbero altro che destabilizzare ulteriormente le relazioni nel regno anarchico dell’arena cosmopolitica.
Questa è la ricetta per far sì che gli incubi diventino realtà, su scala cosmica. E la situazione potrebbe essere aggravata dall’ipotesi di Faggella stesso che le IA che colonizzano l’universo a partire dalla Terra cercherebbero semplicemente di annientare altre forme di vita che potrebbero incontrare:
Mentre questa grande IA sfreccia attraverso la galassia, prima o poi si troverà ad affrontare altre intelligenze aliene. Pensi, lettore, che tutte queste intelligenze aliene incontreranno e accoglieranno con gioia la nostra tenera e premurosa IA? Condivideranno volentieri l’energia delle stelle o le risorse degli asteroidi?
Ciò che ottimizza per essere gentile sarà sconfitto da ciò che ottimizza per non morire.
E quindi è guerra.
Non esiste una post-scarsità eterna, e non esiste una perfetta uguaglianza. La sopravvivenza è sempre precaria. Se non dai predatori con gli artigli, dalle eruzioni solari. Se non dalle eruzioni solari, allora dall’esaurimento delle risorse. Se non dall’esaurimento delle risorse, allora dalla morte termica dell’universo, e così via.
Il problema con questa visione è ovvio: prima del XX secolo, la probabilità di una “catastrofe esistenziale” era assolutamente minuscola, perché le catastrofi su scala globale sono estremamente rare. Con lo sviluppo della tecnologia a partire dal XX secolo, persone come Nick Bostrom e Toby Ord sostengono che la probabilità sia schizzata da trascurabile a una percentuale compresa tra il 25% e il 16% . Alcuni, come Eliezer Yudkowsky, sostengono che ora sia superiore al 95% . E non sono solo i TESCREALists a dirlo: l’Orologio dell’Apocalisse è attualmente impostato a 89 secondi prima di mezzanotte , o del giudizio universale. Se ci fosse stato un Orologio dell’Apocalisse 150 anni fa, sarebbe stato impostato a circa 24 ore prima del giudizio universale: ecco quanto era basso il rischio di una catastrofe globale prima del XX secolo!
La correlazione (e la sua causalità sottostante) potrebbe essere più chiara: più tecnologia equivale a più rischio esistenziale? Questo è stato vero in passato, senza eccezioni, e continuerà ad esserlo in futuro, che siamo noi o un’IA “superintelligente” a sviluppare la tecnologia. Se volete aumentare il rischio di una catastrofe globale, allora dovreste unirvi al team di Faggella. Espandere la “potentia” non è il modo migliore per garantire che la “fiamma” persista nel lontano futuro – in realtà è il peggiore.
Quanto all'”esaurimento delle risorse”, non capisco perché Faggella lo sottolinei. Potremmo sempre, sai, scegliere di vivere in modo sostenibile. Questo punto è così ovvio che non vale la pena menzionarlo.
Probabilmente c’è qualcosa al di là della coscienza – forme di metacoscienza, di connessione, di pensiero o di comprensione – che non possiamo immaginare come esseri umani, ma che aprirà le possibilità della natura un miliardo di volte all’entità postumana che le sbloccherà. … La stragrande maggioranza dei nuovi tipi di potenziali mentali, fisici, sociali, ecc. sono completamente inimmaginabili per gli esseri umani, proprio come la varietà dei tipi di potenziali umani è del tutto inimmaginabile per i grilli o i limuli. Le nostre idee più elevate sono solo patatine fritte sul molo .
Certo, ma si potrebbe dire lo stesso di ogni iterazione di un nuovo “successore”. Meta-coscienza? E la meta-meta-coscienza? O la meta-meta-meta-meta-meta-coscienza?
Se si prende sul serio Faggella, allora l’unico compito di ogni generazione iterativa di successori sarebbe quello di iniziare immediatamente a creare la generazione successiva di successori, all’infinito. (Ciò deriva dal suo unico imperativo morale e dalla teoria del valore monistico: massimizzare la potenzialia, che egli sembra ritenere che ogni essere futuro dovrebbe seguire per sempre.) Una volta creato un “degno successore” sotto forma di AGI, quest’ultima dovrà immediatamente iniziare a progettare il suo sostituto “degno successore”, AGI+. Una volta che AGI+ sarà disponibile, il suo compito immediato e unico sarà progettare AGI++, e così via, perché ci saranno sempre “nuovi tipi di potenzialità mentali, fisiche, sociali, ecc. [che] sono completamente inimmaginabili” per qualsiasi generazione di “degno successore”.
Quando finalmente si verificherà la morte termica dell’universo , cosa sarà stato realizzato? Quale generazione di successori sarà stata in grado di dire: “Mi sono fermato ad annusare le rose e ad apprezzare il mondo intorno a me, perché ero abbastanza“? Nessuna di queste. Il processo è senza scopo (e infinitamente senza scopo) perché presumibilmente non c’è un limite superiore alla “potentia”.
Questa etica è esattamente ciò che ha reso Elon Musk una persona palesemente infelice: c’è sempre un altro miliardo di dollari da aggiungere al suo enorme e oscenamente ricco patrimonio , quindi il lavoro non finisce mai, né c’è un punto in cui il lavoro diventa effettivamente “degno di nota”.
Lo si vede nell’approccio di Faggella. Come gli utilitaristi, egli capovolge completamente la situazione : noi contiamo per il valore, secondo lui, piuttosto che il valore che conta per il bene di noi stessi. Questo è esattamente il motivo per cui sostiene l’eliminazione dell’umanità in futuro, sostituendola con le intelligenze artificiali (AGI). Queste intelligenze artificiali, a loro volta, non conteranno più di noi, perché saranno anch’esse semplici “torce” sacrificabili/fungibili, il cui significato morale è interamente legato alla loro capacità di alimentare la “fiamma”. In una frase: Faggella afferma di preoccuparsi della “vita” e della “coscienza”, ma non si cura di nulla di ciò che è vivo e cosciente.
https://www.asterios.it/catalogo/la-coscienza-annientata
Questa idea è al centro della sua visione del mondo. Ed è un approccio all’etica (e all’escatologia) incredibilmente alienante e senz’anima. Vede l’umanità – insieme a qualsiasi postumano AGI creiamo, e qualsiasi post-postumano che potrebbero creare – come meri mezzi per un fine piuttosto che fini in sé. Non prende sul serio l’affermazione che tu ed io contiamo in alcun senso morale, se non come strumenti o veicoli per qualcos’altro (la potentia, l’espansione della “fiamma”).
Al contrario, la mia opinione personale è che tu ed io non contiamo in base al valore; il valore conta per il bene di noi stessi. In realtà, mi interessano le “torce” nella terminologia di Faggella, perché, sapete, non sono uno psicopatico capitalista che considera le altre creature viventi solo come cose sacrificabili/fungibili con un valore meramente strumentale.
Faggella claims to care about “life” and “consciousness” yet doesn't care about any of the things that are alive and conscious.
Inoltre, alla base di questo approccio ampiamente utilitaristico c’è una concezione molto peculiare della risposta moralmente corretta al valore (ovvero, a qualsiasi cosa consideriamo preziosa). Per persone come Faggella, la risposta corretta è sempre e solo la massimizzazione. Vuole sempre di più della “fiamma”, diffusa in ogni angolo dell’universo. Ma esiste una vasta gamma di risposte alternative al valore, come custodire, amare, prendersi cura, rispettare, proteggere, assaporare, preservare, adorare, apprezzare e così via. Non sono contrario alla massimizzazione del valore a volte, ma è profondamente sbagliato (anzi, è follia) pensare che questa sia l’unica risposta corretta a ciò che ha valore.
Conservo gelosamente un vecchio regalo di mia nonna, conservo gelosamente i momenti trascorsi con gli amici, amo e mi prendo cura di chi è nel bisogno, apprezzo la foresta verdeggiante vicino a casa mia e il firmamento notturno pieno di stelle sopra di me, ecc. Non penso: “Ah, i regali di mia nonna, dovrebbero essercene il più possibile!” o “Poiché la foresta vicino a casa mia è bellissima, l’intera Terra, comprese le terre aride, i deserti, ecc., dovrebbe essere ricoperta di foreste. Oh, e anche la luna!”. Dare valore a qualcosa non significa sempre desiderare che ci sia il massimo numero di istanze di quella cosa nel mondo (o nell’universo). In molti casi, non significa affatto questo.
Una novità di acro-pòlis Testi disponibile in tutte le Librerie
Da questa prospettiva, diventa chiaro che l’atteggiamento del “mai abbastanza buono” associato al solo imperativo della massimizzazione è moralmente fallimentare. Ricordiamo qui che i principali rimpianti che le persone hanno in punto di morte non sono di non essersi impegnate di più, di non aver guadagnato di più, di non aver acquisito più cose, ecc. – tutte cose che la nostra società capitalista ci dice di massimizzare – ma di non essersi concesse di essere più felici, di non essere rimaste in contatto con gli amici e di non aver lavorato di meno. La massimizzazione è la ricetta per il rimpianto in punto di morte; apprezzare e assaporare non lo è. Quali insegnamenti possiamo trarre da questo per le grandi visioni del futuro dell’umanità?
(Si noti che questa idea è direttamente pertinente anche al terzo punto sopra: vedere, ad esempio, il riferimento a Musk, un tizio che ama l’umanità ma non gliene potrebbe importare di meno degli umani, esattamente nello stesso modo in cui Faggella si preoccupa della vita ma non degli esseri viventi.)
Ciò lascia che cose come la violenza, la coercizione, l’omicidio di massa e la violazione dei diritti umani siano gli unici modi plausibili in cui l’AGI può usurparci – un fatto a cui Faggella sembra non aver pensato molto . Ci rassicura, tuttavia, che i nostri “degni successori” non lo faranno subito. Almeno “tratteranno bene l’umanità nel breve termine” (parafrasando l’immagine qui sotto), anche se a lungo termine saremo eliminati con la forza – ma, ci dice Faggella, non in modo “sconsiderato”. Ehm, come farà allora a sbarazzarsi di noi?
Un’altra domanda: cosa ne sarà del mondo naturale se le intelligenze artificiali prenderanno il sopravvento? Gli organismi non umani hanno voce in capitolo sul loro destino? Faggella sostiene che le intelligenze artificiali dovrebbero sostituire l’umanità perché sarebbero, per così dire, torce più grandi in grado di produrre una fiamma più grande. Se questo è il caso per noi, allora lo è ancora di più per le creature non umane. Quindi, il probabile risultato del predominio delle intelligenze artificiali è il completo annientamento dell’intera biosfera: tutte le maestose meraviglie di quest’isola squisitamente unica nello spazio, dipinta di verde e blu, brulicante di ecosistemi e traboccante di forme di vita esotiche, sterminate per il gusto di scalare una scala di “potentia” mal definita.
SONDAGGIO
Qual è la tua opinione sull’eugenetica digitale / l’idea del “degno successore”?
Sostituisci subito la torcia umana 0%
Unisciti subito alla Jihad Butleriana 67%
Sto ancora riflettendo 10%
Mostrami solo i risultati. 24%
21 VOTI · SONDAGGIO CHIUSO
Rinunciare al mondo
È difficile immaginare una filosofia più povera, disumana e violenta di quella che Faggella sta spacciando. Non sono uno studioso di Spinoza, ma sono abbastanza sicuro che ne sarebbe inorridito – e dall’uso che Faggella fa della sua terminologia.Il movimento del “degno successore” ci istruisce sostanzialmente a rinunciare a questo mondo, ordinandoci di creare un mondo completamente nuovo popolato da esseri selvaggiamente alieni e disumani – come scrive Faggella : “(in futuro) il luogo più alto del valore morale e della volontà dovrebbe essere alieno, disumano”. Dice agli abitanti della Silicon Valley esattamente quello che vogliono sentirsi dire: “Non solo sei esentato dal rendere questo mondo un posto migliore, ma sei anche una persona moralmente migliore per aver incanalato tutta la tua ricchezza e la tua energia nella costruzione dell’AGI “. Massimizzazione, espansione e sempre più tecnologia: queste sono le cose che salveranno il mondo, predica Faggella, quando in realtà sono esattamente il motivo per cui ora ci troviamo di fronte a una policrisi che minaccia di precipitare il collasso della civiltà nei prossimi decenni. Affermare che più tecnologia renderà tutto migliore, che è ciò che gli abitanti della Silicon Valley amano sentirsi dire, è come dire che se fumi un po’ di più il tuo cancro scomparirà.
Il movimento dei “degni successori” è guidato da eugenetisti digitali che, per quanto ne so, sono incapaci di apprezzare tutto ciò che abbiamo in questo momento, per così dire, sul Pianeta A, la nostra astronave Terra. Riflettete attentamente sul variopinto mosaico di culture, popoli, nazioni, tradizioni e stili di vita umani; pensate all’immensa diversità degli esseri viventi in questa splendida oasi nello spazio, molti dei quali possiedono tipi di intelligenza che stiamo solo ora iniziando a comprendere. Contrariamente a Faggella e ai suoi seguaci nella Silicon Valley, incoraggio le persone ad amare, custodire, proteggere e prendersi cura di queste cose profondamente preziose, e a rifiutare l’idea ristretta e moralmente impoverita che più “potentia” e una “fiamma” più grande siano ciò a cui dovremmo aspirare.
Here I’m reminded of Holden Karnofsky’s confession that Effective Altruism (EA) “is about maximizing a property of the world that we’re conceptually confused about, can’t reliably define or measure, and have massive disagreements about even within EA.” This was meant to be a warning about maximization. The same point applies to “potentia” — indeed, perhaps much more to “potentia” than EA’s notion of “value.”
Naomi Klein ha risposto in modo splendido a una domanda su Democracy Now su come contrastare la crescente influenza del fanatismo tecno-escatologico nella Silicon Valley (vedi minuto 19:58). La sua soluzione al problema: un’affermazione della vita, una fede nel nostro mondo, perché “ci troviamo di fronte a persone che scommettono attivamente contro il futuro “. Sono d’accordo. Ciò che Faggella presenta, sotto ogni aspetto importante, è un rifiuto veemente del nostro mondo e un rifiuto della vita terrena, in tutta la sua magnifica gloria. Se dovesse ottenere ciò che vuole, tutto ciò che rende la vita degna di essere vissuta verrebbe distrutto.
Note
In effetti, una persona affiliata al movimento è stata addirittura licenziata di recente da xAI, cosa che Faggella ha descritto come “(forse?) il primo ‘degno successore’ a essere licenziato”. Quest’uomo ha affermato di non preoccuparsi se tuo figlio viene assassinato dall’AGI. Ne ho parlato qui .
2.Faggella conduce anche un podcast chiamato “The Trajectory”. È in questo podcast che Eliezer Yudkowsky ha affermato quanto segue: Se sacrificare l’intera umanità fosse l’unico modo, e un modo affidabile, per ottenere… cose simili a Dio là fuori – superintelligenze che si preoccupano ancora le une delle altre, che sono ancora consapevoli del mondo e si divertono – alla fine farei questo compromesso.
Come scrivo qui a proposito dell’affermazione pro-estinzione di Yudkowsky :
