Il valore è una questione complessa e fragile
Un giorno, il mio amico Niel chiese al suo assistente virtuale in India di trovargli una bici che potesse utilizzare quel giorno. Lei gli restituì una lista di bici in vendita in tutto il mondo. Niel disse, “No, me ne serve una che posso acquistare ad Oxford oggi. Dev’essere una cosa locale.” Così lei gli mandò una lunga lista di bici disponibili ad Oxford, la maggior parte delle quali molto costose. Niel precisò che voleva una bici non troppo costosa. E lei gli inviò una lista di bici da bambino. Lui precisò ulteriormente che voleva una bici locale, economica che andasse bene per un adulto. E lei gli inviò una lista di bici da adulto, in Oxford, che avevano bisogno di una riparazione.
Di norma, gli umani comprendono i desideri degli altri meglio di così. La nostra unità psicologica ci permette di condividere buon senso e desideri. Chiedetemi di trovarvi una bici, e io presumerò che ne vogliate una funzionante, adatta alla vostra corporatura, non di oro massiccio, ecc.—anche se in realtà non avete esplicitato nessuna di queste preferenze.
Ma una diversa architettura mentale, una che non si sia evoluta con noi, non condividerebbe il nostro “buon senso”. Non saprebbe cosa non fare. Come preparare una torta? “Non usare le seppie. Non usare radiazioni Gamma. Non usare veicoli Toyota.” La lista di cose da non fare sarebbe infinita.
Alcune persone pensano che un’AI avanzata sarà un qualche tipo di super-maggiordomo, che esaudirà ogni richiesta con incredibile efficienza. Ma sarebbe più accurato immaginarlo come un Produttore di Risultati: un dispositivo non senziente che rende alcuni risultati più probabili e altri risultati meno probabili. (Il Produttore di Risultati non è magico, tuttavia. Se chiedi un risultato troppo improbabile, finirà per rompersi.)
Supponiamo ora che vostra madre sia intrappolata in un edificio in fiamme. Siete su una sedia a rotelle, quindi non potete aiutarla direttamente.
Ma avete un Produttore di Risultati: pertanto, gridate “Fai uscire mia madre fuori dall’edificio!”… e premi Invio.
Per un istante sembra che non avvenga nulla. Vi guardate intorno, aspettando che arrivi la camionetta dei pompieri coi soccorritori—o anche solo un rapido e determinato soccorritore che tiri tua madre fuori dall’edificio—
BOOM! Con un tuono assordante, la condotta principale del gas sotto l’edificio esplode. Mentre la struttura si apre in due, in quello che sembra un ralenti, scorgete il corpo martoriato di vostra madre scagliato in aria, mentre aumenta a tutta velocità la sua distanza da quel che era il centro dell’edificio.
Per fortuna il Produttore di Risultati ha un tasto “Ripensamento”, che riavvolge il tempo. Lo schiacciate e riprovate; stavolta dite: “Porta mia madre fuori dall’edificio senza far esplodere l’edificio”, e premete Invio.
Così lei cade dalla finestra e si rompe l’osso del collo.
Dopo aver schiacciato una dozzina di volte il tasto “Ripensamento”, dite al Produttore di Risultati:
Nei prossimi dieci minuti, sposta mia madre (definita come la donna con cui condivido metà dei geni e che mi ha dato la nascita) in modo che si possa sedere confortevolmente sulla sua sedia di fianco a me, senza danno fisico o mentale.
Questa volta vedete tredici pompieri accorere intorno all’edificio in tutta fretta. Uno di loro intravede subito tua madre e la mette in salvo. Tutti gli altri muoiono o accusano sofferenze atroci. Il pompiere accomoda tua madre sulla sedia, poi volge il suo sguardo sui colleghi morti o sofferenti.
Hai avuto quello che hai chiesto, ma non quello che volevi.
Il problema è che il vostro cervello non è abbastanza grande da contenere affermazioni che specifichino ogni possibile dettaglio di cosa volete o non volete. Come potevate sapere di volere che vostra madre uscisse dall’edificio in buono stato senza uccidere o mutilare una dozzina di pompieri? Non è che da qualche parte nel vostro cervello ci fosse l’affermazione “Voglio che mia madre esca dall’edificio in buona salute senza che una dozzina di pompieri muoiano o restino mutilati per questo.” Piuttosto, voi avete visto vostra madre uscire dall’edificio in buona salute mentre una dozzina di pompieri morivano o restavano amputati, e vi siete detti: “Oh, merda. Non è questo che volevo.” Oppure potreste essere stati in grado di immaginare quello specifico scenario e dire: “Oh, no, non è ciò che voglio.” Ma nulla di così specifico è mai stato scritto nel vostro cervello prima che avvenisse, o prima che vi immaginassi tale scenario. Non avrebbe potuto; nel vostro cervello non c’è abbastanza spazio.
D’altronde non potete permettervi di stare lì, col Produttore di Risultati in mano, a immaginare milioni di possibili risultati e sceverare quali volete e quali no. Vostra madre morirà, prima che abbiate il tempo di fare una cosa simile.
Se si rompesse la testa, che abbandonerebbe il corpo? Se si rompesse invece il corpo, lasciando solo la sua testa? E se ci fosse un team di crionica, là fuori, pronto a sospendere la testa? Una testa congelata è una persona? Terry Schiavo è una persona? Quanto vale uno scimpanzé?
Tuttavia, il vostro cervello non è infinitamente complesso. C’è un set limitato di affermazioni che potrebbero determinare il sistema che determina i giudizi che formulereste. Se comprendessimo il funzionamento di ogni sinapsi e neurotrasmettitore e proteina del cervello, e avessimo una mappa completa del vostro cervello, allora un’AI potrebbe, almeno in linea di principio, calcolare quali giudizi fareste su un set finito di possibili risultati.
La morale è che non esiste un “obiettivo sicuro” le cui ramificazioni siano più piccole di un intero sistema di valori umani:
Ci sono troppi percorsi possibili attraverso il Tempo. Non potete visualizzare tutte le strade che portano alla destinazione che date al [Produtore di Risultati]. “Massimizzare la distanza tra vostra madre e il centro dell’edificio” può essere fatto ancora più efficacemente detonando un’arma nucleare…. Oppure, ai più alti livelli dell’intelligenza del [Produttore di Risultati], fare qualcosa cui né io né voi avremmo pensato, proprio come uno scimpanzé non penserebbe di far detonare un’arma nucleare. Non potete visualizzare tutti i percorsi nel corso del tempo, non più di quanto possiate programmare un giocatore di scacchi codificando una mossa per ogni possibile posizione sulla scacchiera.
E la vita reale è molto più complicata degli scacchi. Non puoi prevedere, a priori, quale dei nostri valori si riveleranno necessari a prevedere il percorso che il [Produttore di Risultati] prende nel tempo. Specialmente se desiderate qualcosa a più lungo termine o lungo raggio del soccorrere vostra madre da un edificio in fiamme.
… L’unica [AI sicura] è quella che condivide ogni vostro criterio di giudizio, e a quel punto potete semplicemente dire “Desidero che tu faccia quello che io vorrei fare.”
C’è tutta un’industria di persone che propongono il Singolo Principio che farà fare alla AI ciò che vogliamo. Niente del genere funzionerà mai. Non agiamo solo per la sola felicità o piacere. Ciò a cui diamo valore è altamente complesso. L’evoluzione vi ha dato mille sfumature diverse di desiderio. (Per vedere il casino che questo combina nella vostra neurobiologia, leggete i primi due capitoli di Neuroscience of Preference and Choice.)
Ecco spiegato anche perché i filosofi morali hanno speso migliaia di anni senza riuscire a trovare un semplice set di principi che, se solo messi in pratica, creerebbero il mondo che vogliamo. Ogni volta che qualcuno propone un piccolo set di principi morali, qualcun altro ne mostra le lacune. Dimentica un dettaglio, anche uno apparentemente triviale, e le cose possono finire disastrosamente male:
Considera il valore umano incredibilmente importante della “noia”—il nostro desiderio di non fare “la stessa cosa” in continuazione. Puoi immaginare una mente che contenga quasi l’intera specifica del valore umano, quasi tutte le morali e metamorali, ma lasci fuori quell’ultima cosa—
—e quindi spese tutto il tempo, fino al suo ultimissimo istante di vita, ripetendo una singola esperienza altamente ottimizzata, in continuazione.
Oppure immaginate una mente che contenga quasi l’intera specifica di quale tipo di sensazioni gli umani apprezzino di più— ma non l’idea che queste sensazioni abbiano dei referenti esterni importanti. Per cui la mente se ne andrebbe in giro sentendo di aver fatto una scoperta importante, sentendo di aver trovato l’amore della sua vita, sentendo di aver aiutato un amico, ma senza aver effettivamente fatto nessuna di queste cose, e diventando di fatto il suo stesso produttore di esperienze. E se la mente ricercasse queste sensazioni e i loro referenti, sarebbe un futuro bello e vero; ma siccome questa singola dimensione del valore era rimasta, il futuro divenne un qualcosa di ripetitivo. Noioso e ripetitivo, perché sebbene la mente sentisse di incontrare esperienze di incredibile novità, questa sensazione non era in alcun modo vera.
Oppure il problema opposto: un agente che contiene tutti gli aspetti del valore umano, eccetto la valutazione dell’esperienza soggettiva. Così che il risultato sia un ottimizzatore non senziente che va in giro a fare scoperte genuine, ma le scoperte non sono godute e assaporate, perché non c’è nessuno a farlo…
Quella del valore non è una faccenda solo complicata, ma anche fragile. Esiste più di una dimensione del valore umano, dove se quella singola cosa si perde, il Futuro si azzera. Un singolo cedimento e tutti i valori crollano. Non ogni singolo cedimento farà crollare ogni valore—ma più di un possibile “singolo cedimento” lo farà.
Potete vedere dove porta tutto questo. Siccome non abbiamo mai decodificato un intero sistema di valori umani, non sappiamo quali valori dare a una AI. Non sappiamo quali desideri esprimere. Se creassimo una AI superumana domani, potremmo darle solo un sistema di valori disastrosamente incompleto, e poi continuerebbe a fare cose che non vogliamo, perché farebbe ciò che le chiediamo invece di ciò che vogliamo.
Per il momento, sappiamo solo come costruire AI che ottimizzino qualcosa di diverso da ciò che vogliamo. Sappiamo solo come costruire AI pericolose. E quel che peggio, stiamo imparando come costruire delle AI sicure molto più lentamente di quanto stiamo imparando a costruire delle AI potenti, perché stiamo devolvendo più risorse ai problemi delle funzionalità dell’AI che ai problemi legati alla sicurezza delle AI.
L’orologio ticchetta. L’AI sta arrivando. E noi non siamo pronti.