Min egen berättelse
Någon gång detta sekel så kommer maskiner att överträffa mänsklig intelligens och förmåga. Denna händelse – ”intelligensexplosionen” – kommer vara den viktigaste händelsen i vår historia, och att navigera den förståndigt kommer vara det viktigaste vi någonsin kan göra. Notabiliteter från Alan Turing1 och I. J. Good till Bill Joy och Stephen Hawking har varnat oss om detta. Varför tror jag Hawking och kompani har rätt, och vad kan vi göra åt saken? Att möta Intelligensexplosionen är mitt försök att besvara dessa frågor.
Personlig Bakgrund
Jag tänkte börja med min personliga bakgrund. Det kommer hjälpa att veta vem jag är som person och vilken bakgrund jag kommer ifrån. Den informationen är viss bevisning för hur du borde påverkas av de andra sakerna jag säger. När mina religiösa uppfattningar till slut gav vika för verkligheten så avkonverterade jag och startade en blogg i avsikt att förklara ateism och naturalism för andra. Common Sense Atheism kom att bli en av de populäraste ateist-bloggarna på internet. Jag översatte uppsatser av yrkesmässiga filosofer till begriplig engelska, och jag fick tillfälle att tala med experter inom området i min podcast Conversations from the Pale Blue Dot. Dessutom, att mista religionen sa inte vad jag borde tro eller borde göra med mitt liv, så jag använde min blogg för att söka svar. Jag har också intresserat mig för rationalitet, åtminstone sedan min avkonvertering, vilket ledde till upptäckten att jag med lätthet kunde vara helt övertygad om saker jag inte hade några bevis för, saker som hade bevisats osanna, och rentutav fullständig nonsens. Hur kunde den mänskliga hjärnan vara så otroligt vilseledd? Uppenbarligen så var jag inte Aristoteles’ ”rationella djur.” Istället var jag Gazzaniga’s rationaliserande djur. Kritiskt tänkande hade en betydande roll i Common Sense Atheism, och jag spenderade lika mycket tid åt att kritisera bristfälligt tänkande hos ateister som hos teister.
Intelligensexplosion
Mitt intresse för rationalitet ledde mig oundvikligen (i mitten av 2010, tror jag) till en skattgömma av artiklar om kognitionsvetenskapen för rationalitet: webbsajten Less Wrong. Det var här som jag först stötte på idén om intelligensexplosion:
Låt en ultraintelligent maskin definieras som en maskin som kan långt mer överstiga alla intellektuella aktiviteter av vilken människa som helst oavsett hur smart han/hon är. Då designen av maskiner är en av dessa intellektuella aktiviteter kan en ultraintelligent maskin konstruera ännu bättre maskiner; det skulle odiskutabelt bli en ’intelligensexplosion,’ och intelligensen hos människan skulle bli lämnad långt efter. Därför är den ultraintelligenta maskinen den sista uppfinningen som människan någonsin behöver göra.2
Jag berättar om mitt möte med denna kända paragraf här. Kort sammanfattat:
Good’s paragraf körde över mig som ett tåg. Inte för att det var absurt, men eftersom det helt klart var sant. Intelligensexplosion var en direkt följd till saker jag redan trodde, jag hade bara inte märkt det! Människor propagerar inte sin tro automatiskt, så jag hade inte märkt att min världsbild redan innebar intelligensexplosion. Jag spenderade en vecka på att leta upp motargument för att kontrollera om jag hade försummat något, och sedan accepterade jag intelligensexplosion som sannolikt (såvida vetenskapliga framsteg fortsatte). Och även om jag inte hade läst Eliezer’s artikel om komplexiteten i värderingar, så hade jag läst David Hume och Joshua Greene. Så jag förstod redan att en arbiträr artificiell intelligens nästan säkerligen inte skulle dela våra värderingar.
Min reaktion till denna upptäckt var omedelbar och omdanande:
Jag lade mina andra projekt på is och spenderade nästa månad på att läsa nästan allt Eliezer hade skrivit. Jag fann också artiklar av Nick Bostrom och Steve Omohundro. Jag började skriva artiklar för Less Wrong och lärde mig av deras community. Jag lämnade in en ansökan till Gästprofessor-programmet vid Forskningsinstitutet för maskinintelligens och godtogs. Jag sade upp mig från mitt jobb i L.A., flyttade till Berkeley, jobbade arslet av mig, blev anställd, och började samla forskning relaterad till rationalitet och intelligensexplosion.
Som min vän Will Newsome en gång sade, ”Luke verkar ha två kopior av ‘ta-idéer-seriöst’-genen.”
Fanatism?
Jag är inte förvånad. Luke växte upp i tron om att han var på ett kosmiskt uppdrag för att rädda mänskligheten innan världen gick till ända i och med ankomsten av en övermäktig gestalt (Kristi återkomst). Han förlorade sin tro och därför också hans känsla av episka syfte. Hans rädsla för nihilism gjorde honom mottaglig för förförelse av något som kändes som moralisk realism, och hans behov av att ha ett episkt syfte gjorde honom mottaglig för förförelse av existentiell riskreduktion.
Ett svar jag skulle kunna ge är att säga att detta inte är annat än ”psykologiserande” och att det försummar mängden bevis för påståendena jag nu försvarar angående intelligensexplosion. Det är sant, men återigen: rimliga fakta om min psykologi utgör faktiskt vissa Bayesiska bevis för hur du borde förhålla dig till de ord jag skriver i denna bok. Ett annat svar jag skulle kunna ge är att förklara varför jag inte tror att det var så det gick till, även om vissa delar av det naturligtvis är sant. (Till exempel så minns jag inte att jag kände att Kristi återkomst stundade, eller att jag var på ett kosmiskt uppdrag för att rädda varenda själ, även om jag som en evangelier var teologiskt förpliktigad dessa ställningar. Men det är definitivt så att jag dras till ”episka” saker så som rockbandet Muse och filmen Avatar.) Men jag har inte för avsikt att fokusera det här kapitlet ännu mer på min personliga psykologi. Ett tredje svar skulle vara att hänvisa till sociala bevis. Det verkar finnas en klass av läsare på Common Sense Ateism som har läst mina skriverier så noga att de har utvecklat en stark respekt för mitt seriösa engagemang i intellektuell själv-ärlighet och att ändra mig när jag har fel, så när jag började skriva om frågor gällande intelligensexplosion tänkte de, ”Ja, jag brukade tänka att de här idéerna om intelligensexplosion var rätt tokiga, men om Luke tar det på allvar så kanske det finns något av substans i de trots allt”, och så följde de mig till Less Wrong (där jag nu skrev regelbundet). Jag ska också nämna att en viktig orsak till varför jag blev förvaltningschef hos Institutet för maskinintelligens efter så kort tid i organisationen var att personalen såg att jag på allvar engagerade mig i rationalitet och att reducera bias; att jag på allvar var helt hängiven till att säga ”oj” och ändra min åsikt och besvara argument, och att jag på allvar agerade på beslutsteori så ofta jag kunde, snarare än på vana och känslor som jag skulle vara benägen till. I kartläggningen av mina möjliga svar till ”fanatism”-kritiken ovan så har jag redan satt upp något av ett försvar. Men längre än så vill jag inte gå. Jag vill att folk ska ta vad jag säger med en redig nypa salt. Jag är, trots allt, bara mänsklig. Förhoppningsvis kommer mina läsare att ta hänsyn till inte bara min mänsklighet men också de kraftfulla argument och bevis jag senare kommer att leverera angående ankomsten av superintelligenta maskiner.
* * *
1A. M. Turing, “Intelligent Machinery, A Heretical Theory” (A lecture given to ’51 Society’ at Manchester, 1951). 2Irving John Good, “Speculations Concerning the First Ultraintelligent Machine,” in Advances in Computers, ed. Franz L. Alt and Morris Rubinoff, vol. 6 (New York: Academic Press, 1965), 31–88, doi:10.1016/S0065-2458(08)60418-0.