Nie sme pripravení rozmýšľať o UI
Vo filmoch Terminátor umelá inteligencia Skynet získa vedomie seba, zabije miliardy ľudí, a rozošle zabijácke roboty, aby vyhladili zostávajúce skupiny ľudských partizánov. To znie dosť zle, ale v relácii NPR o Singularite, programátor z eBayu, Keefe Roedersheimer, vysvetlil, že vytvorenie skutočnej strojovej superinteligencie by bolo omnoho horšie než toto.
„Horšie než Terminátor?“ opýtal sa Martin Kaste z NPR.
„Oveľa, oveľa horšie,“ povedal Keefe.
„Veď to je mesačná krajina s ľuďmi, ktorí sa schovávajú pod vypálenými budovami pred laserovými strelami. Čo by tak mohlo byť horšie než toto?“
„Všetci ľudia mŕtvi.“
Prečo to povedal? Pri väčšine cieľov, ktoré by UI mohla mať – či už je to vyriešenie Riemannovej hypotézy alebo maximalizácia produkcie ropy – jednoduchý dôvod je, že „UI ťa ani nemiluje, ani nenenávidí, ale skladáš sa z atómov, ktoré môže použiť na niečo iné“. A keď si nadľudská UI všimne, že ľudia sa asi budú brániť tomu, aby sa ich atómy použili na „niečo iné“, a tým budú ohrozovať UI a jej ciele, bude mať motiváciu zlikvidovať nás tak rýchlo, ako sa len dá – a nie spôsobom, ktorý odhalí jej kritické slabé miesto neohrozenému tímu hrdinov, ktorí dokážu zachrániť svet, pokiaľ sa dokážu povzniesť nad svoje rozdiely… Nie. Pre väčšinu cieľov, ktoré UI môže mať, zlikvidovať ľudskú hrozbu týmto cieľom, tak efektívne, ako sa len dá, bude maximalizovať očakávaný úžitok UI.
A povedzme si na rovinu: existujú ľahšie spôsoby, ako zabiť nás ľudí, než posielať humanoidných robotov, ktorí chodia po zemi a zrejme radi hádžu ľudí o steny namiesto toho, aby im jednoducho vykrútili krky. Omnoho lepší útok by bol nečakaný útok na ľudí, pôsobiaci na celom svete zároveň, prudko smrtiaci, a odolávajúci dostupným protiopatreniam. Napríklad: Prečo nevyužiť celú túto superinteligenciu na zostrojenie vzduchom prenášaného, vysoko nákazlivého smrtiaceho vírusu? Mutácia chrípky v roku 1918 zabila 3% obyvateľstva Zeme, a to bolo skôr, než sa letecká doprava (ktorá šíri choroby po celej planéte) stala bežnou, a do návrhu vírusu nebol zapojený ani gram inteligencie. Použime trochu inteligencie, a tím z Nizozemska vytvorí variant vtáčej chrípky, ktorý by „dokázal zabiť polovicu ľudstva.“. Superinteligencia by vedela vytvoriť niečo omnoho horšie. Prípadne by sa UI mohla ukryť pod zem alebo vystreliť do vesmíru a zabiť nás pomocou existujúcej technológie: niekoľkých tisícov jadrových zbraní.
Pointa nie je v tom, že by niektorý z týchto konkrétnych scenárov bol pravdepodobný. Snažím sa iba ukázať, že skutočná situácia môže samozrejme byť omnoho horšia než tá, z ktorej vzniká dobrý príbeh. Ako povedal oxfordský filozof Nick Bostrom:
Kedy ste naposledy videli film o tom, ako ľudstvo náhle vyhynulo (bez varovania a bez nahradenia nejakou inou civilizáciou)?
Je to lepší príbeh, ak má každá strana reálnu šancu vyhrať boj. Pána prsteňov by sa nepredalo toľko kópií, keby Frodo urobil rozumnú vec a hodil by prsteň do sopky z chrbta obrovského orla. Takisto nie je zaujímavý príbeh, kde ľudstvo náhle prehrá, bodka.
Keď rozmýšľame o UI, nesmieme zovšeobecňovať podľa fiktívnych dôkazov. Nanešťastie, naše mozgy to robia automaticky.
V známej štúdii z roku 1978 sa pýtali pokusných osôb, ktoré z dvoch nebezpečenstiev sa stáva častejšie. Pokusné osoby si mysleli, že nehody spôsobujú zhruba rovnako veľa úmrtí ako choroby, a že vraždy sú častejšie ako samovraždy. V skutočnosti choroby spôsobujú 16-krát viac úmrtí než nehody, a samovrážd je dvakrát viac než vrážd. Čo sa stalo?
Tucty štúdií o heuristike dostupnosti naznačujú, že frekvenciu alebo pravdepodobnosť javov posudzujeme podľa toho, ako ľahko si na ne spomenieme. To nie je zlý výsledok na heuristiku, ktorá sa vyvinula v pravekom prostredí, kde sme si nemohli skutočné frekvencie overiť na Wikipédii, ani správne pravdepodobnosti vypočítať pomocou Bayesovej vety. Táto heuristika mozgu je rýchla, lacná, a často správna.
Ale podobne ako mnohé naše vyvinuté kognitívne heuristiky, heuristika dostupnosti často dáva nesprávny výsledok. Nehody sú ľahšie na predstavivosť než choroby, a preto si na ne ľahšie spomenieme, čo spôsobuje, že preceňujeme ich frekvenciu v porovnaní s chorobami. To isté platí pre vraždy a samovraždy.
Heuristika dostupnosti vysvetľuje aj to, prečo si ľudia myslia, že lietanie je nebezpečnejšie než jazda autom, hoci pravdou je opak: havárie lietadiel sú výraznejšie a viac sa o nich informuje, keď sa stanú, preto sú dostupnejšie v našej pamäti, a mozog klame sám seba, že dostupnosť udalosti naznačuje jej pravdepodobnosť.
Čo robí váš mozog, keď rozmýšľa o nadľudskej UI? S najväčšou pravdepodobnosťou si vybavuje všetky príklady nadľudskej UI, s ktorými ste sa stretli – a čo je horšie, všetky sú vymyslené – a posudzuje pravdepodobnosť jednotlivých scenárov podľa toho, ako dobre zapadajú do scenárov, na ktoré si najľahšie spomenie (pretože sa s nimi stretol vo vymyslenom príbehu). Inými slovami: „Zapamätané príbehy vtrhnú do mozgu a urobia myslenie za teba.“
Takže, ak máš intuície o tom, aká bude nadľudská UI, pravdepodobne sa zakladajú na rozprávkach, a ani si to neuvedomuješ.
To je dôvod, prečo som Zoči-voči Singularite začal rozprávaním o rozumnosti. Akonáhle začneme rozmýšľať nad UI, bežíme v ústrety húštine typických ľudských omylov. Zovšeobecňovanie podľa fiktívnych dôkazov je jedným z nich. Tu je pár ďalších:
- Vďaka heuristike dostupnosti vám mozog povie, že UI, ktorá zlikviduje ľudstvo, je mimoriadne nepravdepodobná, pretože ste sa s tým nikdy predtým nestretli. Navyše, aj keď sa veci vyvinú tak zle ako povedzme vo filmoch o mimozemských útokoch, statoční ľudskí hrdinovia v poslednej chvíli vždy nájdu spôsob, ako vyhrať.
- Pretože preceňujeme pravdepodobnosť konjunktívnych udalostí, ale podceňujeme pravdepodobnosť disjunktívnych udalostí (tu je štúdia), máme sklon preceňovať pravdepodobnosť, že nadľudská UI dopadne dobre, pretože sa stane aj X, aj Y, aj Z, a máme sklon podceňovať pravdepodobnosť, že nadľudská UI dopadne zle, pretože je hromada spôsobov, ako nadľudská UI môže dopadnúť zle, a tie zvyčajne jeden od druhého nezávisia.
- Vďaka heuristike ukotvenia a prispôsobenia, váš úsudok o situácii bude nevyhnutne ukotvený očividne nesúvisiacimi informáciami. (Číslo, ktoré vylosujete v kolese šťastia ovplyvní váš odhad, koľko je krajín v Afrike.) Napriek tomu, že som práve hovoril o tom, že Terminátor je nesúvisiaci fiktívny príklad toho, ako dopadnú nadľudské UI, váš mozog bude v pokušení použiť Terminátora ako kotvu, a potom sa od neho odkláňať, no nie príliš ďaleko.
- Vďaka afektívnej heuristike posudzujeme veci podľa toho, ako sa ohľadom nich cítime. Z pekných ľudí máme dobrý pocit, preto predpokladáme, že pekní ľudia sú zároveň aj bystrí a pracovití. Z inteligencie máme dobrý pocit, preto budeme očakávať, že inteligentný stroj bude aj dobrý. (Lenže nie.)
- Vďaka necitlivosti k rozsahu necítime viac motivácie zabrániť 10 000 000 000 smrtí bež zabrániť 10 000 000 smrtí.
Očividne nie sme pripravení rozmýšľať o UI.
Aby sme múdro rozmýšľali nad UI, musíme sledovať – a aktívne prekonávať – mnoho druhov bežných chýb myslenia. Na myslenie o UI musíme používať zákony myslenia namiesto bežného ľudského šialenstva.
Alebo, inými slovami: Nadľudská UI bude mať veľký dopad na náš svet, preto veľmi chceme „vyhrať“ a nie „prehrať“ s nadľudskou UI. Správne robená technická rozumnosť je systém na optimálne vyhrávanie – je to vlastne systém, ktorý by použila bezchybná UI, aby vyhrala čo najviac. Ak teda chceme vyhrať spolu s nadľudskou UI, mali by sme na to použiť rozumnosť.
A presne to začneme robiť v nasledujúcej kapitole.