Zákony myslenia
Ak sa so mnou niekto nezhodne na zákonoch logiky, teórie pravdepodobnosti, a teórie rozhodovania, potom sa s ním v diskusii o Singularite ďaleko nedostanem, pretože mi bude stále argumentovať, že ľudská inteligencia funguje na princípe mágie, alebo že ako sa stroj stane viac inteligentným, stane sa tým aj viac dobrosrdečným, alebo že je jednoduché vyjadriť, čo ľudia chcú, alebo nejaká iná blbosť. Takže skúsme sa ubezpečiť, že sa zhodneme na základoch, než sa pokúsime zhodnúť na nejakej zložitejšej veci.
Logika
Našťastie, ohľadom logiky väčšina ľudí súhlasí. Tak ako v matematike, môžeme robiť chyby z nevedomosti, ale keď nám raz niekto ukáže dôkaz Pytagorovej vety alebo neplatnosť obrátenej implikácie, budeme súhlasiť. Matematika a logika sú deduktívne systémy, kde záver úspešného argumentu nevyhnutne vyplýva z jeho predpokladov, ak sú dané axiómy používaného systému: teória čísel, geometria, predikátová logika, atď. (Samozrejme, neurčitosti sa úplne vyhnúť nedá: slávny dôkaz veľkej Fermatovej vety od Andrewa Wilesa má vyše 100 strán, takže aj keby som si celú vec osobne preštudoval, nemohol by som si byť istý, že som tam niekde neurobil chybu.)
Prečo by sme mali svoje myslenie podriadiť zákonom logiky? Na tom nie je nič strašné. Zákony logiky sú už súčasťou nášho súhlasu, že sa spolu porozprávame. Ak mi poviete, že auto pred vami je celé červené a zároveň že je v rovnakom čase a rovnakým spôsobom celé modré, potom problém ani nie je v tom, že „používate odlišné zákony logiky“, ako skôr, že hovoríme rôznymi jazykmi. Časť významu toho, keď ja poviem, že vidím, že auto predo mnou je „celé červené“ je, že nie je zároveň celé modré, v rovnakom čase a rovnakým spôsobom. Ak nesúhlasíte, potom nehovoríme rovnakým jazykom. Hovoríte nejakým jazykom, ktorý používa mnohé zvuky z môjho jazyka, ale neoznačuje tým tie isté veci.
Lenže logika je systém istoty, a náš svet je svetom neistoty. V našom svete potrebujeme hovoriť nie o istotách ale o pravdepodobnostiach.
Teória pravdepodobnosti
Naučte dieťa najprv náboženstvo, a potom môže mať problém sa ho striasť, aj keď sa stretne s vedou. Naučte dieťa najprv vedu, a keď neskôr objaví náboženstvo, bude mu pripadať pochabé.
Z rovnakého dôvodu vám najprv vysvetlím správnu teóriu pravdepodobnosti, a až potom spomeniem nesprávnu teóriu.
Čo je to pravdepodobnosť? Je to miera, nakoľko je možné, že dané tvrdenie je pravdivé, za predpokladu ostatných známych vecí. Akákoľvek je vaša teória pravdepodobnosti, mala by byť v súlade so zdravým rozumom (napríklad neodporovať logike) a mala by byť v súlade sama so sebou (ak viete spočítať pravdepodobnosť niečoho dvoma spôsobmi, oba by mali dať rovnaký výsledok).
Niekoľko autorov ukázalo, že axiómy teórie pravdepodobnosti možno odvodiť z týchto predpokladov plus logiky. Inými slovami: teória pravdepodobnosti je len rozšírením logiky. Ak súhlasíte s logikou, a ak súhlasíte s uvedenými (naozaj minimálnymi) predpokladmi o tom, čo je pravdepodobnosť, potom či už o tom viete alebo neviete, súhlasíte aj s teóriou pravdepodobnosti.
Ďalším dôvodom súhlasiť s teóriou pravdepodobnosti je toto (zhruba povedané): Ak nesúhlasíte, a ak ste ochotní uzatvárať stávky ohľadom pravdivosti vašich presvedčení, potom vás niekto, kto súhlasí s teóriou pravdepodobnosti, dokáže obrať o všetky peniaze. (Dôkaz nájdete v argumentoch o Dutch Book.)
Asi najužitočnejšie pravidlo, ktoré môžeme odvodiť z axióm teórie pravdepodobnosti je Bayesova veta, ktorá nám hovorí, ako presne by sa mala zmeniť pravdepodobnosť nejakého tvrdenia, keď dostaneme novú informáciu. (V kognitívnej vede o rozumnosti sú mnohé kognitívne sklony definované podľa toho, ako porušujú buď základnú logiku alebo Bayesovu vetu.) Ak nepoužívate Bayesovu vetu na aktualizáciu svojich presvedčení, potom porušujete teóriu pravdepodobnosti, ktorá je rozšírením logiky.
Samozrejme, ľudský mozog je príliš pomalý na to, aby robil explicitné bayesovské výpočty po celý deň. Ale môžete si vytvoriť myšlienkové heuristiky, ktoré budú bayesovské výpočty napodobňovať lepšie než naše štandardné vrodené heuristiky.
Toto však nie je správne miesto na plný výklad logiky ani teórie pravdepodobnosti ani výcviku rozumnosti. Chcel som vás len zoznámiť so základnými nástrojmi, ktoré používame, aby som vám neskôr vedel vysvetliť, prečo som ohľadom Singularity došiel k jednému záveru a nie k druhému. Napriek tomu si môžete prečítať aspoň tento krátky výklad Bayesovej vety, než budete pokračovať.
Na záver vám dlhujem stručné vysvetlenie, prečo frekventizmus, čiže teória pravdepodobnosti ktorú ste sa asi rovnako ako ja učili v škole, je nesprávny. Zatiaľ čo podľa Bayesovského pohľadu je pravdepodobnosť mierou neistoty o svete, podľa frekventizmu je pravdepodobnosť „podielom výskytov udalosti v dlhej sérii opakovaných experimentov“. Spomeniem len dva z asi pätnástich problémov tejto definície:
- Frekventizmus nie je odvodený zo zákonov logiky, a nie je konzistentný. Pri frekventizme, počítanie pravdepodobnosti dvoma rôznymi metódami môže často viesť k dvom rôznym výsledkom.
- Frekventizmus neposudzuje pravdepodobnosť iba podľa toho, čo vieme, ale aj podľa dlhej série hypotetických „experimentov“, ktoré pravdepodobne nikdy neuvidíme, a ktoré sú iba hmlisto definované. Frekventizmus teda nie je empirický.
Ak je frekventizmus nesprávny, prečo je taký obľúbený? Dôvodov je veľa, sú rozoberané v tejto knihe o histórii Bayesovej vety. Každopádne: keď hovorím o teórii pravdepodobnosti, označujem tým bayesianizmus.
Teória rozhodovania
Vysvetlil som, prečo máme zákony myslenia týkajúce sa epistemickej rozumnosti (získavania pravdivých presvedčení) a odkázal som na niekoľko podrobných výkladov. Ale ako sa môžu zákony myslenia týkať inštrumentálnej rozumnosti (maximálneho dosahovania svojich cieľov)? Nie je azda to, čo chceme, subjektívne, a preto mimo akýchkoľvek pravidiel?
Áno, cieľov môžete mať hocikoľko. Ale keď príde na maximálne dosahovanie týchto cieľov, potom naozaj existujú pravidlá. Ak sa nad tým zamyslíte, malo by to byť zrejmé. Nech máte akékoľvek ciele, vždy existujú veľmi hlúpe spôsoby, ako sa ich pokúsiť dosiahnuť. Ak chcete vedieť, čo existuje, nemali by ste strčiť hlavu do piesku a odmietnuť sa pozrieť na to, čo existuje. A ak chcete dosiahnuť svoje ciele v tomto svete, pravdepodobne by ste nemali paralyzovať celé svoje telo, jedine že by paralýza bola vaším jediným cieľom.
Buďme konkrétnejší. Teória rozhodovania je o vyberaní si spomedzi možných činností na základe toho, ako veľmi túžite po možných výsledkoch týchto činností.
Ako to funguje? Môžeme opísať to, čo chcete, pomocou takzvanej funkcie úžitku, ktorá priradí číslo vyjadrujúce ako veľmi túžite po každom možnom výsledku (alebo „popise celej možnej budúcnosti“). Jedna porcia zmrzliny môže mať pre vás napríklad 40 „jednotiek úžitku“, smrť vašej dcéry -274 000 „jednotiek úžitku“, atď. Takáto číselná reprezentácia všetkého, na čom vám záleží, je vaša funkcia úžitku.
Skombinovaním vašich pravdepodobnostných presvedčení a vašej funkcie úžitku môžeme vypočítať očakávaný úžitok každej zvažovanej činnosti. Očakávaný úžitok činnosti je priemerný úžitok možných výsledkov činnosti, vážený podľa pravdepodobnosti nastania jednotlivých výsledkov.
Predstavme si, že sa prechádzate popri diaľnici so svojou malou dcérou. Na druhej strane diaľnice vidíte zmrzlinový stánok, lenže nedávno ste si zranili nohu a neviete rýchlo prejsť cez diaľnicu. Vychádzajúc z toho, čo viete, ak pošlete svoju dcéru cez diaľnicu, aby vám priniesla zmrzlinu, je pravdepodobnosť 60%, že dostanete zmrzlinu, a 5% že vaše dieťa zrazia uháňajúce autá; ďalšie výsledky majú ďalšie pravdepodobnosti.
Aby sme vypočítali očakávaný úžitok poslania vašej dcéry cez diaľnicu pre zmrzlinu, vynásobíme úžitok prvého výsledku jeho pravdepodobnosťou: 0,6 × 40 = 24. Potom k nemu pripočítame súčin úžitku ďalšieho výsledku a jeho pravdepodobnosti: 24 + (0,05 × -274 000) = -13 676. Predpokladajme, že súčet súčinov úžitkov a pravdepodobností pre ďalšie možné výsledky bol 0. Výsledný úžitok poslania vašej dcéry cez diaľnicu je teda veľmi nízky (čo sa dalo očakávať na základe zdravého rozumu). Preto by ste pravdepodobne mali zvoliť jednu z iných dostupných činností, napríklad neposlať svoju dcéru cez diaľnicu pre zmrzlinu… prípadne nejakú činnosť s ešte vyšším očakávaným úžitkom.
Rozumný agent sa snaží maximalizovať svoj očakávaný úžitok, pretože agent, ktorý tak robí, dostane v priemere najviac toho, čo chce, pri jeho daných presvedčeniach a túžbach.
Zdá sa intuitívne, že rozumný agent by mal maximalizovať svoj očakávaný úžitok, ale prečo je toto jediný rozumný spôsob, ako na to? Prečo sa nepokúšať minimalizovať najhoršiu očakávanú stratu? Prečo sa nepokúšať maximalizovať vážený súčet tretích mocnín očakávaných úžitkov?
Zdôvodnenie princípu „maximalizuj očakávaný úžitok“ objavili v 1940-tych rokoch Von Neumann a Morgenstern. V krátkosti, dokázali, že ak prijmeme niekoľko axióm o preferenciách, agent môže jednať konzistentne so svojimi vlastnými preferenciami iba tak, že si vyberie činnosť, ktorá maximalizuje očakávaný úžitok.
Aké sú to axiómy? Podobne ako axiómy teórie pravdepodobnosti, sú jednoduché a intuitívne. Jednou z nich je napríklad axióma „tranzitívnosti“, ktorá hovorí, že ak agent uprednostňuje A pred B, a uprednostňuje B pred C, potom musí uprednostňovať A pred C. Táto axióma je dôležitá preto, lebo niekoho s netranzitívnymi preferenciami možno obrať o všetky jeho peniaze tým, že mu iba ponúkate obchody, ktoré uprednostňuje.
Nepôjdem tu do podrobností, pretože tento výsledok je široko prijímaný: rozumný agent maximalizuje očakávaný úžitok.
Nanešťastie, ľudia nie sú rozumní agenti. Ako uvidíme v nasledujúcej kapitole, ľudia sú blázniví.