Моя история
Когда-нибудь, уже в этом столетии, машины превзойдут человека в плане интеллекта и возможностей. Это событие, уже получившее название «Сингулярность» станет самым важным в нашей с вами истории, а мудрое управление этим событием будет самым важным, что суждено нам когда-либо сделать.
Многие светлые умы, от Алана Тьюринга (Alan Turing) и Джека Гуда (Jack Good) до Билла Джоя (Bill Joy) и Стивена Хокинга (Stephen Hawking), предупреждали нас об этом. И это событие не зависит от того, насколько распространено особое мнение Рэя Курцвейла (Ray Kurzweil) о Сингулярности как об «ускоряющихся изменениях». Почему я считаю, что Хокинг и компания правы? Что нам стоит предпринять по этому поводу?
Статья, озаглавленная «Перед лицом Сингулярности», представляет собой мою попытку ответить на эти вопросы.
Немного о себе
Начну с рассказа о себе. Он поможет понять, кто я и откуда взялся. Эта информация — небольшое разъяснение, которое поможет вам понять, как реагировать на остальные мои высказывания.
Когда мои религиозные верования окончательно спасовали перед реальностью, я пересмотрел свои взгляды и начал вести блог, в котором пытался объяснить остальным, что такое атеизм и натурализм. «Об атеизме простыми словами» («Common Sense Atheism») стал одним из самых популярных блогов, посвященных атеизму. Мне нравилось переводить статьи профессиональных философов на простой английский язык, и мне нравилось разговаривать с экспертами в данной области для создания своего подкаста «Беседы на Бледно-Голубой Точке» («Conversations from the Pale Blue Dot»). Кроме того, отказавшись от веры, я отказался от идей касательно того, во что мне следует теперь верить и каким образом мне теперь следует выстраивать свою жизнь; поэтому я использовал свой блог для поиска ответов на эти вопросы.
Я также интересовался рациональностью — по крайней мере, с тех пор, как отказался от религии. В то время я обнаружил, что без проблем могу уверовать во что-то, не имея никаких свидетельств в его поддержку, в вещи, ложность которых была показана — я мог поверить даже в абсолютную чепуху. Как может человеческий мозг быть введен в такое невероятное заблуждение? Очевидно, я не был «рациональным животным» по Аристотелю. Напротив, я был рационализирующим животным по Газзаниге. Критическое мышление было основой блога «Об атеизме простыми словами», и на критику обедненного мышления среди атеистов я потратил столько же времени, сколько на критику такого же мышления у верующих.
Интеллектуальный взрыв
Мой интерес к рациональности неизбежно привел меня (кажется, где-то в середине 2010 года) к сокровищнице статей по основным научным вопросам, касающимся изучения и познания рациональности — это был сайт «Менее неправ» («Less Wrong»). Именно там я впервые познакомился с идеей интеллектуального взрыва, как его описывал И. Дж. Гуд (I.J. Good):
Машина, обладающая сверхразумом, — это такая машина, которая может значительно превзойти любого, сколь угодно умного человека, в любой умственной деятельности. Поскольку создание машин является одним из видов умственной деятельности человека, то машина, обладающая сверхразумом, сможет создавать еще более совершенные машины, что, несомненно, приведет к так называемому «интеллектуальному взрыву», а человеческий разум, при этом, останется далеко позади… Таким образом, первая машина, обладающая сверхразумом, станет последним изобретением, которое когда-либо потребуется совершить человеку.
Я описал свое первое знакомство с этим известным изречением здесь. Если говорить коротко, то:
Меня как будто молнией ударило от озарения, которое пришло после прочтения этого абзаца Гуда. И не потому, что его содержание было абсурдным, а как раз потому, что оно абсолютно верно. Интеллектуальный взрыв представлял собой прямое следствие того, во что я уже верил, я просто не замечал этого! Люди не могут распространять свои убеждения автоматически, поэтому я и не замечал, что мое мировоззрение уже подразумевало этот интеллектуальный взрыв.Неделю я провел в поисках каких-либо контраргументов, чтобы проверить, не упускаю ли я что-нибудь из виду, а затем я принял теорию интеллектуального взрыва как правдоподобную (при условии, что научный прогресс будет продолжаться). И, несмотря на то, что я в то время еще не читал работы Элиезера (Eliezer S. Yudkowsky) о сложности ценностей, я уже прочитал Дэвида Юма (David Hume) и Джошуа Грина (Joshua Green). Таким образом, я уже понял, что произвольный искусственный разум практически наверняка не разделяет наши ценности.
Это в один миг изменило мою жизнь.
Я отложил все свои прочие проекты и провел месяц за чтением всего, когда-либо написанного Элиезером. Я также нашел статьи Ника Бострома (Nick Bostrom) и Стива Омохундро (Steve Omohundro). Я начал писать статьи для сайта «Менее неправ» и узнавать новое от этого сообщества. Я подал заявку в программу для приглашенных ученых в институте Сингулярности — и меня приняли. Я оставил свою работу в Лос-Анджелесе, переехал в Беркли, работал там, как проклятый. Меня приняли в штат, и я начал собирать данные исследований, касающихся рациональности и интеллектуального взрыва.
Как сказал однажды мой друг Уилл Ньюсам (Will Newsome): «У Люка, кажется, сразу два гена, отвечающих за серьезное восприятие новых идей».
Фанатизм?
Конечно, то, что некоторые люди называют «серьезным восприятием серьезных идей», другим видится как врожденная склонность к фанатизму. Полагаю, я мог бы прочитать следующий отзыв на эту тему:
Я не удивлен. Люк вырос, веря, что на него возложена некая космическая миссия по спасению человечества до того, как наступит второе пришествие и конец света. Он потерял свою веру, и вместе с ней — смысл всей жизни. Его страх перед нигилизмом сделал его восприимчивым к соблазну чего-то, что было похоже на моральный реализм… и его потребность в новом смысле в жизни заставила его поддаться соблазну идеологии сторонников Сингулярности.
В ответ я мог бы просто сказать, что все это лежит в плоскости психологии и не имеет отношения к свидетельствам, которые я сейчас использую в защиту теории интеллектуального взрыва. Это верно, но давайте посмотрим еще раз: правдоподобные факты факты, касающиеся моей психики, действительно предоставляют некоторые байесианские свидетельства касательно того, как вам следует реагировать на то, что я здесь пишу.
Другим вариантом моего ответа могла бы быть попытка объяснить, почему я считаю, что это не совсем то, что случилось со мной, хотя некоторые элементы этой истории, несомненно, верны. (Например, я не припоминаю ощущения, что возвращение Христа неминуемо, или что я выполняю какую-то космическую миссию и должен спасти каждую душу, хотя, будучи евангельским христианином, я придерживался этих убеждений в силу своей веры. Но меня, несомненно, привлекают «эпические» вещи, наподобие рок-группы Muse и кинофильма «Аватар».) Но я не хочу, чтобы эта статья еще больше концентрировалась на вопросах моей психики.
Есть и третий вариант ответа. Я мог бы укрыться за эффектом социального доказательства. Среди читателей блога «Об атеизме простыми словами», похоже, имеется класс тех тех, кто читает мои статьи столь внимательно, что они начали испытывать сильное уважение к моей истинной приверженности интеллектуальной честности перед самим собой и к способности переменить точку зрения, когда я оказываюсь не прав. Поэтому, когда я начал писать о сингулярности, они подумали: «Ну, я раньше считал, что вся эта сингулярность — не больше, чем бред сумасшедшего, но раз Люк относится к ней серьезно, то, возможно, в ней есть что-то, о чем я просто не знаю.» И эти читатели последовали за мной на сайт «Менее неправ», где я сейчас регулярно публикуюсь. Я также отмечу, что значительной причиной того, что меня сделали исполнительным директором института сингулярности после того, как я столь мало времени проработал в этой организации, явилось то, что сотрудники института смогли увидеть мою истинную приверженность рациональности и преодолению предвзятости, смогли убедиться в том, что я могу искренне сказать «Ой!» и изменить свою точку зрения, что я всегда реагирую на доводы и аргументы, и что я как можно чаще стараюсь действовать в соответствии с обоснованными решениями, а не иду на поводу у привычек и эмоций, как мне иногда хотелось бы.
Разбирая свои возможные ответы на обвинения в фанатизме, я уже воздвиг что‑то, похожее на защитную стратегию. Но пока я остановлюсь на этом. Я хочу, чтобы люди воспринимали мои слова с приличной долей скептицизма. Ведь, в конце концов, я — всего лишь человек. Но я надеюсь, что мои читатели примут во внимание не только мою принадлежность к человеческом виду, но и силу аргументов и доказательств, касающихся пришествия машинного сверхразума, которые я представлю позднее.