Не созданы для размышлений об Искусственном Интеллекте

В фильмах про Терминатора искусственный сверхразум Скайнет выходит из-под контроля, уничтожает миллионы людей и отправляет в прошлое робота-убийцу, чтобы вычистить остатки человеческого сопротивления. Звучит паршиво, но программист Ebay Киф Родершаймер на передаче на Национальном Радио, посвященной Сингулярности, объяснил, что создание настоящего машинного сверхразума приведет к еще более устрашающим последствиям.

— Хуже, чем в «Терминаторе»?, — спрашивает ведущий Мартин Кейст.

— Гораздо, гораздо хуже.

— Выжженная земля, сгоревшие здания и люди, прячущиеся под их обломками от лазерных пушек. Куда уж хуже?

— Все люди мертвы.

Почему он так считает? По той причине, что какие бы цели не стояли перед ИИ — будь то подтверждение гипотезы Римана или максимизация производства нефти — «ИИ вас не любит, впрочем, и не ненавидит, но вы созданы из атомов, которым можно найти другое применение». И когда искусственный сверхразум заметит, что мы не склонны отдавать наши атомы под «другое применение», а посему представляем собой угрозу для ИИ и его целей, у него появится причина уничтожить нас так быстро, как только возможно — и так, чтобы не позволить никаким группкам отважных героев увидеть его слабости и дать им шанс на победу… Нет. Для большинства возможных целей ИИ, как можно более продуманное уничтожение угрожающих этим целям людей максимизирует ожидаемую полезность ИИ.

Давайте начистоту: есть способы попроще уничтожить человечество, чем отправка в прошлое человекоподобного робота, ходящего по земле и, похоже, получающего удовольствие от швыряния людей в стенки — вместо простого и быстрого сворачивания шеи. Если бы атака происходила внезапно, одновременно по всему миру, приводила к скорейшей смерти и исключала возможные контрмеры, это было бы более эффективно. Почему бы, например, не использовать все ресурсы сверхразума на разработку очень заразного, передающегося воздушно-капельным путем смертельного супервируса? В 1918 году Испанский грипп убил 3% населения Земли — и это еще до того, как распространились воздушные путешествия (распространяющие заболевания по всей планете), и к разработке этого вируса не был подключен никакой разум. Добавьте капельку разума, и вы получите команду голландцев, работающую над штаммом птичьего гриппа, «способном прикончить половину человечества». Сверхразум же может создать что-то еще более опасное. Или ИИ может закопать себя под землю или катапультироваться в космос и перебить нас всех с помощью уже существующих технологий — используя пару тысяч ядерных боеголовок.

Суть не в том, что оба этих сценария весьма вероятны. Я просто пытаюсь объяснить, что реальная ситуация вряд ли сможет стать хорошей основой для литературного сюжета. Как подытожил оксфордский профессор философии Ник Бостром:

Когда вы в последний раз видели фильм о внезапном вымирании человечества — без предупреждения и без последующего появления новой цивилизации?

Сюжет интересней, если победа может быть одержана как одной, так и другой стороной. «Властелин Колец» не был бы таким популярным, если бы Фродо поступил логично и сбросил кольцо в Ородруин со спины гигантского орла. Да и если бы люди внезапно проиграли, интересной истории тоже не вышло бы.

Думая об искусственном интеллекте, мы не должны основывать рассуждения на культурном опыте. К сожалению, наш мозг делает это автоматически.

В известном исследовании 1978 года опрашиваемым предлагали указать, какая из двух названных бед случается чаще. Опрашиваемые считали, что автокатастрофы уносят примерно столько же жизней, сколько болезни, и что преднамеренное убийство происходит чаще самоубийства. На самом же деле, заболевания убивают в шестнадцать раз больше людей, чем автокатастрофы, а самоубийства происходят в два раза чаще преднамеренных убийств. Так почему опрашиваемые дали такой ответ?

Десятки исследований по эвристике доступности (availability heuristic) выдвигают предположение, что мы определяем частоту или возможность события, основываясь на том, как быстро оно приходит на ум. Этот механизм мышления не так уж плох — он развился и помогал нам еще тогда, когда мы не могли посмотреть реальную статистику в Википедии или определить действительную вероятность с помощью Теоремы Байеса. Он удобен, быстр и часто оказывается прав.

Но, как и с многими другими благоприобретенными когнитивными механизмами, эвристика доступности часто ошибается. Автокатастрофы живописней болезней, и потому быстрей приходят в голову, заставляя нас переоценивать их частоту. То же самое — с убийствами и самоубийствами.

Эвристика доступности также объясняет, почему люди считают, что перелеты опасней поездок на машине, хотя на самом деле все наоборот: крушение самолета всегда живописней и широко обсуждается, так что оно скорей приходит на ум, и мозг обманывает сам себя, принимая доступность события в памяти за его вероятность.

Что делает ваш мозг, когда вы размышляете об ИИ? Скорее всего, вспоминает все примеры искусственного сверхразума, с которыми вы сталкивались — которые, ко всему прочему, все до одного вымышленные — и оценивает возможность того или иного развития событий, основываясь на сопоставлении с наиболее быстро приходящими в голову сюжетами. Другими словами, «моментально вспоминающиеся примеры из фантастики начинают думать за вас».

Таким образом, если у вас есть предположения о возможном искусственном сверхразуме, скорее всего, оно основано на вымысле, и вы этого даже не осознаете.

Вот почему я начал «Перед лицом Сингулярности» с разговора о рациональности. Как только мы начинаем думать об ИИ, мы сразу же проваливаемся в дебри распространенных ошибок мышления. Основание рассуждений на культурном опыте — одна из таких ошибок. Вот еще несколько примеров:

Благодаря эвристике доступности ваш мозг говорит вам, что уничтожение человечества искусственным интеллектом очень маловероятно, потому что вы никогда не сталкивались с подобным раньше. Более того, даже когда дела идут так плохо, как, допустим, в фильмах про инопланетное вторжение, парочка отважных героев всегда под конец находит способ победить.
Так как мы склонны переоценивать вероятность связанных событий и недооценивать вероятность событий несвязанных (проведено исследование), мы склонны переоценивать вероятность позитивного развития событий с ИИ, потому что произойдут X, Y и Z, и склонны недооценивать негативное развитие событий, потому что существует множество вариантов, не зависящих от других событий, при которых изобретение ИИ может плохо кончится.
Благодаря эвристике привязки и подгонки, ваши рассуждения будут цепляться к очевидно иррелевантной информации (число, выпадающее на колесе фортуны определит вашу догадку о количестве стран в Африке). Даже не смотря на то, что я только что писал, насколько пример «Терминатора» неважен при размышлении о будущем ИИ, ваш мозг будет стремиться привязать все к «Терминатору» и затем отодвинуть его в сторону, но все равно недостаточно далеко.
Благодаря эвристике аффекта мы судим о вещах, основываясь на наших эмоциях по отношению к ним. Нам по душе красивые люди, поэтому мы предполагаем, будто они умны и трудолюбивы. Нам по душе разумность, поэтому мы будем ожидать от разумной машины благожелательности (и зря).
Благодаря нечувствительности к размерам выборки мы не будем стремиться спасти десять миллиардов человек скорее, чем десять миллионов.

Очевидно, мы не были созданы, чтобы размышлять об ИИ.

Чтобы разумно рассуждать об ИИ, нам придется отслеживать и активно пресекать множество распространенных ошибок мышления. Нам придется применять скорее законы мышления, чем обычное человеческое безумие, чтобы думать об ИИ.

В общем и целом, машинный сверхразум сможет привнести в наш мир очень многое, и нам очень бы хотелось «победить», а не «проиграть» в ситуации с искусственным интеллектом. Правильно применяемая техническая рациональность — это система оптимальных выигрышей, это система, которую будет использовать безупречный ИИ чтобы добиться как можно большего. Так что если мы хотим победить в ситуации с ИИ, нам нужно использовать рациональность.

Этим мы и начнем заниматься в следующей главе.

Следующая глава →