Сложная и хрупкая система ценностей
Мой друг Нил как-то раз попросил свою удаленную ассистентку из Индии найти ему велосипед, который можно было бы купить прямо в тот же день. Она отправила ему список велосипедов, выставленных на продажу по всему миру. Нил сказал ей: «Нет, мне нужен велосипед здесь, в Оксфорде». Она отправила ему новый список — всевелосипеды Оксфорда, в основном очень дорогие. Нил уточнил, что ему нужен дешевый велосипед. Новый список включал в себя одни детские велосипеды. Нил пояснил, что ему нужен недорогой велосипед в Оксфорде, который подошел бы взрослому мужчине. Ассистентка выслала ему список велосипедов для взрослых в Оксфорде. Сломанных.
Как правило, люди понимают друг друга немного лучше. Эволюция обеспечила нас единообразием психики, определяющим схожие пути рассуждения и схожие желания. Попросите меня подобрать вам велосипед — и я априори предположу, что вам нужен работающий велосипед, подходящий вам по росту, сделанный не из золота и т.п., даже несмотря на то, что вы всего этого не уточняли.
Однако сознание с отличающейся структурой, не развивавшееся одновременно с нами, не будет рассуждать так же, как мы. Оно не будет знать, чего делать не стоит. Как испечь пирог? «Не из кальмара. Без использования гамма-излучения. Не на радиаторе Тойоты». Список того, чего делать не стоит, бесконечен.
Многие думают, что продвинутый ИИ будет представлять собой нечто вроде супер-слуги, исполняющего любые просьбы с невероятной эффективностью. Однако ближе к истине будет вообразить Машину Результатов, неразумный механизм, заставляющий какие-то результаты выпадать с большей, а какие-то — с меньшей вероятностью. (Тем не менее, Машина Результатов вовсе не волшебная. Если вы потребуете слишком маловероятного результата, она сломается).
Представьте, что ваша мать заперта в горящем доме. Вы в инвалидном кресле и не можете ей помочь. Но! у вас есть Машина Результатов:
«Вытащи мою маму из дома!» — кричите вы и нажимаете Enter.
Сперва ничего не происходит. Вы оглядываетесь в ожидании пожарного фургона — или даже просто сильного и быстрого спортсмена, появившегося, чтобы спасти маму…
БУМ! С гремящим ревом газопровод под домом взрывается. И пока здание рушится, вы будто в замедленном действии наблюдаете, какразорванное на куски тело вашей матери взмывает в воздух, с большой скоростью удаляясь от того, что недавно было центром горящего дома.
К счастью, у Машины Результатов есть кнопка отмены, отматывающая время назад. Вы жмете ее и повторяете попытку: «Вытащи мою маму из дома, не взрывая газопровод», говорите вы и нажимаете Enter.
Мама выпадает из окна и ломает шею.
Предприняв еще дюжину попыток, вы говорите Машине Результатов:
В ближайшие десять минут, не нанося моей матери (существу женского пола, обладающему набором генов, наполовину идентичным моему, и произведшему меня на свет) никаких физических или психических повреждений, измени ее положение в пространстве так, чтобы она сидела рядом со мной.
Вы видите, как вся пожарная бригада вбегает в здание. Одному из пожарных удается быстро найти вашу маму и вынести ее издома. Все остальные погибают или получают неизлечимые травмы. Удачливый пожарный сажает вашу мать на стул и оборачивается, чтобы увидеть своих мертвых и искалеченных товарищей. Ваше желание исполнено, но вряд ли вы получили то, чего хотели.
Дело в том, что ваш мозг просто не в состоянии сформулировать все детали и особенности ваших желаний. Почему вы решили, что хотите спасения вашей матери и ее доброго здравия без убийства дюжины пожарных? Вовсе не потому, что держите где-то в голове мысль «Хочу, чтобы моя мать была спасена без убийства дюжины пожарных». Все было так: вы увидели, как ваша мать спасается, но при этом гибнут люди, и подумали: «Черт, этого я не хотел». Или вы могли вообразить именно такой ход развития событий и понять, что такого вам не нужно. Но перед самими событиями — или перед тем, как вы их вообразили — нигде в вашем мозгу ничего не было прописано так детально. И не могло быть — ваш мозг на это неспособен.
Но вы же не можете позволить себе сидеть с Машиной Результатов в руках и воображать все возможные варианты развития событий, отбрасывая неподходящие. Ваша мать погибнет гораздо раньше, чем вы найдете подходящий вариант.
Что, если она разобьет голову, но тело не пострадает? Что, если пострадает тело, а с головой все будет в порядке? А если подогнать бригаду специалистов-криоников, чтобы они позаботились о голове? Является ли замороженная голова личностью? Можно ли назвать Терри Шайво личностью? Сколько стоит шимпанзе?
Но наш мозг все же не бесконечно сложен. Существует некое конечное количество утверждений, способных описать систему, определяющую ваши суждения. Если бы мы понимали, как работает каждый синапс, нейротрансмиттер и белок мозга, и обладали бы полной картой именно вашего мозга, тотогда ИИ мог бы — по крайней мере, теоретически — вычислить ваше суждение о конечном числе возможных исходов дела.
Мораль истории в том, что невозможно загадать безопасное желание, не подключив всю систему человеческих ценностей:
Существует слишком много возможных временных линий. Вы не в состоянии вообразить все дороги, по которым [Машина Результатов] может привести вас к заданной точке назначения. «Максимизировать расстояние между вашей матерью и центром дома» можно очень эффективно, запустив ядерную ракету… Или, оперируя на самом высоком доступном уровне разумности, Машина Результатов может сделать что-нибудь такое, чего ни вам, ни мне не вообразить — как шимпанзе никогда не подумает о запуске ядерной ракеты. Вы не в состоянии вообразить всевозможные пути к достижению цели, вы не можете даже запрограммировать компьютер для игры в шахматы, отдельно прописывая код для каждой возможной комбинации фигур на доске.
А ведь реальная жизнь куда сложней шахмат. Невозможно предугадать, какая из ценностей будет превалирующей при оценке того хода развития событий, который выберет Машина Результатов. Особенно если ваше желание более многостороннее и протяженное, чем спасение матери из горящего дома.
…Единственным безопасным [ИИ может быть только ИИ], разделяющий все ваши ценности; и в таком случае можно будет просто сказать «Хочу, чтобы ты сделал то, чего бы мне хотелось».
Существует ряд дилетантов, каждый из которых предлагает Один Простой Закон, могущий заставить ИИ делать то, что нам нужно. Ни один из них работать не будет. Мы действуем не только во имя счастья или удовольствия. Наши ценности невероятно сложны. Эволюция развила в нас тысячи мельчайших желаний и стремлений. (Чтобы увидеть, в какой бардак это приводит нашу нервную систему, читайте первые две главы «Неврологии выбора и предпочтений» (Neuroscience of Preference and Choice)
По этой же причине философы этики провели тысячи лет, снова и снова совершая неудачные попытки создать простой набор законов, при соблюдении которых мы бы получили мир мечты. Каждый раз, как кто-то предлагает простой набор этических принципов, кто-то другой указывает на дыры в нем. Опустите что-нибудь, даже что-то, казалось бы, совсем тривиальное, и все пойдет прахом:
Подумайте о такой невероятно важной человеческой черте, как «скука» — наше нежелание выполнять одно и тоже действие снова и снова. Представьте себе разум, обладающий почти полным набором человеческих качеств, почти всеми ценностями и подценностями, но без одной-единственной скуки — и по этой причине проводящий все свое время, проигрывая один-единственный, зато предельно оптимизированный опыт, снова и снова.
Или представьте разум, обладающий почти полным списком чувств, которые в наибольшей степени доставляют людям удовольствие — но не понимающий, что для этих чувств необходимы внешние причины. И он будет бездельничать, чувствуя при этом, будто совершил великое открытие, чувствуя, будто нашел идеального любовника, чувствуя, будто помог другу, но на самом деле ничего этого не делая, становясь самим для себя машиной наслаждений. Если бы этот разум стремился и к чувствам, и ктому, что их вызывает, все было бы замечательно; однако поскольку этот конкретный аспект упущен, существование такого разума становится скучным. Монотонным и зацикленным, ибо несмотря на то, что этот разум будет ощущать исполненные невероятной новизны переживания, эти переживания будут абсолютно ложны.
Или представьте машину, которая, напротив, наделена всем спектром человеческих качеств кроме чувственной оценки пережитого опыта. Такая машина будет бездумно стремиться к результату, который не будет оценен и не принесет радости — ее некому будет чувствовать…
Качества и ценности не просто сложны, они хрупки. Будущее пойдет прахом, если будет упущена хотя бы одна деталь из тысячи тысяч. Легкое дуновение — и все разваливается на куски. Да, не каждому ветерку под силу разрушить всю систему ценностей и качеств — но способных на это множество.
Думаю, уже понятно, куда я веду: так как мы так и не смогли разобраться в человеческой системе ценностей, неясно, какие из них передавать ИИ и какими качествами его наделять. Мы не знаем, чего желать. Если мы изобретем сверхразумный ИИ уже завтра, мы сможем передать ему только лишь ужасающе неполную систему ценностей, и он так и будет делать вовсе не то, чего бы нам хотелось, исполняя наши пожелания.
Прямо сейчас нам известно, как создать ИИ, настроенный на что угодно, кроме верного исполнения наших желаний. Мы знаем лишь, как создать ИИ, представляющий опасность. Хуже того — механизмы создания безопасных ИИ мы изобретаем куда медленней, чем механизмы создания мощных ИИ, так как в исследования увеличения способностей ИИ вкладывается гораздо больше средств, чем в исследования повышения его безопасности.
Время идет. ИИ уже почти здесь. А мы не готовы.