Интеллектуальный взрыв

Представьте, что вы — бестелесный дух, наблюдающий за развитием вселенной. На протяжении первых 9 миллиардов лет почти ничего не происходит.

Боже, как же скучно! — жалуетесь вы.
Отчего же? — спрашивает ваш товарищ.
Ни в чем нет ни глубины, ни сложности, поскольку всебесцельно. Ничто ни для чего не оптимизировано. Нет сюжета. Происходящее – просто мешанина из дурацких случайностей. Хуже «Сайнфелда».
Правда? Смотри, а что вон там?

Вы смотрите туда, куда указывает ваш товарищ, и замечаете крохотную молекулу в водоеме на поверхности каменистой планеты. Прямо на ваших глазах она создает своюкопию. А потом еще одну. А копии начинают делать свои копии.

Репликатор! — восклицаете вы. — Через пару месяцев тут будут миллионы этих штуковин.
Интересно, получится из этого утконос?
Что такое «утконос»?

Товарищ детально описывает вам функциональную сложность утконосов, на которых он натыкался во Вселенной 217.

Чепуха! При том уровне оптимизации, что мы тут наблюдаем, тепловая смерть Вселенной наступит гораздо раньше, чем из этого хаоса по чистой случайности могли бы возникнуть какие-то там утконосы.

Но вскоре вы замечаете нечто куда более важное: некоторые копии неточны. Копии осваивают пространство вариантов. Иногда появляются более успешные репликаторы, они производят больше своих копий, и продолжают развиваться.

Следующая пара миллиардов лет предоставляет вам самое захватывающее зрелище из тех, что вам приходилось видеть до сих пор. Простые репликаторы развиваются до простейших организмов, те порождают сложные жизненные формы, появляется мозг, и, наконец, род приматов под названием Homo— люди.

Сперва люди выглядят как большинство других животных, обладающих мозгом. 99% их ДНК идентично ДНК шимпанзе. Поначалу вы не ждете от человеческого мозга многого — может, он и достигнет 50-процентного увеличения скорости оптимизации, но не более. В конце концов, тут уже много миллионов лет околачивались животные с мозгами, развивавшимися понемножку, без особых прорывов.

Но затем события начинают происходить одно за одним, одно приводит к другому. На ваших глазах люди умнеют настолько, что осваивают земледелие, благодаря чему переходят на оседлый образ жизни и изобретают торговлю, благодаря чему появляется письменность — для отслеживания долгов. Кроме того, сельское хозяйство дает излишки продуктов, что делает возможным разделение труда, профессиональную специализацию, что позволяет людям концентрироваться на других задачах, помимо добывании еды и размножения. Появление профессий обеспечивает развитие науки и технологий, а те приводят к космическим полетам и АйФонам.

Разница между людьми и шимпанзе показывает, что может сделать пара измененных когнитивных алгоритмов. В данном случае, однако, создателем алгоритмов выступала всего лишь бездумная слепая эволюция. Осмысленные действия с капелькой дальновидности могут преодолевать пространство вариантов более эффективно. Обычный программист за один день может создавать новшества, которые эволюция не создала бы и за миллиарды лет.

Однако в общем и целом люди еще сами не разобрались ни с тем, как работают их собственные когнитивные алгоритмы, ни с тем, как их можно было бы изменить. И компьютеры, которые мы программируем, в свою очередь также не понимают, как работают их алгоритмы (в большинстве своем). Но когда-нибудь они будут понимать.

Это означает, что в будущем образуется положительная обратная связь, которой не было в прошлом:

Эвриско способен изменить некоторые из своих метаалгоритмов так, чтобы те работали значительно лучше, и даже смогли бы произвести пару дальнейших модификаций сами над собой; но вскоре машина выдохнется, процесс заглохнет.

Саму эту машину создал человеческий разум. Ее способность к оптимизации гораздо ниже, чем у самого человека — она настолько низка, что уже после пары незначительных самоулучшений процесс останавливается. Что еще хуже, ее оптимизация на любом уровне ограничена лишь малым набором возможностей, которые могут быть использованы лишь единожды; ее ресурсы исчерпываются исключительно быстро.

…Построив первый ИИ, мы получаем лишь зародыш — если ему нужно улучшить себя, он почти мгновенно глохнет. Вы подталкиваете его, используя свой собственный разум и знания — не получая таким образом никакой выгоды. Перед вами стандартная система, в которой человеческие знания увеличиваются за счет самих себя, а открытия порождают новые открытия. Однако в какой-то момент ИИ становится достаточно сложным, чтобы быть в состоянии действительно улучшить свою работу — не просто сделать пару мелких дополнений, а перейти на новый уровень, произвести такие улучшения, что они начнут порождать все новые и новые улучшения… Тут-то мы и подходим к тому, что И.Дж. Гуд (I. J. Good) назвал «интеллектуальным взрывом»…

…после чего ИИ оставляет человеческие возможности далеко позади.

К тому моменту мы ничем не будем отличаться от шимпанзе, наблюдающих за тем, как свежеиспеченные «люди» покоряют огонь, осваивают земледелие, изобретают письмо, науку, ружья и вертолеты и покоряют мир. И так же, как шимпанзе в свое время, мы будем не в том положении, чтобы выдвигать свои условия превосходящим нас по разуму. Наше будущее будет зависеть от их прихоти.

Следующая глава →