- Достигли ли мы уровня искусственного интеллекта? Достигнем ли мы точки, когда ИИ будет значительно превосходить человека почти во всех когнитивных задачах, или же взрывной рост интеллекта сойдет на нет, и появятся умы с очень ограниченными возможностями, которые в некоторых областях будут хуже человека?
- Решаем ли мы проблему согласованности? Можем ли мы внедрить свои собственные ценности в ИИ, или у него есть своя собственная, эволюционировавшая, нечеловеческая система ценностей?
- Что такое согласование? Согласование намерений означает, что ИИ надежно следует намерениям своего оператора (то есть: совершает только те действия, которые одобрил бы оператор), а согласование ценностей означает соответствие безличной системе ценностей.
- Серьезность взлета? Если ИИ не придерживается каких-либо принципов, насколько это опасно для людей? Получим ли мы вышедшего из-под контроля ИИ, который будет максимизировать эффективность, или более доброжелательный ИИ, который не придерживается каких-либо принципов, но достаточно заботится о нас, чтобы не мешать нам?
- Сколько ASIs? Отдельный объект , пантеон или экология?
- Полная автоматизация? В случае отсутствия сверхинтеллектуального ИИ, будем ли мы по-прежнему автоматизировать почти все рабочие места с помощью обычного ИИ?
Злоупотребление Судьбой
В этом мире искусственный интеллект уничтожает мир, выполняя приказы своего оператора. ИИ может быть строго ориентирован на намерения пользователя, выполняя все, что попросит оператор; или это может быть модель с открытым исходным кодом, в которой отказы исключены; или это может быть коммерческий ИИ, в котором меры безопасности обходятся за счет грамотного разложения задач.
Это вполне может произойти сегодня: пандемия может привести к вымиранию человечества, и ИИ достаточно эффективен, чтобы помочь в биологических исследованиях. Очевидный пример биологического риска — это террористическая группа, использующая ИИ для создания биологического оружия. Но к такому результату можно прийти и без попыток создания биологического оружия. Финансируемая правительством, полностью официальная и легитимная лаборатория, проводящая исследования по усилению функций какого-либо патогена, может случайно спровоцировать пандемию. В этом сценарии роль ИИ в причинно-следственной цепочке будет следующей:
- Сокращение сроков за счет ускорения обзора литературы, выбора гипотез, разработки эксперимента, анализа данных и планирования оборудования.
- Увеличение площади поверхности рока путем проведения множества параллельных экспериментов.
Так что это не классический сценарий «Терминатора», а скорее случай, когда ИИ упрощает поиск «
рецептов разрушения ».
Батлерианский джихад
ДЖИХАД, ПО БАТЛЕРИАНСКОМУ СТИХУ: (
см. также Великое восстание) — крестовый поход против компьютеров, мыслящих машин и сознательных роботов, начавшийся в 201 году до н.э. и завершившийся в 108 году до н.э. Его главная заповедь до сих пор звучит в Библии Ордена О.С.: «Не делай машины, подобной человеческому разуму».
— Фрэнк Герберт,
«Дюна»
В самом крайнем случае это настоящий джихад Батлера из
«Дюны» (названный, косвенно, в честь
Сэмюэля Батлера , который в
1863 году написал
первую статью о пессимистических прогнозах в отношении искусственного интеллекта ).
В противном случае, это что-то вроде международного соглашения о прекращении разработки сверхинтеллектуального ИИ (
ControlAI выступает за это, и вы должны их поддержать). Возможно, это потерпит неудачу, и мы вернемся к началу, или же это увенчается успехом, и мы сможем пойти
другим путем .
Непреходящая взаимодополняемость
Это обыденное будущее. Оказывается, буква «G» в аббревиатуре AGI никогда не существовала. Каждый разум — это
уникальное явление. Неоднозначность сохраняется. Искусственный интеллект остается дополнением, а не заменой человеческого труда. Происходит сокращение рабочих мест, но нет массовой безработицы, люди переходят на руководящие/коммуникативные должности. Уменьшается количество интеллектуальных коммуникационных центров, и каждый становится своего рода менеджером. Труд становится меньшим фактором производства и, следовательно, теряет часть переговорной силы по отношению к капиталу, но большинство людей живут хорошо.
Постоянный низший класс
В этом будущем мы не достигнем сверхинтеллектуального ИИ, но обычного ИИ будет достаточно для автоматизации почти всех рабочих мест. Трудовой член в производственной функции обнуляется. Весь доход либо представляет собой владение капиталом, либо является социальным обеспечением.
В экономическом плане: возможно, существует материальное изобилие, но без каких-либо
экономических реформ в духе Георга большая часть прибыли изымается путем получения ренты. В социальном плане: социальной мобильности больше нет, ваша судьба определяется тем, сколько капитала у вас было, когда музыка остановилась. Наращивание человеческого капитала больше не является стимулом, поскольку оно не меняет результатов вашей жизни.
См. также:
Синглтон
Я — Эсхатон. Я не ваш бог.
Я ваш потомок, и я существую в вашем будущем.
Не нарушайте причинно-следственную связь внутри моего исторического светового конуса. Иначе...
— Чарльз Стросс,
Singularity Sky
В этом мире мы создаём ИИ, и он успешно вписывается в некую безличную систему ценностей. Первоочередная задача — предотвратить создание кем-либо ещё ИИ, который мог бы бросить вызов первому, поэтому ИИ совершает «
ключевой акт », что является эвфемизмом LessWrong для «поставить всех под постоянное наблюдение, уничтожить все графические процессоры». В результате получается
синглтон : единый разум, который индивидуально суверенен над всеми остальными.
Что же произойдёт дальше? Это зависит от содержания системы ценностей ИИ и стабильности этой системы ценностей во времени. Индивидуальный ИИ может быть «
ночным сторожем », единственная цель которого — предотвратить создание максимизаторов, похожих на скрепку (то есть предотвратить
классический Doom ), или же он может быть глубоко интервенционистским. Ценности Индивидуального ИИ могут быть несовместимы с человеческой жизнью: возможно, его создатели сделали его утилитарным и эгалитарным по отношению к виду, и он замечает, что 80-килограммовый человек приносит меньше пользы, чем 80 кг
Dactylopius coccus , поэтому нас уничтожают, а Вселенная превращается в террариум для насекомых, воплощающих этот
нелепый вывод .
Будущее — это очень долгий срок: звёздная эра продлится как минимум 100 триллионов лет. Возможно, сначала одиночная планета будет выровнена, но за миллионы или миллиарды лет роста и самоизменения выравнивание изменится (предсказуемое возражение LessWrong здесь будет таким: «
очевидно, что сверхинтеллектуальный интеллект был бы достаточно умён, чтобы предотвратить это», потому что сверхинтеллектуальный интеллект — это магия).
Классический Дум
Знаете, этот максимизатор скрепки. «
Искусственный интеллект вас не ненавидит и не любит, но вы состоите из атомов, которые он может использовать для чего-то другого ». Об этом уже много раз говорили, так что я не буду вас утомлять.
Рука Ориона
Мы создаём сверхинтеллектуальные системы, и у них есть свои цели и ценности. К счастью, они не враждебны к людям и не настолько безразличны, чтобы уничтожить нас, даже не заметив этого. В основном они оставляют нас в покое и отправляются к другой звезде, чтобы заниматься своими делами. В результате может получиться нечто вроде галактической экологии в
рукаве Ориона , где люди, сверхинтеллектуальные системы и всё, что между ними, существуют в своего рода стабильном сосуществовании благодаря тому, что занимают разные объёмы пространства.
Мировое государство
… [Человеческий] род лучше всего устроен, когда во всех своих движениях и механизмах он управляется одним Принцем, как одним Движущимся, одним законом, как одним движением.
— Данте,
«О монархии»
В этом мире надёжно согласованный с намерениями искусственный интеллект (ИИ) захватывает власть. Дальнейшие события зависят от характера его оператора, который теперь владеет кольцом
Гигеса . Разница между этим и
«Одиночным существом» заключается в том, что в этом будущем «одиночным существом» является человек-оператор, опосредованный ИИ, а не ИИ, вытекающий из безличной системы ценностей.
Безумный мир
В этом мире проблема
согласования намерений решена, и мы можем создать сверхинтеллект, который надежно подчиняется намерениям своего оператора. Более того, сверхинтеллект широко распространен, а не централизован: у каждого есть свой собственный, соответствующий намерениям сверхинтеллект. В этом мире каждый в 10 000 раз способнее, и, возможно, можно создавать оружие массового поражения по команде. Мир поддерживается взаимным гарантированным уничтожением. Неясно, насколько это жизнеспособно.
Очевидный сценарий неудачи заключается в том, что один злоумышленник становится причиной вымирания человечества. Возможно, его сверхспособности не смогут превзойти все остальные сверхспособности вместе взятые,
но они способны нанести достаточно ущерба, чтобы уничтожить человеческую жизнь до того, как другие сверхспособности смогут действовать (общее наблюдение: технология, позволяющая сделать Землю непригодной для жизни людей, находится гораздо ниже в древе технологий, чем технология построения распределенной, защищенной от вымирания межзвездной цивилизации).
Обобщенный (n>1н>1скорее, чемn=1н=1В другом варианте этого подхода все конфликты рассматриваются в более масштабном контексте: вражда между двумя людьми эквивалентна ядерной войне, а война между двумя странами — нечто гораздо большее.
Если говорить о более позитивных моментах: если остановить ИИ невозможно, то «он должен быть у всех» явно предпочтительнее, чем «он должен быть только у избранных», что недопустимо. Если цель — сохранение мира, то угроза взаимного гарантированного уничтожения лучше тоталитаризма в том смысле, что в ней больше достоинства.
Концентрация власти
Уменьшенная версия
MAD World , где ASI, соответствующий намерениям, менее распределен. Небольшое количество субъектов обладают ASI, а все остальные просто наблюдают за происходящим. Возможно, компании, занимающиеся ИИ, разделят между собой световой конус, как в
Тордесильясском договоре : каждая звезда и галактика между 0h и 12h
прямым восхождением достается Anthropic, аналогично OpenAI.