ТЛ; ДР
Видя впечатляющую технологию OpenAI, комментаторы СМИ должны думать, что более вероятно, что AGI возможен и экзистенциально опасен. Некоторые так думают, но в целом этот сдвиг во взглядах не кажется достаточно последовательным; реакция по умолчанию, похоже, все еще заключается в том, чтобы рассматривать всю эту историю с ИИ как просто еще одну прибыльную технологическую разработку.
Люди должны быть очень впечатлены последними разработками в области искусственного интеллекта
Если вы не уделяли особого внимания ИИ до ChatGPT, а затем начали, вы, скорее всего, были удивлены и впечатлены. Это может быть правдой, даже если вы внимательно следили за разработками ИИ, и даже если GPT-3.5 вас не впечатлил, GPT-4, скорее всего, впечатлил. Это также, кажется, относится ко многим журналистам; репортажи об ИИ стали темой для основных СМИ. LLM (слово, которое 2 года назад знали только эксперты по ИИ) очень сильны, и даже если вы не сразу видите, как они преобразуют экономику, вы чувствуете их силу, если используете их. То же самое относится к генерации изображений или генерации голоса ИИ. Сила перевода и других приложений, таких как сворачивание белка, может быть не так очевидна сразу, но они добавляют больше граней силы ИИ.
Однако наблюдается странное отсутствие реакции общества на эти события, что стало особенно заметно в репортажах и комментариях об увольнении Сэма Альтмана с поста генерального директора OpenAI.
Волшебник, создающий ИИ
Представьте, что к вам пришла женщина и заявила, что она волшебница. Она создала магическую мастерскую, чтобы вызвать сверхсильного демона, и по пути туда она создаст уменьшенные версии демона. Вы смеетесь, потому что демонов не существует. Но она создает маленьких демонов. Эти демоны не сверхсильны, но вы бы не ожидали, что они возможны. Как маленькие демоны должны изменить ваше мнение о возможности сверхсильного?
OpenAI утверждает, что может создать и приручить демона, называемого AGI. Но освещение в СМИ обычно игнорирует тот факт, что компания продемонстрировала способность создавать небольшие объекты явно в качестве шагов к созданию сверхмощного.
Подумайте над следующими утверждениями, по которым вы
могли бы составить свое мнение в январе 2019 года:
- В течение пяти лет кто-то сможет создать ИИ, который сможет писать тексты, выдаваемые за курсовые работы, и генерировать изображения, которые будут выглядеть как фотографии или сложная программно-генерируемая графика, в ответ на команды, введенные в диалогах с ИИ, которые будут напоминать разговор.
- Кто-то может создать искусственный интеллект (ИИ), который будет умнее людей.
- При разработке ОИИ необходимо приложить усилия для обеспечения его безопасности, в противном случае он может стать риском, угрожающим человечеству.
Предположим, что в 2019 году вы думаете, что все это научная фантастика. Теперь вы засыпаете в 2019 году и просыпаетесь пять лет спустя, и видите все доступные инструменты ИИ. Кажется, что первое утверждение стало правдой. Кажется естественным также увеличить вероятность того, что утверждения 2-3 являются правдой. В конце концов, создание способного ИИ кажется необходимым шагом, который вам нужно выполнить перед созданием чрезвычайно способного A(G)I, и опасность более вероятна, если A(G)I чрезвычайно способный. Однако, возможно, вы считаете, что последние два утверждения все еще весьма маловероятны.
Но затем вы понимаете, что организация, которая создала ИИ, изменивший ваше первое мировоззрение, OpenAI, имела устав,
в котором говорилось, что ее
«миссия состоит в том, чтобы гарантировать, что общий искусственный интеллект (AGI) — под которым мы подразумеваем высокоавтономные системы, превосходящие людей в большинстве экономически ценных работ — принесет пользу всему человечеству. Мы попытаемся напрямую построить безопасный и полезный AGI [...]».
Итак, теперь вы знаете, что организация, которая может создать мощный ИИ и которая знает, как создать передовые технологии, также утверждает, что может создать AGI. Это может быть маркетинговым заявлением, но, похоже, вы должны серьезно отнестись к заявлениям организации. (При более близком рассмотрении вы видите, что в фирме очень умные инженеры-программисты, исследователи и менеджеры, что можно рассматривать как дополнительные сигналы того, что заявления в уставе следует воспринимать серьезно; эти люди, вероятно, не будут координироваться вокруг бессмысленных заявлений.) Хорошо, отлично, вы обновляете в сторону более высокой вероятности того, что заявление 2 возможно.
Однако в уставе OpenAI также говорится:
Мы стремимся проводить исследования, необходимые для обеспечения безопасности ИИ, и содействовать широкому внедрению таких исследований в сообществе ИИ.
Мы обеспокоены тем, что разработка AGI на поздней стадии становится конкурентной гонкой без времени на адекватные меры безопасности. Поэтому, если ценностно-ориентированный, безопасный проект приблизится к созданию AGI раньше нас, мы обязуемся прекратить конкуренцию и начать помогать этому проекту. Мы проработаем детали в соглашениях для каждого конкретного случая, но типичным условием запуска может быть «больше, чем равные шансы на успех в течение следующих двух лет».
Это должно заставить вас задуматься: разработчики AGI считают, что необходимо приложить серьезные усилия для обеспечения безопасности AGI, и они берут на себя необычные обязательства для этого.
Итак, к настоящему моменту вы начали верить, что три утверждения выше либо верны, либо имеют некоторую вероятность, которую вы не можете игнорировать. Однако это идет с верой в то, что OpenAI очень способен, и в частности, что он способен делать то, что он заявляет, поэтому вы также должны верить, что OpenAI, вероятно, также сможет сделать AGI безопасным, верно?
Может быть. Но если так, то это вероятность, обусловленная созданием AGI, и нет никаких оснований полагать, что условная вероятность составляет 100%. Поэтому теперь вам следует положить некоторую ненулевую вероятность на возможность того, что AGI может быть создан, на то, что важно сделать его безопасным, и на возможность того, что сделать его безопасным не удастся.
Однако по какой-то причине комментаторы СМИ в основном останавливаются на пункте 1 списка и на экономических и деловых последствиях того, чего можно ожидать в ближайшие несколько лет от компании, которая создает такие вещи, — как будто это компания, строящая новый автомобиль, новый космический корабль или какую-то другую обыденную технологию.
Доска и все еще отсутствующее обновление
Однажды вы читаете новости о том, что совет директоров уволил генерального директора Сэма Альтмана. Подождите, что? Сэма Альтмана, уважаемого генерального директора OpenAI? Совет директоров не очень хорошо это объясняет, и вы видите протесты умных людей в OpenAI против этого. В конце концов, совет директоров, похоже, лишился полномочий, и Альтман снова у власти. Какой вывод вы сделаете и какой вывод вам следует сделать?
Ответ зависит от того, считаете ли вы, что тот факт, что многие люди в OpenAI защищали Сэма Альтмана, должен говорить вам, что его действительно не следовало увольнять. То есть, может быть, вы считаете, что столь многие умные люди, защищающие Альтмана, показывают, что правление было неправо, или вы можете считать, что эти люди, вероятно, по какой-то причине предвзяты.
В любом случае, для людей, желающих разобраться в ситуации, увольнение должно было стать поводом взглянуть на институциональную структуру OpenAI (см., например,
здесь ), понять, почему эта структура была выбрана изначально, и подумать, было ли в этом конфликте что-то большее, чем просто обычная игра с властью. Тогда вы все равно могли бы прийти к выводу, что вся эта история с AGI и потенциальная опасность преувеличены; но кажется невозможным одновременно рассматривать OpenAI как технологический фактор, меняющий правила игры, и игнорировать образ мышления, который вдохновил как технологию OpenAI,
так и ее институциональную структуру.
The Economist, например, совершил эту ошибку. В
колонке об Илоне Маске («Комплекс мессии Илона Маска может его погубить», декабрь 2023 г.) The Economist пишет:
«Больше всего беспокоит его комплекс мессии. ... Временами он напоминает капризного греческого бога, который считает, что держит судьбу мира в своих руках. ...
Спасение человечества сейчас в моде. Это опасный фетиш. В прошлом месяце хартия по защите мира от опасностей неконтролируемого ИИ едва не уничтожила OpenAI, создателя ChatGPT. Год назад Сэм Бэнкман-Фрид, ныне осужденный за мошенничество, утверждал, что катастрофические риски, которые он взял на себя со своей криптобиржей FTX, были на службе человечества. Такое миссионерское рвение не ново в бизнесе. Оно подтолкнуло Генри Форда, изобретателя модели T, к повышению уровня жизни рабочих. Но его комплекс спасителя взял верх, и он в итоге изверг антисемитскую желчь.
Высокомерие г-на Маска также может плохо кончиться. ... Будущие поколения, вероятно, будут судить его так же, как сегодняшние судят Форда: горстка будет порицать его порочный характер; большинство будет помнить величие его творений».
Разочаровывающая часть заключается не только в поверхностном сопоставлении шаблонов («как капризный греческий бог») или однобокости упоминания только некоторых примеров влиятельных людей в качестве доказательств против попыток «спасти мир», не упоминая при этом, например, деятельность Билла Гейтса, направленную на подготовку мира к пандемиям. Скорее, разочарование возникает из-за того, что один из самых влиятельных журналов в (западном) мире не осознает непоследовательности высмеивания действий совета по «спасению человечества», игнорируя при этом, что все действия OpenAI, вся ее бизнес-модель, оправданы «спасением человечества».
Единственный аргумент обозревателя о том, что действия совета OpenAI были явно плохими, заключается в том, что он почти уничтожил OpenAI, как будто было очевидно, что мир стал лучше
с OpenAI. Обозреватель, похоже, не считает, что это утверждение нужно доказывать, а просто предполагает, что уничтожать прибыльные компании плохо. Но если прибыльная компания была основана для того, чтобы вызывать сверхмощных демонов, и она прибыльна, потому что маленькие демоны, которых она уже может вызывать, могут написать вам домашнее задание и план диеты, похоже, вам стоит хотя бы попытаться понять, что происходит.
Спасибо JustisMills за очень ценный отзыв.
