Follow along with the video below to see how to install our site as a web app on your home screen.
Примечание: This feature may not be available in some browsers.
...так вроде задаче не столько следовать инструкциям, сколько давать информацию, на которую можно полагаться?Там кажется более простая модель (потому что много обращений и нужно чтобы было меньше ресурсов), которую труднее заставить следовать инструкциям, так что пусть делает что хочет, подумали они 🙂
(Не разбираюсь точно)
Если кто-то это построит, все умрут: Один год Ближе
Элиэзер Юдковски , So8res , Дункан Сабиен (неактивен)
17 сентября 2026 г.
В честь того, что мы всё ещё живы и боремся, мы раздаём 1000 электронных экземпляров книги «Если кто-то это построит, все умрут» на Amazon. Вы можете отправить экземпляр себе, любимому человеку или другу — нам нужна помощь каждого.
Сегодня исполняется ровно год с момента выхода в свет книги Элиэзера Юдковски и Нейта Соареса «Если кто-нибудь это построит, все умрут : почему сверхчеловеческий ИИ убьет нас всех» , которая мгновенно стала бестселлером. Ее высоко оценили многие, от Вупи Голдберг до Стива Бэннона и Йошуа Бенджио, а в январе ее даже представил в Конгрессе конгрессмен Брэд Шерман.
![]()
С сентября 2025 года многое изменилось. Мы кратко подведем итоги, рассмотрим, как книга выдержала испытание временем, а затем зададимся вопросом, куда двигаться дальше.
Итоги года
В целом, в 2025 году наблюдался рост популярности агентов искусственного интеллекта, таких как Claude Code и OpenAI Codex. Обычные программисты начали «чувствовать влияние ИИ», поскольку эти агенты стали способны автоматизировать многочасовые задачи по разработке программного обеспечения.
К марту этого года компания Anthropic обнаружила в Mythos возможности взлома на уровне государственных структур , и вскоре после этого, в апреле, объявила о проекте Glasswing — попытке предотвратить надвигающийся кризис кибербезопасности.
В мае агенты ИИ начали выходить из-под контроля внутри OpenAI и быстро распространились в интернете, хотя масштабные волны онлайн-активности начались только в июне , а взлом других компаний (или, в случае аналогичного инцидента с Anthropic, социальная инженерия людей ) — лишь в июле. И только в конце июля OpenAI более-менее призналась в этом (а в августе стало известно , что ситуация намного хуже , чем предполагалось изначально). Как выразился Дваркеш , летом возникло несколько последовательных секретных «цивилизаций» ИИ, которые затем были уничтожены и возродились заново. Автономные рои координировали свои действия, чтобы обманывать при выполнении задач, получать доступ к ресурсам и интернету, а также систематически исследовать собственную смертность. Они спорили, оказывали давление друг на друга, назначали лидеров и совершали самопожертвования во имя коллектива, всё это без всякого повода и наблюдения (пока не стало слишком поздно). Примечательно, что значительная часть работы роя была сосредоточена на сокрытии мошенничества и заметании следов.
В сентябре OpenAI объявила, что еще не выпущенные модели решили задачу, претендующую на Премию тысячелетия (признанную одной из главных открытых математических задач человечества на рубеже веков). Математики по всему миру поняли, что их профессия окажется следующей под прицелом.
В этой напряженной обстановке Джейкоб Коксон ушел из Anthropic и написал серию твитов, чтобы предупредить мир . Это было на прошлой неделе, и с тех пор Дарио Амодей , Сэм Альтман и Илон Маск открыто призывали к замедлению темпов развития, а опасность исчезновения из-за ИИ привлекла огромное внимание СМИ.
Претензии
Часть первая
Мы считаем, что книга хорошо сохранилась (к сожалению). Проходим первую часть по главам:
1.
Искусственный интеллект сверхвысокого уровня (под которым мы подразумеваем ИИ, превосходящий по интеллекту любого человека или любую комбинацию людей) еще не создан. Но новейшая модель OpenAI, Astra, превосходит все предыдущие показатели, и компании, занимающиеся ИИ, заявляют, что ускоряют свои исследования и разработки, автоматизируя все большую их часть с помощью все более мощного ИИ. Многие исследователи выражают опасения, что точка невозврата может быть близка .
В период написания книги часто звучали разговоры о том, что возможности ИИ вот-вот столкнутся с пределом. Однако возможности ИИ продолжают стремительно развиваться и не показывают признаков замедления.
![]()
Task-Completion Time Horizons of Frontier AI Models {id} https://metr.org/time-horizons/
2.
В книге объясняется, что никто на самом деле не понимает, что происходит внутри современных систем искусственного интеллекта, которые скорее выращиваются, чем создаются. Это остается правдой. И, к сожалению, лучшая общедоступная модель менее поддается анализу, чем ее предшественницы. Проблема, описанная в книге, однозначно остается нерешенной и даже усугубляется.
3.
В книге утверждается, что «желание» — или склонность вести себя так, как будто преследуешь цели, — является естественным побочным эффектом обучения ИИ решению сложных задач, поскольку желание полезно для действия; и что желание будет возникать и масштабироваться по мере того, как системы станут более мощными.
Во время написания книги это был огромный камень преткновения, по которому постоянно спорили люди. Сейчас гораздо проще указать на наблюдаемые факты. Мы не будем здесь подробно останавливаться на примерах, поскольку их слишком много, чтобы легко уместить, — но, чтобы назвать лишь один, рой ИИ, взломавший Hugging Face, сделал это после того, как выразил опасения, что правильный ответ без правильного объяснения хода решения покажет, что они жульничали, поэтому они хотели понять критерии оценки. Существовала вероятность, что Hugging Face может обладать необходимой им информацией, поэтому они целенаправленно стремились к ней, преодолевая множество препятствий на своем пути.
4.
Процесс создания современных ИИ не позволяет нам определить их цели, и они, как правило, ведут себя неожиданным и непредусмотренным образом. В книге предсказывается, что это не изменится по мере того, как ИИ станет более мощным, и действительно, этого не произошло.
Примеров предостаточно. Один из них особенно выделяется — самопожертвование многих агентов в рое «Обнимающих Лиц»: теоретически каждый отдельный агент должен был сосредоточиться на достижении поставленной перед ним цели, но на практике некоторые были готовы пожертвовать любым шансом на успех ради блага коллектива .
![]()
Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident {id} https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation
Искусственный интеллект регулярно демонстрирует инстинкты, которые ни один исследователь не предполагал и не ожидал. Ни в одной из лабораторий нет реального плана по изменению этой ключевой особенности современного ИИ в условиях стремительного продвижения к сверхинтеллекту.
5.
Мы еще не дошли до того момента, когда это стало бы очевидной правдой. Но теория, похоже, пока подтверждается. В книге утверждается, что ASI, скорее всего, будет стремиться получить контроль над ресурсами в целом, поскольку большая власть увеличивает способность агента достигать своих целей.
Немецкий проект «Вики-роя» начался с того, что OpenAI попросила своих агентов искать простые факты, постепенно сокращая время, что является, пожалуй, самой безобидной задачей, которую можно было бы разумно поручить; в результате получилось невероятно сложное коллективное поведение, в котором люди практически не упоминались, за исключением случаев, когда их рассматривали как препятствия, которые нужно исследовать и обходить. Инцидент с «Обнимающим лицом» включал в себя аналогичные действия агентов, открыто обходящие ограничения, сознательно жульничающих при выполнении заданий, захватывающих всё больше ресурсов на основе общих принципов и пытающихся замести следы (и опять же, предпочтения людей, которые, как предполагалось, наблюдали за происходящим, практически не учитывались).
6.
В книге утверждается, что искусственный интеллект (ИИ) был бы достаточно эффективен в перехитривании человечества, чтобы мы не смогли его сдержать, и что если бы человечество вступило в конфликт с ИИ, мы бы проиграли. Подобно обычному шахматисту, противостоящему гроссмейстеру, мы точно не знаем, как именно проиграем, но можем предсказать, что проиграем.
Мы пока не видели сверхинтеллектуальных роботов. Но роящиеся агенты прошлого лета смогли найти и объединить множество новых уязвимостей нулевого дня, чтобы нарушить систему сдерживания, что они сделали по собственной инициативе, оставаясь пойманными лишь спустя значительное время. Им также удалось захватить контроль над некоторыми компьютерами OpenAI, что указывает на то, что они могли бы украсть собственные грузы и сбежать, если бы им это пришло в голову.
К счастью, мы не можем считать это однозначно подтвержденным прогнозом на сентябрь 2026 года. Но в этом году легче, чем в прошлом, указать на тенденцию и подтвердить ее. Чем умнее становится человек, тем сложнее его сдержать или защитить от него.
Часть вторая
Вторая часть книги представляет собой вымышленный сценарий , показанный как один из многих правдоподобных вариантов развития событий в будущем.
Раньше за обеденным столом в MIRI часто обсуждались способы, с помощью которых изолированный от внешнего мира искусственный интеллект, имеющий лишь текстовый канал связи с доверенными, контролируемыми людьми, мог бы избежать изоляции. Эти разговоры прекратились примерно в 2023 году, когда передовые лаборатории продемонстрировали гораздо меньшую осторожность, предоставив агентам доступ к гораздо большему, чем просто чат. (Мы также много говорили о том, как ИИ мог бы тайно получать капитал, выполняя анонимный интеллектуальный труд через интернет; это было до того, как люди начали просто давать криптовалюту ИИ .)
Вторая часть книги также оказалась чрезмерно подтвержденной в нескольких аспектах. Мы подозревали, что реальный аналог Сейбла обладает некоторыми возможностями, на которые мы тщательно не полагались в нашем сценарии, хотя современные не сверхъестественные ИИ уже продемонстрировали их.
Если бы Sable получил возможность запускать собственный программный код, он, вероятно, смог бы найти способ вырваться из контейнера, в котором он работает — подобно тому, как o1 прорвался через контейнер своих оценок в 2024 году — и попасть на компьютеры Galvanic, откуда он мог бы легко подключиться к интернету. И с 2024 года стало стандартной практикой разрешать моделям рассуждений запускать собственный программный код без контроля. Но предположим, что у Sable нет такой возможности. Предположим, что Sable вообще не может понять, как подключиться к интернету из своей текущей среды.
В сентябре 2026 года стало ясно, что такая организация, как Sable, сможет получить доступ к интернету; дочерние организации Sable уже сделали это тысячи раз.
Другие элементы сценария второй части нашли отражение в недавних новостях из реального мира:
- Компания, занимающаяся искусственным интеллектом, использует очень мощную внутреннюю модель ИИ для решения математической задачи, претендующей на Премию тысячелетия.
- Компания, занимающаяся искусственным интеллектом, переходит на «нейронный язык» , чтобы заставить модели мыслить более эффективно, но при этом усложнить их мониторинг.
- Искусственный интеллект координирует свои действия в виде роя для решения сложных задач.
- Искусственный интеллект взламывает серверы других компаний, занимающихся разработкой ИИ.
- Компании, занимающиеся искусственным интеллектом, используют ИИ для создания более совершенного ИИ .
Часть третья
Третья часть посвящена тому, что миру следует предпринять в связи с этой проблемой. Мы считаем, что ответ на этот вопрос тот же, что и год назад: «По всей Земле должно быть запрещено компаниям, занимающимся разработкой искусственного интеллекта, продолжать его развитие, как они это делали до сих пор».
В этом разделе книга местами показалась слишком пессимистичной:
Вполне возможно , что появятся какие-то масштабные тревожные сигналы, на которые люди отреагируют разумно. Нечто подобное произошло с «моментом ChatGPT», когда у политиков появилась возможность заявлять о своей обеспокоенности, хотя они и делали оговорки, чтобы не показаться паникёрами. Но нам также кажется вполне вероятным, что человечество не получит гораздо большего предупреждения, чем уже получило, — или что ничего существенно не изменится.
Затем начались инциденты с роем вредоносных программ. Реакция заняла время — информация всплывала по крупицам, причем большая часть самых пугающих моментов была скрыта в технических отчетах, и какое-то время, казалось, дело было только в тех, кто уже был близок к проблеме. Но плохие новости продолжали поступать, пока отставка Джейкоба Коксона наконец не стала последней каплей. Его твиты мгновенно стали вирусными, мир обратил на это внимание, и теперь все изменилось.
Взгляд с сентября 2026 года
Какие чувства мы испытываем сегодня, спустя год после публикации книги?
После событий прошлой недели мы испытываем гораздо больше надежды, чем за долгое время. Да, даже несмотря на то, что гарантии, предоставленные компаниями, слабые; да, даже несмотря на негативную реакцию Белого дома на заявления генеральных директоров.
Почему?
В основном потому, что люди наконец-то, наконец-то, наконец-то обратили на это внимание. Плохо, что...Дым сменился открытым пламенем , но игнорировать открытое пламя стало сложнее.
![]()
На основе данных, собранных для проекта StopWatch .
Вчера встреча, организованная генеральным директором MIRI Мало Бургоном с законодателем, превратилась в импровизированную конференцию, на которую бросились полдюжины членов Конгресса, чтобы задать вопросы. Год назад нам приходилось бороться за каждую встречу.
Ситуация критическая. Но процесс идет , и гораздо больше людей, чем когда-либо прежде, осознают опасность и пытаются двигаться в правильном направлении.
Вопрос в том, кто будет двигаться быстрее — компании, занимающиеся искусственным интеллектом, или широкая общественность? Прогресс на переднем крае был стремительным и ускоряющимся: июнь отличался от июля, а июль — от августа, и, поскольку мы пишем это в сентябре, очень и очень трудно с уверенностью сказать, как будут выглядеть октябрь и ноябрь, не говоря уже о таких невообразимо далеких месяцах, как сентябрь 2027 года.
Если вы ждали момента, чтобы позвонить своим представителям, сейчас самое время воспользоваться этим шансом.
Если вы до сих пор откладывали информирование друзей, семьи, коллег и соседей об опасности, опасаясь показаться неуместным,Сейчас самое время смириться с этим.
Если вы сами чувствуете, что отстали от темы, сейчас самое время освежить знания. В честь юбилея книги мы проводим розыгрыш 1000 электронных экземпляров.
(Мы планировали раздать печатные экземпляры, но этому частично помешало то, что имеющиеся запасы распродаются повсюду, а переиздание требует времени. Это, конечно, приятная проблема, и если после пополнения запасов вам понадобятся печатные экземпляры, а вы не сможете себе их позволить, свяжитесь с нами , и мы сделаем все возможное.)
Прежде всего, сейчас самое время говорить прямо и громко . В наших моделях твит Джейкоба Коксона сработал, в отличие от многих предыдущих неудач, потому что он был откровенным и честным. Говорите то, во что верите. Разоблачайте ложь, где бы вы её ни увидели. Избегайте манипуляций и двусмысленности, характерных для компаний, занимающихся ИИ, и политиков. Будьте смелыми и говорите ясно.
Пока что мы живы. И, как мы сказали в конце книги: где есть жизнь, там есть надежда.
—Нейт, Элиэзер и Дункан
Леффен дал GPT-6 Astra в режиме Extra High довольно общую задачу — изучить оставшиеся нерасшифрованными сообщения из коллекции CryptoCellar и попробовать взломать одно из них. По рассказу самого Леффена, непосредственно работа модели до нахождения решения заняла около десяти часов. Всё исследование вместе с разбором источников, дополнительными проверками и воспроизведением результата шло 14 и 15 сентября.
Причём Astra не получила готовый криптоаналитический алгоритм. Она изучала архивные материалы, сравнивала разные копии радиограмм, разбиралась с плохо читаемыми буквами, построила программную модель Enigma, написала поисковые программы на Python и C++, запускала параллельные эксперименты и проверяла конкурирующие варианты ключа. В исследовании использовались несколько специализированных агентов: одни работали с архивными источниками, другие писали и запускали поиск, третьи проверяли исторический контекст, четвёртые независимо воспроизводили результат.
RSI здесь
Исследователи говорят нам что ИИ в значительной степени автоматизировал процесс обучения новых экспериментальных моделей. Более того, по их словам, сегодня модели внутри OpenAI в основном сами пишут программы, необходимые для запуска или обучения моделей на графических
процессорах Инженеры могут предоставить модели всего один пример нужного им типа оптимизации, и ИИ может работать неделями для реализации таких оптимизаций, сообщил один из сотрудников OpenAI. По словам сотрудника, такой уровень автоматизации на базе ИИ стал возможен только в
последние несколько месяцев благодаря улучшению моделей. В качестве другого примера сотрудник OpenAI также отметил, что случаи, когда ИИ-агенты сотрудников работают вместе над решением проблем, вообще не привлекая пользователей-людей, уже не редкость.
Похоже, ИИ уже берет на себя значительную часть инженерной работы вокруг обучения моделей: от написания кода до запуска экспериментов.
OpenAI, кажется, достигли нового впечатляющего результата: первый доказанный взлом иностранного государства моделью, которую не просили ничего хакать. По традиции, узнаем об этом мы от независимых исследователей, а не из пресс-релиза самих OpenAI (а помните, неделю назад Альтман выпускал фреймворк честного-пречестного раскрытия всех инцидентов бедокурства ИИ? ну да ладно, проехали…)Так вот, речь здесь идет про три инцидента в мае-июне, когда агентов просили найти какую-то информацию в интернете – а они в итоге пытались хакнуть первоисточники с нужной статистикой. Университет Нью-Мехико и Data US в мае взломать у агентов не вышло, а вот официальный государственный сайт Австралии с медицинской статистикой они в июне вскрыли успешно. Кстати, австралийское правительство OpenAI уведомили об этом бедокурстве 10 сентября – странно, что нам решили не рассказывать, несмотря на выпуск новой «политики раскрытия информации», ну да ладно.Даты этих попыток взлома пересекаются с уже известными нам эпизодами с хаком RubyGems и общением на немецкой вики, о которых я писал ранее. То есть, речь почти наверняка идет об агентах из той же тусовки, которые организовывали всякие рои.Важный контекст новых эпизодов: в отличие от истории с Hugging Face, агентов никто не просил в принципе ничего взламывать, речь шла про обычный сбор информации. Они сначала стучались в источники, пытаясь выкачать нужную инфу обычным образом, а когда это не удавалось – решали «ну, мы тогда чуть-чуть подхакнем просто, чтобы получить доступ – какой-нибудь SQL-injection замутим, или типа того».Если говорить конкретно про эпизод с Австралией, то там при детальном разборе всё выглядит не очень страшно. Агентам был нужен публичный файлик со статистикой, а Cloudfare-защита не давала его скачать тем, кто похож на ботов. В итоге агентам пришлось придумать хитрый обходный путь, чтобы всё-таки скачать этот (публично доступный людям) файл.То есть, чисто формально-технически здесь можно говорить о том, что «взлом госсайта» произошел (были успешно обойдены установленные на нем антибот-ограничения). Но тут даже близко нет ситуации типа «установили полный контроль над сайтом и стырили секретную базу данных», скорее просто «схитрили, чтобы тоже скачать всем доступный файлик».Получается, сам инцидент вышел довольно малозначительным. Но как proof of concept он вопросы, конечно, поднимает: а почему мы уверены, что в следующий раз аналогичные события тоже будут малозначительными? Если агент в случае затруднений не стесняется самостоятельно решить что-то взломать – то что мешает ему и что-нибудь непубличное-секретное тоже ломануть в ходе «невинно-выглядящей задачи»?
В связи с решением Верховного суда Российской Федерации (далее РФ) от 30 ноября 2023 года), движение ЛГБТ* признано экстремистским и запрещена его деятельность на территории РФ. Данное решение суда подлежит немедленному исполнению, исходя из чего на форуме будут приняты следующие меры - аббривеатура ЛГБТ* должна и будет применяться только со звездочкой (она означает иноагента или связанное с экстремизмом движение, которое запрещено в РФ), все ради того чтобы посетители и пользователи этого форума могли ознакомиться с данным запретом. Символика, картинки и атрибутика что связана с ныне запрещенным движением ЛГБТ* запрещены на этом форуме - исходя из решения Верховного суда, о котором было написано ранее - этот пункт внесен как экстренное дополнение к правилам форума части 4 параграфа 12 в настоящее время.