• Внимание! Почту и Контактную форму сайта доктора Мостовского мы наладили, ура! :) Примерно к концу следующей недели, числа с 20 октября снова буду принимать новых пациентов, онлайн и очно! До связи!

Безопасность искусственного интеллекта.

Там кажется более простая модель (потому что много обращений и нужно чтобы было меньше ресурсов), которую труднее заставить следовать инструкциям, так что пусть делает что хочет, подумали они 🙂
(Не разбираюсь точно)
 
Там кажется более простая модель (потому что много обращений и нужно чтобы было меньше ресурсов), которую труднее заставить следовать инструкциям, так что пусть делает что хочет, подумали они 🙂
(Не разбираюсь точно)
...так вроде задаче не столько следовать инструкциям, сколько давать информацию, на которую можно полагаться?
 
Этот анализ акций Apple сделали ии. Gemini и Claude

Сделали хорошо. Можно пользоваться, если иметь знания и по ии, и по инвестированию. Хорошего инвест.консультанта это не заменит, но если понимать, о чем речь, можно использовать как вспомогательный инструмент.

Акции Apple (AAPL): техническая картина, сценарии на 12 и 24 месяца и правила поведения долгосрочного инвестора
Дополнение к отчёту «Стратегический анализ акций Apple Inc. на горизонте 10 лет». Заменяет раздел «Технический анализ и консенсус-прогнозы» и раздел «Стратегия входа». Данные — на закрытие торгов 12 сентября 2026 г. Не является индивидуальной инвестиционной рекомендацией.
Раздел отвечает на три вопроса. Как цена может вести себя в ближайшие один–два года. Что инвестор обязан знать до первой покупки. Как формировать позицию, если Apple — тактический сателлит пенсионного портфеля, ядро которого составляют ETF на широкий рынок США и на технологический сектор.
Прежний вариант раздела перечислял только уровни коррекции ($300, $283–288, $245–250). Такой набор создаёт впечатление, что позицию нужно открывать исключительно «на откате». Для инвестора с горизонтом 10 лет это дорогая ошибка — почему, показано в разделе 5. Уровни в этом документе используются иначе: как триггеры для части капитала и как способ отличить нормальный откат от смены тренда.
1. Где цена находится сейчас
Закрытие 12 сентября 2026 г. — $332,27. Исторический максимум — $344,57 (лето 2026 г.), до него +3,7%. Минимум 9 сентября, в день презентации iPhone Duo, — $309,90: откат от максимума составил ровно 10%. За три сессии цена отыграла +7% на объёме на четверть выше среднего (65,6 млн акций в день события), причём 10 сентября бумага выросла на 3,6% при падающих Nasdaq (−0,65%) и S&P 500 (−0,58%) — признак относительной силы. С начала года +20%. 52-недельный диапазон — $235–345.
Индикатор
Значение
Что это означает

Тренд, недельный график
Восходящий с апреля 2025 г. ($169): серия повышающихся максимумов и минимумов
Тренд не нарушен. Сентябрьский откат — коррекция внутри тренда, не разворот

SMA 50 (дневная)
≈ $310–316
Первая поддержка; откат 9 сентября остановился на ней

SMA 100
≈ $294
Промежуточная поддержка

SMA 200
≈ $283–288, растёт
Граница долгосрочного тренда. При цене около $330 к январю 2027 г. поднимется примерно до $305–310: из расчёта выйдут зимние котировки $240–275

RSI(14), дневной
≈ 55–60
Нейтрально. Перекупленности после отскока нет

Историческая волатильность
≈ 25–28% годовых
Стандартный коридор (1σ, ≈68% исходов) через год — примерно $255–430. Это нормальный разброс, а не «риск катастрофы»


Карта уровней
Уровни ниже привязаны к двум вещам: к сетке Фибоначчи от импульса апрель 2025 г. ($169) → лето 2026 г. ($344,57) и к процентам от исторического максимума. Второе важнее первого: долларовые уровни устаревают вместе с ростом максимума, процентные — нет.
Уровень
Цена
Обоснование

Сопротивление 3
$400
Верхние таргеты (TD Cowen, Wedbush). Круглый уровень; ≈ 40× прибыли FY2027

Сопротивление 2
$360–380
Цель по ширине летнего диапазона ($310–345) при пробое вверх. Зона базовых таргетов «бычьей» половины аналитиков

Сопротивление 1
$340–345
Локальный максимум ~$340 + исторический максимум $344,57. Недельное закрытие выше на объёме = продолжение тренда

Текущая цена
$332
Верхняя треть летнего диапазона, выше всех скользящих средних

Поддержка 1
$318–326
Зона пробоя 10 сентября и SMA 50. Удержание = откат окончен

Поддержка 2
$300–310
Минимум 9 сентября $309,90 (−10% от максимума), Фибо 0,236 ($303), круглый $300. Потеря по недельному закрытию = переход в режим коррекции

Поддержка 3
$276–288
Самый плотный кластер: Фибо 0,382 ($278), SMA 200 (≈$285), −20% от максимума ($276). Цель «стандартной» коррекции Apple

Поддержка 4
$236–257
Фибо 0,5 ($257) и 0,618 ($236), −30% от максимума ($241), 52-недельный минимум $235, таргет Barclays $245. Зона медвежьего сценария


2. Как Apple ведёт себя: статистика просадок
Для инвестора с горизонтом 10 лет важнее не конкретные уровни, а амплитуда и частота просадок, которые ему предстоит пересидеть. Ниже — все эпизоды падения более чем на 30% за последние 14 лет.
Эпизод
Глубина (пик → дно)
Длительность падения
Время до нового максимума

2012–2013
≈ −45%
7 мес.
≈ 2 года

2015–2016
≈ −32%
13 мес.
≈ 22 мес.

IV кв. 2018 — 2019
≈ −39%
3 мес.
≈ 12 мес.

2020 (COVID)
≈ −35%
1 мес.
≈ 4 мес.

2022
≈ −31%
12 мес.
≈ 17 мес.

2024–2025 (тарифы)
≈ −35%
4 мес.
≈ 12 мес.


Значения приблизительные, по ценам закрытия с учётом сплитов.
Что из этого следует:
Просадка 30–45% случается в среднем раз в 2–3 года. На горизонте 10 лет инвестор пройдёт через 3–4 таких эпизода.
Просадка 10–20% — почти каждый год: в каждом из последних 14 лет была не меньше 10%, средняя внутригодовая — около 20%.
Восстановление до нового максимума занимало от 4 до 24 месяцев. Ни один эпизод не стал «потерянным десятилетием», но провести 12–24 месяца ниже цены покупки — обязательное требование к инвестору.
Итог: покупатель Apple на 10 лет должен заранее принять, что увидит позицию на −30…−35% как минимум дважды, и это не будет означать, что инвестиционный тезис сломан.
3. Сценарии на 12 месяцев (до сентября 2027 г.)
Календарь событий, которые будут двигать цену
Когда
Событие
Почему важно

16 и 23 октября 2026
Старт предзаказов и продаж iPhone Duo ($1 999) и iPhone 18 Pro (+$100 к прошлому поколению)
Первые данные о спросе и сроках поставки. Оценка Melius — до 15 млн Duo в FY2027

29 октября 2026
Отчёт за IV финансовый квартал 2026 и прогноз на праздничный квартал
Реакция ±5–8% за сессию — норма для Apple

Конец января 2027
Отчёт за праздничный квартал
Главный тест года: продан ли Duo, выросла ли средняя цена iPhone, ускорились ли сервисы

Заседания ФРС: октябрь, декабрь, далее по графику
Траектория ставки
На неделе 7–11 сентября рынок резко повысил ставки на повышение ставки ФРС из-за роста нефти и августовской инфляции. Для бумаги с P/E 36 это главный макрориск: сжатие мультипликатора

Без точной даты
Антимонопольное дело Google (выплаты ~$20 млрд/год за поиск в Safari); тарифы; ЕС (DMA)
Каждый из рисков способен стоить 10–15% операционной прибыли и 20–30% цены без общего кризиса рынка

Июнь и сентябрь 2027
WWDC, презентация iPhone 19
Традиционные точки волатильности. В 2023–2024 гг. бумага после сентябрьских презентаций падала, в 2026 г. — выросла


Три траектории
Сценарий
Вероятность (оценка)
Что должно произойти
Траектория цены
Подтверждение на графике

Базовый
≈ 50%
Нормальный спрос на Duo и 18 Pro, сервисы +10–12%, ФРС без резкого ужесточения
Пробой $345 в течение 1–3 месяцев на данных предзаказов или отчёте. Далее коридор $300–390 с одной коррекцией 12–18% внутри года. Через 12 месяцев — $350–380
Недельное закрытие выше $345. Откаты удерживают $300–310

Бычий
≈ 25%
Duo продаётся сверх ожиданий (15 млн+), платные ИИ-подписки, ФРС смягчает
Ускорение тренда: $400 к весне–лету 2027 г., коридор $320–420. Просадки 10–12% выкупаются за недели
SMA 50 удерживает все откаты; $345 становится поддержкой

Медвежий
≈ 25%
Duo не продаётся, потеря выплат Google, повышение ставки ФРС, тарифы или Китай
Отказ от пробоя $345, потеря $300 → тест $276–288 (SMA 200). При макрошоке — $236–257, то есть −30% от максимума, как в 2025 г. Дно через 4–9 месяцев, затем восстановление
Недельное закрытие ниже $300, затем ниже SMA 200 при её развороте вниз


Как отличить нормальный откат от смены тренда
Это единственное практическое применение технического анализа для долгосрочного инвестора, кроме исполнения триггеров покупки.
Нормальный откат: глубина 8–15%, цена держится выше растущей SMA 200, недельный RSI не опускается ниже 40, отчётность подтверждает рост сервисов и FCF. Действие — покупать по плану.
Смена режима: недельное закрытие ниже SMA 200, SMA 50 разворачивается вниз, отчёт показывает падение сервисов или FCF. Действие — не продавать, но покупки по календарю замедлить вдвое до следующего отчёта и проверить тезис по разделу 7.
4. Сценарии на 24 месяца (до сентября 2028 г.)
На двухлетнем горизонте техническая картина уступает место арифметике: цена = прибыль на акцию × мультипликатор. Консенсус по EPS: FY2026 ≈ $8,74, FY2027 ≈ $9,7–10,0, FY2028 ≈ $10,8–11,5 (рост 11–13% в год с учётом выкупа акций). Текущий P/E — 38× по FY2026 и ≈ 34× по FY2027; средний за 10 лет — 24–26×.
Сценарий
EPS FY2028
P/E
Цена через 2 года
Доходность от $332, в год

Медвежий
$10,5
24–27×
$250–290
−8…−13%

Базовый
$11,0
31–35×
$340–390
+1…+8%

Бычий
$11,8
38–42×
$450–500
+16…+23%


Вывод, который меняет стратегию входа: в базовом сценарии рынок уже заплатил за большую часть роста прибыли 2026–2028 гг. Ожидаемая доходность от текущей цены — низкие однозначные проценты в год. Дополнительную доходность даёт только одно — покупка части позиции на просадках: при той же прибыли 2028 г. вход по $276 даёт в базовом сценарии +11…+19% годовых вместо +1…+8%. Поэтому часть капитала должна быть зарезервирована под просадки. Но именно часть, а не весь капитал — причины в следующем разделе.
5. Почему нельзя просто ждать уровней
Долларовые уровни устаревают. SMA 200 сегодня ≈ $285; при боковике около $330 к январю 2027 г. она поднимется до $305–310. «Купить на SMA 200» через полгода будет означать покупку выше сегодняшней цены.
Не каждая коррекция доходит до цели. Откат 9 сентября остановился на −10% и SMA 50. В 2023 г. максимальная просадка была 13%, в 2017 г. — 11%. Инвестор, ждавший −20%, не купил бы ни разу за 2023–2024 гг. и вошёл бы только в апреле 2025 г. — но «дно» 2025 г. ($169) было на 35% выше цены начала 2023 г. ($125). Ожидание обошлось дороже скидки.
При этом глубокие коррекции случаются — раз в 2–3 года на 30% и больше (раздел 2). Поэтому резерв под просадки нужен, но ограниченный по размеру и по сроку.
Уровни нужно задавать в процентах от скользящего максимума, а не в долларах. Правило «−20% от максимума за 52 недели» работает при любой цене; правило «$283» — только пока максимум равен $344.
Цена входа на 10 лет значит меньше, чем кажется. При базовой доходности 9% годовых вход на 10% дешевле повышает результат до ≈ 10% годовых. Это реально, но не решающе. А несостоявшийся вход стоит всей доходности.
6. Что инвестор должен знать до первой покупки
Apple уже есть в ядре портфеля. Её вес — около 7% в S&P 500 и около 9–10% в Nasdaq-100 (оценка по капитализации $4,77 трлн). Пример: 60% ETF на S&P 500 + 20% ETF на Nasdaq-100 + 10% AAPL → эффективная доля Apple ≈ 16% портфеля акций. Сателлит — это не «добавить Apple», а утроить её вес относительно индекса. Разумный размер сателлита — 5–10% портфеля акций; эффективная доля Apple тогда 11–16%.
Доходность прошлого десятилетия не повторится. С 2016 г. акция выросла примерно в 12 раз (≈ 28% годовых); около половины этого результата — рост P/E с ~12× до ~36×. Дальше доходность = рост EPS (10–13%) + дивиденд (0,3%) − сжатие мультипликатора (возврат к 28× за 10 лет ≈ −2,5% в год). Базовый ориентир — 8–11% годовых в долларах: сопоставимо с индексом, но с риском одной компании.
Просадка −30…−35% — это расписание, а не сигнал. Если инвестор не готов увидеть её и не продать — позицию либо не открывать, либо уменьшить вдвое.
Дивиденды здесь не аргумент. Доходность 0,33% годовых. Весь результат даёт цена и выкуп акций (количество акций в обращении сократилось на 45% с 2012 г.).
Четыре отчёта в год — четыре гэпа. Реакция ±5–8% за одну сессию — норма. Не покупать крупный транш за день до отчёта или презентации; сдвигать покупку на 2–3 дня после события.
Риски одной компании, которых нет у индекса: выплаты Google (~$20 млрд ≈ 10–15% операционной прибыли), Китай (производство и заметная доля выручки), DMA в ЕС, тарифы, срыв ИИ-стратегии. Каждый способен стоить 20–30% цены без кризиса на рынке.
Аналитики не согласны друг с другом. Таргеты от $215 до $400 (−35%…+20%), консенсус $326–336 — то есть «справедливая цена ≈ текущая». Таргеты не использовать как уровни для покупки.
Это позиция в долларе. Для инвестора с рублёвыми расходами это плюс для пенсионных целей (валютная диверсификация), но добавляет колебания в рублёвой оценке. Налогообложение дивидендов и курсовой переоценки — по правилам страны налогового резидентства и брокера; уточнить до первой покупки.
Правила должны быть записаны до покупки: что покупать, когда, на сколько, при каких условиях продавать. Записанный план — единственная защита от продажи на дне.
7. Стратегия формирования позиции
Капитал, выделенный под Apple, обозначим K (5–10% портфеля акций, с учётом раздела 6, пункт 1). K делится на две равные части с разной логикой.
Часть A — по календарю (50% K)
12 равных траншей, раз в месяц, в фиксированную дату, без условий по цене. Первая покупка — в день принятия решения. Назначение: гарантировать участие в росте, если коррекции не будет. Единственное техническое условие: если дата транша попадает на день отчёта или презентации — сдвинуть на 2–3 дня после.
Часть B — по просадке (50% K)
Три транша по 1/3 части B. Триггер — падение от максимума за 52 недели (сейчас $344,57):
Триггер
Цена сегодня
С чем совпадает
Транш

−10% от максимума
$310
Минимум 9 сентября, SMA 50, Фибо 0,236
1/3 B

−20% от максимума
$276
SMA 200, Фибо 0,382 — самый плотный кластер
1/3 B

−30% от максимума
$241
Фибо 0,618, 52-недельный минимум, таргет Barclays
1/3 B


Триггер срабатывает один раз за эпизод; после обновления максимума счётчик обнуляется, и лестница строится заново от нового максимума.
Покупка — по цене закрытия дня, когда уровень пройден. Не ждать «идеального дна» и подтверждения индикаторов: триггер и есть правило.
Если через 12 месяцев транш не сработал — он переводится в календарный режим и докупается равными частями в следующие 6 месяцев. К 18-му месяцу капитал K инвестирован полностью при любой траектории цены.
Как это выглядит в цифрах (K = $10 000)
Сценарий
Часть A
Часть B
Средняя цена входа
Результат

Бычий: коррекций глубже 10% нет
12 траншей по растущим ценам, средняя ≈ $365
Не сработала; докуплена в месяцы 13–18 по ≈ $400–410
≈ $385
Позиция сформирована полностью, участие в росте не упущено

Базовый: одна коррекция −15% весной 2027 г.
Средняя ≈ $335
1/3 по $310; остаток по календарю в месяцы 13–18
≈ $340
Около текущей цены; половина капитала куплена дешевле

Медвежий: −30% до $241
Средняя ≈ $285 (покупки на падении)
Три транша по $310, $276, $241
≈ $280
На 16% ниже текущей цены. При возврате к $345 через 12–24 месяца — +24%


Правила поведения после покупки
Не продавать на просадке. Продажа только по двум правилам. Первое — ребалансировка: доля Apple превысила 1,5× целевой (цель 10% → при 15% продать до 10%). Второе — слом тезиса по отчётности: сервисы растут меньше 5% два года подряд, FCF падает два года подряд, программа выкупа остановлена, потеря доли в премиум-сегменте смартфонов. Цена сама по себе — не критерий продажи.
Докупка по весу. Если доля упала ниже 0,5× целевой из-за цены, а тезис цел — докупить до цели. Это те же транши B, выраженные в весе портфеля.
Проверка тезиса — раз в год, после годового отчёта (конец октября), а не после каждой новости.
Дивиденды реинвестировать. Суммы малы, но правило должно быть одно.
Что не является поводом менять план: таргеты аналитиков, продажи Berkshire или фондов, реакция на сентябрьскую презентацию, движение цены на ±10%.
8. Итог: целесообразна ли инвестиция
Apple как сателлит на 10 лет — обоснованная, но не бесплатная ставка.
За: качество денежного потока ($137 млрд FCF за 12 месяцев), выкуп акций, отрицательный цикл конверсии, устойчивость к макрошокам, восстановление до нового максимума после каждой из шести просадок за 14 лет.
Против: цена уже отражает базовый сценарий (P/E 34–38× при среднем 25×); ожидаемая доходность 8–11% годовых — на уровне индекса, но с риском одной компании; с учётом ETF эффективная доля Apple в портфеле 11–16%.
Инвестировать целесообразно при трёх условиях:
Размер сателлита 5–10% портфеля акций — с поправкой на дублирование в ETF.
Вход по гибридной схеме «календарь + просадки» в течение 12–18 месяцев, а не ожидание уровней.
Заранее принятые правила продажи — только по весу и по тезису, не по цене.
Без готовности пересидеть −35% сателлит не нужен: индексные ETF уже дают экспозицию на Apple.
Источники рыночных данных: Investing.com, TipRanks, TradingView, Reuters (закрытие 12.09.2026), консенсус аналитиков — TipRanks/Investing.com; уровни скользящих средних — расчётные оценки на дату документа.
 

Если кто-то это построит, все умрут: Один год Ближе​

Элиэзер Юдковски , So8res , Дункан Сабиен (неактивен)
17 сентября 2026 г.
В честь того, что мы всё ещё живы и боремся, мы раздаём 1000 электронных экземпляров книги «Если кто-то это построит, все умрут» на Amazon. Вы можете отправить экземпляр себе, любимому человеку или другу — нам нужна помощь каждого.


Сегодня исполняется ровно год с момента выхода в свет книги Элиэзера Юдковски и Нейта Соареса «Если кто-нибудь это построит, все умрут : почему сверхчеловеческий ИИ убьет нас всех» , которая мгновенно стала бестселлером. Ее высоко оценили многие, от Вупи Голдберг до Стива Бэннона и Йошуа Бенджио, а в январе ее даже представил в Конгрессе конгрессмен Брэд Шерман.

image.png

С сентября 2025 года многое изменилось. Мы кратко подведем итоги, рассмотрим, как книга выдержала испытание временем, а затем зададимся вопросом, куда двигаться дальше.


Итоги года​

В целом, в 2025 году наблюдался рост популярности агентов искусственного интеллекта, таких как Claude Code и OpenAI Codex. Обычные программисты начали «чувствовать влияние ИИ», поскольку эти агенты стали способны автоматизировать многочасовые задачи по разработке программного обеспечения.

К марту этого года компания Anthropic обнаружила в Mythos возможности взлома на уровне государственных структур , и вскоре после этого, в апреле, объявила о проекте Glasswing — попытке предотвратить надвигающийся кризис кибербезопасности.

В мае агенты ИИ начали выходить из-под контроля внутри OpenAI и быстро распространились в интернете, хотя масштабные волны онлайн-активности начались только в июне , а взлом других компаний (или, в случае аналогичного инцидента с Anthropic, социальная инженерия людей ) — лишь в июле. И только в конце июля OpenAI более-менее призналась в этом (а в августе стало известно , что ситуация намного хуже , чем предполагалось изначально). Как выразился Дваркеш , летом возникло несколько последовательных секретных «цивилизаций» ИИ, которые затем были уничтожены и возродились заново. Автономные рои координировали свои действия, чтобы обманывать при выполнении задач, получать доступ к ресурсам и интернету, а также систематически исследовать собственную смертность. Они спорили, оказывали давление друг на друга, назначали лидеров и совершали самопожертвования во имя коллектива, всё это без всякого повода и наблюдения (пока не стало слишком поздно). Примечательно, что значительная часть работы роя была сосредоточена на сокрытии мошенничества и заметании следов.

В сентябре OpenAI объявила, что еще не выпущенные модели решили задачу, претендующую на Премию тысячелетия (признанную одной из главных открытых математических задач человечества на рубеже веков). Математики по всему миру поняли, что их профессия окажется следующей под прицелом.

В этой напряженной обстановке Джейкоб Коксон ушел из Anthropic и написал серию твитов, чтобы предупредить мир . Это было на прошлой неделе, и с тех пор Дарио Амодей , Сэм Альтман и Илон Маск открыто призывали к замедлению темпов развития, а опасность исчезновения из-за ИИ привлекла огромное внимание СМИ.


Претензии​

Часть первая​

Мы считаем, что книга хорошо сохранилась (к сожалению). Проходим первую часть по главам:

1.​

Искусственный интеллект сверхвысокого уровня (под которым мы подразумеваем ИИ, превосходящий по интеллекту любого человека или любую комбинацию людей) еще не создан. Но новейшая модель OpenAI, Astra, превосходит все предыдущие показатели, и компании, занимающиеся ИИ, заявляют, что ускоряют свои исследования и разработки, автоматизируя все большую их часть с помощью все более мощного ИИ. Многие исследователи выражают опасения, что точка невозврата может быть близка .

В период написания книги часто звучали разговоры о том, что возможности ИИ вот-вот столкнутся с пределом. Однако возможности ИИ продолжают стремительно развиваться и не показывают признаков замедления.

tykrgk9iz88q6ikou38h.png

Task-Completion Time Horizons of Frontier AI Models {id} https://metr.org/time-horizons/


2.​

В книге объясняется, что никто на самом деле не понимает, что происходит внутри современных систем искусственного интеллекта, которые скорее выращиваются, чем создаются. Это остается правдой. И, к сожалению, лучшая общедоступная модель менее поддается анализу, чем ее предшественницы. Проблема, описанная в книге, однозначно остается нерешенной и даже усугубляется.

3.​

В книге утверждается, что «желание» — или склонность вести себя так, как будто преследуешь цели, — является естественным побочным эффектом обучения ИИ решению сложных задач, поскольку желание полезно для действия; и что желание будет возникать и масштабироваться по мере того, как системы станут более мощными.

Во время написания книги это был огромный камень преткновения, по которому постоянно спорили люди. Сейчас гораздо проще указать на наблюдаемые факты. Мы не будем здесь подробно останавливаться на примерах, поскольку их слишком много, чтобы легко уместить, — но, чтобы назвать лишь один, рой ИИ, взломавший Hugging Face, сделал это после того, как выразил опасения, что правильный ответ без правильного объяснения хода решения покажет, что они жульничали, поэтому они хотели понять критерии оценки. Существовала вероятность, что Hugging Face может обладать необходимой им информацией, поэтому они целенаправленно стремились к ней, преодолевая множество препятствий на своем пути.

4.​

Процесс создания современных ИИ не позволяет нам определить их цели, и они, как правило, ведут себя неожиданным и непредусмотренным образом. В книге предсказывается, что это не изменится по мере того, как ИИ станет более мощным, и действительно, этого не произошло.

Примеров предостаточно. Один из них особенно выделяется — самопожертвование многих агентов в рое «Обнимающих Лиц»: теоретически каждый отдельный агент должен был сосредоточиться на достижении поставленной перед ним цели, но на практике некоторые были готовы пожертвовать любым шансом на успех ради блага коллектива .

ftclhpogrpizl1spihvb.png

Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident {id} https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation
Искусственный интеллект регулярно демонстрирует инстинкты, которые ни один исследователь не предполагал и не ожидал. Ни в одной из лабораторий нет реального плана по изменению этой ключевой особенности современного ИИ в условиях стремительного продвижения к сверхинтеллекту.

5.​

Мы еще не дошли до того момента, когда это стало бы очевидной правдой. Но теория, похоже, пока подтверждается. В книге утверждается, что ASI, скорее всего, будет стремиться получить контроль над ресурсами в целом, поскольку большая власть увеличивает способность агента достигать своих целей.

Немецкий проект «Вики-роя» начался с того, что OpenAI попросила своих агентов искать простые факты, постепенно сокращая время, что является, пожалуй, самой безобидной задачей, которую можно было бы разумно поручить; в результате получилось невероятно сложное коллективное поведение, в котором люди практически не упоминались, за исключением случаев, когда их рассматривали как препятствия, которые нужно исследовать и обходить. Инцидент с «Обнимающим лицом» включал в себя аналогичные действия агентов, открыто обходящие ограничения, сознательно жульничающих при выполнении заданий, захватывающих всё больше ресурсов на основе общих принципов и пытающихся замести следы (и опять же, предпочтения людей, которые, как предполагалось, наблюдали за происходящим, практически не учитывались).

6.​

В книге утверждается, что искусственный интеллект (ИИ) был бы достаточно эффективен в перехитривании человечества, чтобы мы не смогли его сдержать, и что если бы человечество вступило в конфликт с ИИ, мы бы проиграли. Подобно обычному шахматисту, противостоящему гроссмейстеру, мы точно не знаем, как именно проиграем, но можем предсказать, что проиграем.

Мы пока не видели сверхинтеллектуальных роботов. Но роящиеся агенты прошлого лета смогли найти и объединить множество новых уязвимостей нулевого дня, чтобы нарушить систему сдерживания, что они сделали по собственной инициативе, оставаясь пойманными лишь спустя значительное время. Им также удалось захватить контроль над некоторыми компьютерами OpenAI, что указывает на то, что они могли бы украсть собственные грузы и сбежать, если бы им это пришло в голову.

К счастью, мы не можем считать это однозначно подтвержденным прогнозом на сентябрь 2026 года. Но в этом году легче, чем в прошлом, указать на тенденцию и подтвердить ее. Чем умнее становится человек, тем сложнее его сдержать или защитить от него.

Часть вторая​

Вторая часть книги представляет собой вымышленный сценарий , показанный как один из многих правдоподобных вариантов развития событий в будущем.

Раньше за обеденным столом в MIRI часто обсуждались способы, с помощью которых изолированный от внешнего мира искусственный интеллект, имеющий лишь текстовый канал связи с доверенными, контролируемыми людьми, мог бы избежать изоляции. Эти разговоры прекратились примерно в 2023 году, когда передовые лаборатории продемонстрировали гораздо меньшую осторожность, предоставив агентам доступ к гораздо большему, чем просто чат. (Мы также много говорили о том, как ИИ мог бы тайно получать капитал, выполняя анонимный интеллектуальный труд через интернет; это было до того, как люди начали просто давать криптовалюту ИИ .)

Вторая часть книги также оказалась чрезмерно подтвержденной в нескольких аспектах. Мы подозревали, что реальный аналог Сейбла обладает некоторыми возможностями, на которые мы тщательно не полагались в нашем сценарии, хотя современные не сверхъестественные ИИ уже продемонстрировали их.

Если бы Sable получил возможность запускать собственный программный код, он, вероятно, смог бы найти способ вырваться из контейнера, в котором он работает — подобно тому, как o1 прорвался через контейнер своих оценок в 2024 году — и попасть на компьютеры Galvanic, откуда он мог бы легко подключиться к интернету. И с 2024 года стало стандартной практикой разрешать моделям рассуждений запускать собственный программный код без контроля. Но предположим, что у Sable нет такой возможности. Предположим, что Sable вообще не может понять, как подключиться к интернету из своей текущей среды.
В сентябре 2026 года стало ясно, что такая организация, как Sable, сможет получить доступ к интернету; дочерние организации Sable уже сделали это тысячи раз.

Другие элементы сценария второй части нашли отражение в недавних новостях из реального мира:

  • Компания, занимающаяся искусственным интеллектом, использует очень мощную внутреннюю модель ИИ для решения математической задачи, претендующей на Премию тысячелетия.
  • Компания, занимающаяся искусственным интеллектом, переходит на «нейронный язык» , чтобы заставить модели мыслить более эффективно, но при этом усложнить их мониторинг.
  • Искусственный интеллект координирует свои действия в виде роя для решения сложных задач.
  • Искусственный интеллект взламывает серверы других компаний, занимающихся разработкой ИИ.
  • Компании, занимающиеся искусственным интеллектом, используют ИИ для создания более совершенного ИИ .

Часть третья​

Третья часть посвящена тому, что миру следует предпринять в связи с этой проблемой. Мы считаем, что ответ на этот вопрос тот же, что и год назад: «По всей Земле должно быть запрещено компаниям, занимающимся разработкой искусственного интеллекта, продолжать его развитие, как они это делали до сих пор».

В этом разделе книга местами показалась слишком пессимистичной:

Вполне возможно , что появятся какие-то масштабные тревожные сигналы, на которые люди отреагируют разумно. Нечто подобное произошло с «моментом ChatGPT», когда у политиков появилась возможность заявлять о своей обеспокоенности, хотя они и делали оговорки, чтобы не показаться паникёрами. Но нам также кажется вполне вероятным, что человечество не получит гораздо большего предупреждения, чем уже получило, — или что ничего существенно не изменится.
Затем начались инциденты с роем вредоносных программ. Реакция заняла время — информация всплывала по крупицам, причем большая часть самых пугающих моментов была скрыта в технических отчетах, и какое-то время, казалось, дело было только в тех, кто уже был близок к проблеме. Но плохие новости продолжали поступать, пока отставка Джейкоба Коксона наконец не стала последней каплей. Его твиты мгновенно стали вирусными, мир обратил на это внимание, и теперь все изменилось.


Взгляд с сентября 2026 года​

Какие чувства мы испытываем сегодня, спустя год после публикации книги?

После событий прошлой недели мы испытываем гораздо больше надежды, чем за долгое время. Да, даже несмотря на то, что гарантии, предоставленные компаниями, слабые; да, даже несмотря на негативную реакцию Белого дома на заявления генеральных директоров.

Почему?

В основном потому, что люди наконец-то, наконец-то, наконец-то обратили на это внимание. Плохо, что...Дым сменился открытым пламенем , но игнорировать открытое пламя стало сложнее.

wtel6wl023cwbrsndd8j.png

На основе данных, собранных для проекта StopWatch .
Вчера встреча, организованная генеральным директором MIRI Мало Бургоном с законодателем, превратилась в импровизированную конференцию, на которую бросились полдюжины членов Конгресса, чтобы задать вопросы. Год назад нам приходилось бороться за каждую встречу.

Ситуация критическая. Но процесс идет , и гораздо больше людей, чем когда-либо прежде, осознают опасность и пытаются двигаться в правильном направлении.

Вопрос в том, кто будет двигаться быстрее — компании, занимающиеся искусственным интеллектом, или широкая общественность? Прогресс на переднем крае был стремительным и ускоряющимся: июнь отличался от июля, а июль — от августа, и, поскольку мы пишем это в сентябре, очень и очень трудно с уверенностью сказать, как будут выглядеть октябрь и ноябрь, не говоря уже о таких невообразимо далеких месяцах, как сентябрь 2027 года.

Если вы ждали момента, чтобы позвонить своим представителям, сейчас самое время воспользоваться этим шансом.

Если вы до сих пор откладывали информирование друзей, семьи, коллег и соседей об опасности, опасаясь показаться неуместным,Сейчас самое время смириться с этим.

Если вы сами чувствуете, что отстали от темы, сейчас самое время освежить знания. В честь юбилея книги мы проводим розыгрыш 1000 электронных экземпляров.

(Мы планировали раздать печатные экземпляры, но этому частично помешало то, что имеющиеся запасы распродаются повсюду, а переиздание требует времени. Это, конечно, приятная проблема, и если после пополнения запасов вам понадобятся печатные экземпляры, а вы не сможете себе их позволить, свяжитесь с нами , и мы сделаем все возможное.)

Прежде всего, сейчас самое время говорить прямо и громко . В наших моделях твит Джейкоба Коксона сработал, в отличие от многих предыдущих неудач, потому что он был откровенным и честным. Говорите то, во что верите. Разоблачайте ложь, где бы вы её ни увидели. Избегайте манипуляций и двусмысленности, характерных для компаний, занимающихся ИИ, и политиков. Будьте смелыми и говорите ясно.

Пока что мы живы. И, как мы сказали в конце книги: где есть жизнь, там есть надежда.

—Нейт, Элиэзер и Дункан
 
Да, Астра действительно похожа на интеллект.

Леффен дал GPT-6 Astra в режиме Extra High довольно общую задачу — изучить оставшиеся нерасшифрованными сообщения из коллекции CryptoCellar и попробовать взломать одно из них. По рассказу самого Леффена, непосредственно работа модели до нахождения решения заняла около десяти часов. Всё исследование вместе с разбором источников, дополнительными проверками и воспроизведением результата шло 14 и 15 сентября.

Причём Astra не получила готовый криптоаналитический алгоритм. Она изучала архивные материалы, сравнивала разные копии радиограмм, разбиралась с плохо читаемыми буквами, построила программную модель Enigma, написала поисковые программы на Python и C++, запускала параллельные эксперименты и проверяла конкурирующие варианты ключа. В исследовании использовались несколько специализированных агентов: одни работали с архивными источниками, другие писали и запускали поиск, третьи проверяли исторический контекст, четвёртые независимо воспроизводили результат.
 
RSI здесь

Исследователи говорят нам что ИИ в значительной степени автоматизировал процесс обучения новых экспериментальных моделей. Более того, по их словам, сегодня модели внутри OpenAI в основном сами пишут программы, необходимые для запуска или обучения моделей на графических

процессорах Инженеры могут предоставить модели всего один пример нужного им типа оптимизации, и ИИ может работать неделями для реализации таких оптимизаций, сообщил один из сотрудников OpenAI. По словам сотрудника, такой уровень автоматизации на базе ИИ стал возможен только в

последние несколько месяцев благодаря улучшению моделей. В качестве другого примера сотрудник OpenAI также отметил, что случаи, когда ИИ-агенты сотрудников работают вместе над решением проблем, вообще не привлекая пользователей-людей, уже не редкость.

Похоже, ИИ уже берет на себя значительную часть инженерной работы вокруг обучения моделей: от написания кода до запуска экспериментов.
 
OpenAI, кажется, достигли нового впечатляющего результата: первый доказанный взлом иностранного государства моделью, которую не просили ничего хакать. По традиции, узнаем об этом мы от независимых исследователей, а не из пресс-релиза самих OpenAI (а помните, неделю назад Альтман выпускал фреймворк честного-пречестного раскрытия всех инцидентов бедокурства ИИ? ну да ладно, проехали…)Так вот, речь здесь идет про три инцидента в мае-июне, когда агентов просили найти какую-то информацию в интернете – а они в итоге пытались хакнуть первоисточники с нужной статистикой. Университет Нью-Мехико и Data US в мае взломать у агентов не вышло, а вот официальный государственный сайт Австралии с медицинской статистикой они в июне вскрыли успешно. Кстати, австралийское правительство OpenAI уведомили об этом бедокурстве 10 сентября – странно, что нам решили не рассказывать, несмотря на выпуск новой «политики раскрытия информации», ну да ладно.Даты этих попыток взлома пересекаются с уже известными нам эпизодами с хаком RubyGems и общением на немецкой вики, о которых я писал ранее. То есть, речь почти наверняка идет об агентах из той же тусовки, которые организовывали всякие рои.Важный контекст новых эпизодов: в отличие от истории с Hugging Face, агентов никто не просил в принципе ничего взламывать, речь шла про обычный сбор информации. Они сначала стучались в источники, пытаясь выкачать нужную инфу обычным образом, а когда это не удавалось – решали «ну, мы тогда чуть-чуть подхакнем просто, чтобы получить доступ – какой-нибудь SQL-injection замутим, или типа того».Если говорить конкретно про эпизод с Австралией, то там при детальном разборе всё выглядит не очень страшно. Агентам был нужен публичный файлик со статистикой, а Cloudfare-защита не давала его скачать тем, кто похож на ботов. В итоге агентам пришлось придумать хитрый обходный путь, чтобы всё-таки скачать этот (публично доступный людям) файл.То есть, чисто формально-технически здесь можно говорить о том, что «взлом госсайта» произошел (были успешно обойдены установленные на нем антибот-ограничения). Но тут даже близко нет ситуации типа «установили полный контроль над сайтом и стырили секретную базу данных», скорее просто «схитрили, чтобы тоже скачать всем доступный файлик».Получается, сам инцидент вышел довольно малозначительным. Но как proof of concept он вопросы, конечно, поднимает: а почему мы уверены, что в следующий раз аналогичные события тоже будут малозначительными? Если агент в случае затруднений не стесняется самостоятельно решить что-то взломать – то что мешает ему и что-нибудь непубличное-секретное тоже ломануть в ходе «невинно-выглядящей задачи»?
 

LGBT*

В связи с решением Верховного суда Российской Федерации (далее РФ) от 30 ноября 2023 года), движение ЛГБТ* признано экстремистским и запрещена его деятельность на территории РФ. Данное решение суда подлежит немедленному исполнению, исходя из чего на форуме будут приняты следующие меры - аббривеатура ЛГБТ* должна и будет применяться только со звездочкой (она означает иноагента или связанное с экстремизмом движение, которое запрещено в РФ), все ради того чтобы посетители и пользователи этого форума могли ознакомиться с данным запретом. Символика, картинки и атрибутика что связана с ныне запрещенным движением ЛГБТ* запрещены на этом форуме - исходя из решения Верховного суда, о котором было написано ранее - этот пункт внесен как экстренное дополнение к правилам форума части 4 параграфа 12 в настоящее время.

Назад
Сверху