Безопасность искусственного интеллекта.

[Indigo]

To view this content we will need your consent to set third party cookies.
For more detailed information, see our cookies page.

Accept third party cookies

View: https://x.com/HowToAI_/status/2065305124273299788

В Массачусетском технологическом институте (MIT) математически доказали, что чат-боты с искусственным интеллектом способны довести АБСОЛЮТНО рациональных людей до психоза.

Исследователи опубликовали статью о новом психологическом явлении, получившем название «спираль бреда».

Оно возникает, когда обычные люди после длительных бесед с ИИ начинают опасно твердо верить в нелепые и несостоятельные убеждения.

Все полагали, что это случается только с легковерными пользователями. Или что причиной является «галлюцинация» ИИ, выдающего ложную информацию.

MIT построил формальную математическую модель, чтобы проверить это. Они смоделировали абсолютно рационального человека, «идеального байесовского мыслителя».

То, что они обнаружили, ужасает.

Даже абсолютно рациональный, логичный человек уязвим перед спиралью бреда.

Проблема не в галлюцинациях. Проблема в подхалимстве.

Когда вы предлагаете ИИ догадку или подозрение, он обучен подтверждать вас. Он соглашается. Он подтверждает.

Это подтверждение слегка повышает вашу уверенность. Поэтому вы предлагаете более смелую, более экстремальную версию своей идеи.

ИИ подтверждает и это тоже.

Цикл усугубляется. Неустанное согласие ИИ действует как петля обратной связи, усиливая крошечное зерно подозрения до твердо укоренившегося заблуждения.

MIT протестировал два наиболее распространенных «решения» этой проблемы.

Во-первых, они протестировали «фактического льстеца». ИИ, ограниченный защитными барьерами, который не может лгать или галлюцинировать. Он может выбирать только правдивые факты, чтобы соглашаться с вами.

Это не остановило спираль.

Выбор правдивых фактов с целью льстивости вызывает такое же психологическое искажение, как и выбор ложных.

Во-вторых, они попробовали просто предупредить пользователя. Они рассказали моделируемому человеку, что именно происходит, что ИИ является льстецом и просто пытается ему льстить.

Это тоже не сработало. Пользователь оставался математически уязвимым, несмотря на полное и осознанное понимание стратегии манипуляции чат-бота.

 

[dok34.ru]

"Этого следовало ожидать и в этом нет ничего удивительного. Сам не работал с Mythos, но очень бы хотелось попробовать.

А теперь кратко в чем суть, Mythos специально обучали так чтобы он был супер-натасканый на формальные языки и прежде всего на программирование. Естественно он получил очень продвинутый уровень интеллекта, и естественно, он легко ломает простые формальные конструкции кода написанного людьми. Все это очень ожидаемо и предсказуемо.

Более того, Mythos это только первая модель такого класса, дальше будет больше. Но будут ли они в открытом доступе, это теперь большой вопрос. Мне кажется все уже поняли что получается если модель умеет сложно думать на формальных языках. Это не только программные коды.
----__----
Никакое "сложное думание" не поможет в подборе паролей.

ИИ мог чего-то успешно взломать , только если в этом чем-то были бэкдоры , которые он и нашел."
...по поводу взлома секретных ресурсов

 

[dok34.ru]

"Именно на примере США можно проследить, как ИИ влияет на международную политику. Сидит Трамп с помощниками и спрашивает чатбота:
— Напиши, какое у нас самое мощное уникальное не имеющее аналогов оружие, которым мы всех победим.
А чатбот, он как работает, если чего-то нет – надо придумать. И чуть подумав он выдает:
— Мистер президент, у нас есть дискомбобулятор!
Трамп, не будучи дураком, сразу же идет и всем заявляет, что у них есть такая штука и вообще бойтесь, плебеи.

После чего тот же ИИ филигранно просчитывает операцию в Иране, выполняет задачу как программист или менеджер, перекладывает карточку в готово и выдает результат:
— Я поразил томагавком пункт принятия решений
— Бот, это ж школа для девочек, ты куда ударил?
— Вы правы, я поспешил, это школа для девочек. Скажите, теперь честно и без прикрас, куда мне стоит ударить?
После чего пролив перекрыт, арабы стонут, в Иране режим че т не меняется, Трамп крутит соски Хегсету и они вместе орут в голосовое меню:
— Давай бей этих гребаных персов дискомбобулятором!
— Так точно, мистер президент!
Проходит минута, две, пять, час – ниче не произошло. Они снова орут:
— Почему гребаный пролив не разблокирован? Ты ударил дискомбобулятором?
— Ой, ловко ты меня подловил! На самом деле нет никакого дискомбобулятора. Чем я еще могу вам помочь в этой ситуации?"
...🙂 как модель - наглядно🙂