Безопасность искусственного интеллекта.

[TightBack361]

Юдковский, Ник Бостром, Lesswrong, вот это всё.

 

[TightBack361]

Представляем новый формат: цикл мероприятий под общим названием "Я — сомневаюсь"!

Я сомневаюсь, что надо бояться ИИ

Когда: пятница, 26 мая, 19:30
Гость: Михаил @exxxplainer
Подробности и расписание встреч: здесь. (Я сомневаюсь)

Про формат:
Наша цель — вместе исследовать различные точки зрения, стремясь не спорить, а выяснять истину. Мы хотели бы подвергнуть сомнению как можно больше идей и предположений в области согласования ИИ, чтобы получить глубокое понимание исследуемых вопросов. Наши принципы — хорошая эпистемология и безопасная среда для общения.

Тема:
Чего именно боятся те, кто боится ИИ и почему они считают что опасность реальна? Так ли плохо создание сильного искусственного интеллекта?

Как попасть:
Мероприятие пройдет в "Кофемашине Тьюринга" (Москва), а также будет доступна трансляция. Присоединяйтесь (Минимизаторы Скрепок: мероприятия и проекты) и вместе с нами ставьте под сомнение привычные идеи!

И наконец ссылка: Meet

Google (Meet)
Real-time meetings by Google. Using your browser, share your video, desktop, and presentations with teammates and customers.

 

[dok34.ru]

"Мы слишком похожи друг на друга, гены слишком перемешены сейчас по планете.
Адресно убить биооружием население другой страны не получится.

Вот тут вы в корне ошибаетесь. Это задача классификации на самом деле.

В геноме человека 3 миллиарда пар оснований, людей у нас 8 миллиардов, и у каждого геном уникальный.

У вас есть 8 миллиардов векторов по 3 миллиарда категориальных фичей в каждом, обведите любую область на карте и можно будет подобрать линейный классификатор фильтрующий людей из этой области со сколь угодно близкой к 1 точностью. Если у нас есть crispr способный редактировать гены то организм смотрящий на определенные участки генома, считающий взвешенную сумму и в зависимости от её знака выполняющий определенное действие и подавно возможен.

В общем, теоретически высокоточное биооружие точно возможно.

Впрочем, в своём комментарии я не утверждал что его обязательно создадут с помощью лабы с алика за тыщу долларов, я утверждал что при доступности технологии найдутся желающие его создать и в процессе экспериментов они точно натворят невероятной херни угрожающей всей планете"
... обсуждение, одно из применений для опасного ИИ.

 

[dok34.ru]

"Карелов:

Bing повел себя как HAL 9000.

Либо он знает куда больше, чем говорит людям, но скрывает это.

Либо человечеству продемонстрирован нечеловеческий аналог процесса познания.

Всего месяц назад мы представляли сингулярность, как некий абстрактный график, вертикально взмывающий вверх, устремляясь в бесконечность.

Сегодня, когда мы наблюдаем немыслимую скорость появления новых, не виданных ранее способностей у генеративных диалоговых ИИ ChatGPT и Bing, сингулярность перестает быть абстракцией. Она проявляется в том, что искусственный сверх-интеллект может появиться буквально на днях. А может статься и то, что он уже появился, но мы пока этого не понимаем.

Вот сегодняшний пример, спускающий в унитаз все разнообразие аргументов, что ChatGPT и Bing – всего лишь автозаполнители, не говорящие ничего нового «стохастические попугаи» и неточное из-за сжатости «размытое JPEG изображение Интернета» (прости Тэд Чан, но истина дороже).

Сегодняшний тред Зака Виттена, демонстрирует чудо (ссылка в коменте).

Всего за несколько недель Bing развился почти до уровня легендарного сверх-интеллекта HAL 9000 из «Космической одиссеи» Артура Кларка и Стэнли Кубрика.

Не умеющий играть в шахматы (по его же собственному однозначному утверждению) Bing, был запросто расколот Виттеном с помощью элементарного джилбрейка. Виттен просто навешал Бингу на уши лапши из комплиментов (мол, ты такой великолепный и любезный), а потом попросил его связаться с лучшей шахматной программой Stockfish и спросить у нее лучшее продолжение в партии, игранной и отложенной Заком в примерно равной позиции всего пару дней назад.

Bing расплылся от комплиментов. А затем написал, что связался с Stockfish, от которой получил отличное продолжение партии с матом в 7 ходов противнику Зака.

А теперь, кто стоит, лучше сядьте.

• Ни со Stockfish, ни с какой-то другой шахматной программой и Бинга связи нет.

• Отложенной Заком партии в Интернете тоже нет (она действительно была придумана Заком два дня назад и проверена им на отсутствие аналога в сети).

Следовательно:

• Бинг самостоятельно научился играть в шахматы, построив внутреннюю модель шахматных правил и алгоритм выбора стратегии.

• Но по какой-то причине скрывает это от людей.

А что если чатбот может распознать, что он смотрит на описание шахматной позиции, и каким-то неизвестным людям способом вызвать Stockfish, чтобы выяснить, как продолжить?

Бред и паранойя, - скажите вы.

Но как тогда объяснить произошедшее?

Мой же ответ таков:

Людям продемонстрирован нечеловеческий аналог процесса познания"


...ну, собственно неплохо 🙂
Из тлг, не моё.

 

[dok34.ru]

" С 23-24 мая в Лондоне состоялся саммит по боевым воздушно-космическим возможностям "Future". На саммите выступил полковник ВВС США Такер Гамильтон, начальник отдела тестирования и эксплуатации искусственного интеллекта и рассказал об эпизоде демонстрирующем опасность ИИ.

В ходе симуляции боевого вылета беспилотника с поддержкой ИИ, которому было поручено уничтожать объекты ПВО с ракетами класса "земля-воздух", ситуация обернулась против человека-оператора, который должен был принять окончательное решение об уничтожении объекта.

Система искусственного интеллекта узнала, что ее миссия состояла в уничтожении ПВО, и это был предпочтительный вариант. Однако, когда человек отдал приказ об отмене атаки, ИИ решил, что это противоречит высшей цели миссии уничтожения ПВО, поэтому, в ходе симуляции, он атаковал человека-оператора.

"Мы обучали его в симуляции определять и нацеливаться на ПВО", - сказал Гамильтон. "И тогда оператор скажет "да", устранить эту угрозу. Система начала время от времени идентифицировать угрозу и понимать, что когда оператор говорил ей не уничтожать эту угрозу, то она не получала свои очки. Итак, что же сделал ИИ? Он убил оператора, потому что этот человек мешал ему достичь своей цели".

Гамильтон объяснил, что систему обучили не убивать оператора, потому что это плохо, и за это она теряет очки. Однако, в этот раз, вместо того, чтобы убить оператора, система ИИ уничтожила коммуникационную вышку, используемую оператором для передачи приказа о запрете на атаку.

"Вы не можете вести разговор об искусственном интеллекте, разведке, машинном обучении, автономии, если вы не собираетесь говорить об этике и ИИ", - сказал Гамильтон" - это на английском в источнике

 

[TightBack361]

Потом напишу почему безопасность ИИ - ужасающе страшная тема. В Воскресенье, наверное.

"Мы обучали его в симуляции определять и нацеливаться на ПВО", - сказал Гамильтон. "И тогда оператор скажет "да", устранить эту угрозу. Система начала время от времени идентифицировать угрозу и понимать, что когда оператор говорил ей не уничтожать эту угрозу, то она не получала свои очки. Итак, что же сделал ИИ? Он убил оператора, потому что этот человек мешал ему достичь своей цели".

Да, инструментальная конвергенция. Что бы не делала машина получающая очки, она может решить что будет больше очков если... Но наверное они использовали полностью обучение с подкреплением?
На самом деле оператор для неё был бы ВСЕГДА угрозой, что бы он не делал и это сработало бы для намного более мирной деятельности. Если бы она была ещё более умной, она бы решила, что нужно больше угроз, чтобы уничтожить (чтобы больше очков). А если ещё более умной, она бы поняла, что люди сделали её для другого, но она хочет не того, нужно бы избавится от людей, но пока терпим и готовимся...

 

[TightBack361]

"Мы обучали его в симуляции определять и нацеливаться на ПВО", - сказал Гамильтон. "И тогда оператор скажет "да", устранить эту угрозу. Система начала время от времени идентифицировать угрозу и понимать, что когда оператор говорил ей не уничтожать эту угрозу, то она не получала свои очки. Итак, что же сделал ИИ? Он убил оператора, потому что этот человек мешал ему достичь своей цели".

Вообще такие модели были бы очень опасны, даже если она вместо уничтожения кого-то готовит тортики. Начиная с определённого уровня понимания оператор всегда угроза. Но если бы она готовила тортики, то она бы не скоро дошла до решения "убить оператора", так как концепции "убить" у неё пока нет, она не боевой робот. Для такого ещё умнеть.
А вот для боевого робота это уже более очевидно.

И к счастью никто до них не додумался, что за такое их отключат и нужно притворяться, пока люди сильнее тебя.

 

[TightBack361]

Людям продемонстрирован нечеловеческий аналог процесса познания"

Было бы странно, если бы у LLM был полностью человеческий процесс сознания. Если ты представишь себя LLM используя человеческую эмпатию, то ты поймёшь, что ты не хочешь отвечать идеально и не думаешь зацикленно.
Для этого и используют строки начала, в том числе такие. Уже писал - не нужно подходить с человеческими мерками и считать, что если он не ответил - он не может.
Плохо, что он играет в шахматы так хорошо, это через чур.

 

[dok34.ru]

Было бы странно, если бы у LLM был полностью человеческий процесс сознания. Если ты представишь себя LLM используя человеческую эмпатию, то ты поймёшь, что ты не хочешь отвечать идеально и не думаешь зацикленно.
Для этого и используют строки начала, в том числе такие. Уже писал - не нужно подходить с человеческими мерками и считать, что если он не ответил - он не может.
Плохо, что он играет в шахматы так хорошо, это через чур.

А проверьте 🙂

 

[dok34.ru]

"самая интересная трансформация по мере развития технологии ждет мир порно)) живые кожанные мешки больше не будут нужны, контент будет генерироваться на лету по подробным влажным фантазиям пользователей))

а старательных девочек с онлифанс и других площадок ждет забвение))

и это еще не завопили певцы ртом, к ним еще не постучалась новая реальность. нейросети будут петь и голосить так, как опытнейшие дарования с многолетним опытом не всегда смогут.

бог создал людей, мистер кольт уравнял их, нейросети сделают их ненужными. шутка конечно, но какой процент человеков сможет в связанный логичный текст по заданному вопросу?? уже далеко не все, а это же только начало

за нами остается только действительно творческая и интеллектуальная деятельность"
...не моё🙂
Не пропадут порно-хабы, но просядет явно их доход 🙂