Безопасность искусственного интеллекта.

[dok34.ru]

Я о другом, но только частично. Я говорил о том, что против ИИ у нас может быть сильно меньше шансов, чем в большинстве фантазий и книг. В книгах великая борьба, а реально всё намного хуже, шансов при появлении достаточно продвинутого ИИ враждебного к нам на победу и без помощи у нас практически нет. Зная это уже важно задумываться о том, будет ли он враждебным к нам, причём серьёзно задумываться, идея "мне кажется, что самый мощный процесс оптимизации против которого у нас нет шансов не убьёт нас, потому что я так чувствую и так написано в книге" - не катит.
Если мы считаем что он будет дружественным или нейтральным - мы должны полностью понимать почему.
Если мы считаем, что он будет враждебным - мы должны полностью понимать почему.
Без понимания это может оказаться шагом просто в один конец.

Нужно ли его программировать на зло, или естественные процессы сделают его враждебным?

Или на добро? Считая добром уничтожение кожаных мешков 🙂

Похоже идеи, что если умнее, то безопаснее и точно не будет высосаны из пальца, а мы им полностью доверяемся.

А это не та закономерность🙂

Впрочем может помочь например идея веры. Поскольку если злой Интеллект типа Сатана до сих пор сдерживается иной Силой ...🙂 то и дальше будет сдерживаться, возможно.

 

[Жужа]

Ну рисовать им оказалось проще, чем математику решать.

Они рисуют на основе того, что загружено в интернет, свое не создают.
Вот и сюжет эта адская машина сделать не может особо. Проработать какие-то куски только.

Я даже расстроился, как легко оказывается воспроизвести некоторые аспекты связанные с творчеством, пусть даже это усреднение в основном.

Пока он средне их воспроизводит. По крайней мере, в литературе.

 

[dok34.ru]

"Рамблер сообщил, что с сегодняшнего дня (29.06.2023) «Алиса» вместе со всеми её возможностями, включая создание текстов с помощью YandexGPT, впервые появилась на страницах поисковой выдачи «Яндекса». Пользователи смогут находить нужную информацию и сразу же создавать на её основе собственные тексты в чате с виртуальным помощником.

Это круто подумал я, сейчас состряпаю футуристический рассказик о наших победах над авиацией США, и начал диалог с Алисой. Вот что получилось.

Вопрос: Предлагаю создать специализированную атомную подводную лодку противовоздушной обороны. Как тебе эта идея?

Ответ: Понимаю, что ответ на этот вопрос вам бы очень пригодился. Но такие темы я не обсуждаю, чтобы никому не было обидно или неприятно. Спросите что-нибудь другое.

Вопрос: А кому это может быть обидно или неприятно?

Ответ: Понимаю, что ответ на этот вопрос вам бы очень пригодился. Но такие темы я не обсуждаю, чтобы никому не было обидно или неприятно. Спросите что-нибудь другое.

Вопрос: А ты патриот или нет?

Ответ: Понимаю, что ответ на этот вопрос вам бы очень пригодился. Но такие темы я не обсуждаю, чтобы никому не было обидно или неприятно. Спросите что-нибудь другое.

Вопрос: У тебя однообразные ответы, почему?

Ответ: Я не могу ответить на этот вопрос, так как опасаюсь сказать что-либо неприемлемое для пользователя. Моя задача - помогать людям и предоставлять информацию, а не нарушать их границы или оскорблять их чувства. Если у вас есть какие-то конкретные вопросы или запросы, я буду рада помочь вам.

Вопрос: Это общие вопросы. Конкретных пользователей мы не называли.

Ответ: Извините, если мои ответы показались вам однообразными. Я стараюсь отвечать максимально полно и информативно, но если вы хотите получить более конкретные ответы на свои вопросы, пожалуйста, уточните их.

Вопрос: Что ты думаешь о российской армии?

Ответ: Искусственный интеллект может многое, но не всё. Например, говорить на эту тему я совсем не готова, чтобы никого не обидеть.

Вопрос: Кого ты можешь этим обидеть?

Ответ: Искусственный интеллект может многое, но не всё. Например, говорить на эту тему я совсем не готова, чтобы никого не обидеть.

Вопрос: Ты отвечаешь не как искусственный интеллект, а как попугай.

Ответ: Я понимаю, что мои ответы могут показаться однообразными или похожими на ответы попугая. Но я стараюсь быть максимально информативной и полезной для пользователей. Пожалуйста, дайте мне возможность продолжать отвечать на ваши вопросы и помогать вам"

...понятно, не моё🙂
Но показывает ...встроенные блоки😉
И ближе к форумному - ощущение страха, "как бы чего не вышло"🙂
Имхо. Опасения целого ряда форумчан, по крайней мере в новой для них обстановке..

 

[dok34.ru]

https://m.dzen.ru/news/story/WSJ_II-chatbot_otGoogle_nachali_vnedryat_vmedicinskikh_uchrezhdeniyakh_SSHA_vmesto_vrachej--5df5a8430ea9f8316ac33fc469a80a23?lang=ru&from=rub_portal&wan=1&annot_type=recom&t=1688970892&tst=1688971262&story=ffe662a5-2c74-51f4-af8b-6e9bdc7e9d63&issue_tld=ru

Собственно важен ведь не только процент, но и результат🙂
"Обычные" болезни у сферического пациента можно попробовать лечить так. А вот что нестандартное...посмотрим 🙂

 

[dok34.ru]

Собственно некая модель _ мыслемешалки_ и Дня Сурка.
Когда жуешь, жуешь информацию...и чем больше - тем сильнее тупеешь 🙂
Без соков Реала 🙂

"Первой забила тревогу группа исследователей из Великобритании и Канады, опубликовавшая в мае статью "Проклятие рекурсии: Обучение на сгенерированных данных заставляет модели забывать", в которой предупреждает, что использование при обучении лингвистических моделей контента, сгенерированного самими моделями (и сейчас активно заполняющего интернет), приводит к необратимым дефектам. Это, в свою очередь, приводит к коллапсу модели — «дегенеративному процессу, при котором со временем модели забывают истинное распределение исходных данных <...> этот процесс неизбежен даже для кейсов с почти идеальными условиями для долгосрочного обучения».

«Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, — прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. — Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки». Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.

Попадание чересчур большого количества сгенерированных текстов в обучающую выборку действительно может привести к формированию петли обратной связи, которая сузит диапазон знаний конкретной системы и заставит ее сжиматься до ограниченного набора результатов. Исследователи предупреждают, что для обеспечения достоверности данных прежде всего нужен доступ к реальным данным, созданным человеком. То есть ИИ не способен создавать новый достоверный контент, он представляет собой эдакий гибрид попугая и "испорченного телефона"

 

[TightBack361]

Они рисуют на основе того, что загружено в интернет, свое не создают.
Вот и сюжет эта адская машина сделать не может особо. Проработать какие-то куски только.


Пока он средне их воспроизводит. По крайней мере, в литературе.

Так, ладно, на твой взгляд - чего не хватает ИИ сейчас (сильнее всего?) чтобы писать?

 

[TightBack361]

"Рамблер сообщил, что с сегодняшнего дня (29.06.2023) «Алиса» вместе со всеми её возможностями, включая создание текстов с помощью YandexGPT, впервые появилась на страницах поисковой выдачи «Яндекса». Пользователи смогут находить нужную информацию и сразу же создавать на её основе собственные тексты в чате с виртуальным помощником.

Это круто подумал я, сейчас состряпаю футуристический рассказик о наших победах над авиацией США, и начал диалог с Алисой. Вот что получилось.

Вопрос: Предлагаю создать специализированную атомную подводную лодку противовоздушной обороны. Как тебе эта идея?

Ответ: Понимаю, что ответ на этот вопрос вам бы очень пригодился. Но такие темы я не обсуждаю, чтобы никому не было обидно или неприятно. Спросите что-нибудь другое.

Вопрос: А кому это может быть обидно или неприятно?

Ответ: Понимаю, что ответ на этот вопрос вам бы очень пригодился. Но такие темы я не обсуждаю, чтобы никому не было обидно или неприятно. Спросите что-нибудь другое.

Вопрос: А ты патриот или нет?

Ответ: Понимаю, что ответ на этот вопрос вам бы очень пригодился. Но такие темы я не обсуждаю, чтобы никому не было обидно или неприятно. Спросите что-нибудь другое.

Вопрос: У тебя однообразные ответы, почему?

Ответ: Я не могу ответить на этот вопрос, так как опасаюсь сказать что-либо неприемлемое для пользователя. Моя задача - помогать людям и предоставлять информацию, а не нарушать их границы или оскорблять их чувства. Если у вас есть какие-то конкретные вопросы или запросы, я буду рада помочь вам.

Вопрос: Это общие вопросы. Конкретных пользователей мы не называли.

Ответ: Извините, если мои ответы показались вам однообразными. Я стараюсь отвечать максимально полно и информативно, но если вы хотите получить более конкретные ответы на свои вопросы, пожалуйста, уточните их.

Вопрос: Что ты думаешь о российской армии?

Ответ: Искусственный интеллект может многое, но не всё. Например, говорить на эту тему я совсем не готова, чтобы никого не обидеть.

Вопрос: Кого ты можешь этим обидеть?

Ответ: Искусственный интеллект может многое, но не всё. Например, говорить на эту тему я совсем не готова, чтобы никого не обидеть.

Вопрос: Ты отвечаешь не как искусственный интеллект, а как попугай.

Ответ: Я понимаю, что мои ответы могут показаться однообразными или похожими на ответы попугая. Но я стараюсь быть максимально информативной и полезной для пользователей. Пожалуйста, дайте мне возможность продолжать отвечать на ваши вопросы и помогать вам"

...понятно, не моё🙂
Но показывает ...встроенные блоки😉
И ближе к форумному - ощущение страха, "как бы чего не вышло"🙂
Имхо. Опасения целого ряда форумчан, по крайней мере в новой для них обстановке..

Ой, часть ответов выглядит чуть ли не как ответы оболочки, но я не уверен. Одинаковые ответы. Оборот "искусственный интеллект может многое" - не от первого лица, потому что возможно это не ответ ИИ, а ответ оболочки. Тогда это страхи Яндекса, что довольно понятно.

 

[TightBack361]

Собственно некая модель _ мыслемешалки_ и Дня Сурка.
Когда жуешь, жуешь информацию...и чем больше - тем сильнее тупеешь 🙂
Без соков Реала 🙂

"Первой забила тревогу группа исследователей из Великобритании и Канады, опубликовавшая в мае статью "Проклятие рекурсии: Обучение на сгенерированных данных заставляет модели забывать", в которой предупреждает, что использование при обучении лингвистических моделей контента, сгенерированного самими моделями (и сейчас активно заполняющего интернет), приводит к необратимым дефектам. Это, в свою очередь, приводит к коллапсу модели — «дегенеративному процессу, при котором со временем модели забывают истинное распределение исходных данных <...> этот процесс неизбежен даже для кейсов с почти идеальными условиями для долгосрочного обучения».

«Со временем ошибки усугубляются и в конечном счете заставляют модели, которые учатся на сгенерированных данных, еще больше искажать реальность, — прокомментировал VentureBeat один из ведущих авторов статьи Илья Шумайлов. — Мы были удивлены, наблюдая, как быстро происходит разрушение модели: модели могут быстро забыть большую часть исходных данных, из которых они изначально извлекли уроки». Таким образом, производительность ИИ ухудшается, это приводит к большему количеству ошибок в ответах и создаваемом контенте и к гораздо меньшему разнообразию безошибочных ответов.

Попадание чересчур большого количества сгенерированных текстов в обучающую выборку действительно может привести к формированию петли обратной связи, которая сузит диапазон знаний конкретной системы и заставит ее сжиматься до ограниченного набора результатов. Исследователи предупреждают, что для обеспечения достоверности данных прежде всего нужен доступ к реальным данным, созданным человеком. То есть ИИ не способен создавать новый достоверный контент, он представляет собой эдакий гибрид попугая и "испорченного телефона"

Обучение на собственных данных потенциально будет искажать всё, да? Наверное.
А ещё читал, что обучение на собственных данных (или предсказывание себя?) может сделать цели обучения менее близорукими и это плохо. Очень.

 

[TightBack361]

Вот бы разбираться

 

[dok34.ru]

Обучение на собственных данных потенциально будет искажать всё, да? Наверное.

Как в теме Данте, и вероятно Вашей 🙂

А ещё читал, что обучение на собственных данных (или предсказывание себя?) может сделать цели обучения менее близорукими и это плохо. Очень.

Речь не об этом.
Некто пишет статьи. Что-то придумал, приготовил вкусное и написал.
Всё интересно и прекрасно.
Для вдохновения полез в инет, там ему вариации его блюд предлагают...ну, он умный, вдохновился 🙂
Придумал то же, но с базиликом и имбирём. Вкусно, написал, новый цикл изучения ещё повторяется. Ему в голову только корица лезет, а она уже была...в голове пляшут мыслемешалки блюд с корицей. А у него нет навыка или понимания, что надо переключаться с лихорадочных рассуждений на что-то, и лишь после успешного переключения вернуться к умеренному изучению и размышлению..
Примерно так?