Безопасность искусственного интеллекта.

[Боpя]

Я хочу сказать то, что суть ИИ - это выйти за рамки обучающего механизма. Т.е. когда она обучается так, как в неё не заложено. Проблема в том, что этого нет. И в ближайшее время не будет...

Ну тут типа понятно.
Глазки от папы, губки от мамы, а характер от товарища Сталина

 

[TightBack361]

Может так лучше и в моей теме затерялось бы, но мне нравитесь все.

 

[dok34.ru]

Нейросеть со своим мнением: исследователи заставили ИИ размышлять вслух

Новый метод обучения позволит использовать умные машины даже в медицине.

www.securitylab.ru

Собственно интересное направление и для развития сетей, и для безопасности..

 

[dok34.ru]

"Итак, что же есть «искусственный интеллект» в рамках действующих подходов? Желательно всем уяснить, что это – единый термин, который не может быть корректно истолкован покомпонентно.
То есть «искусственный интеллект» не равно «искусственный» + «интеллект», и все попытки в спорах доказывать что-то про ИИ, ссылаясь на определение понятия «интеллект», - ошибочный подход.

Итак:

Искусственный интеллект –
комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их.
Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе в котором используются методы машинного обучения), процессы и сервисы по обработке данных и поиску решений;
Источник: Национальная стратегия развития искусственного интеллекта на период до 2030 года (утв. Указом Президента Российской Федерации от 10.10.2019 г. № 490). (в ред. Указа Президента РФ от 15.02.2024 N 124)

Понятие сложное, и наиболее интересными, ключевыми его моментами видятся следующие (выделены жирным):
- позволяющий имитировать когнитивные функции человека
В соответствии с действующими подходами в психологии и смежных дисциплинах, под когнитивными функциями человека понимаются: способность понимать, познавать, изучать, осознавать, воспринимать и перерабатывать (запоминать, передавать, использовать) внешнюю информацию.
То есть чтобы быть ИИ - система должна «понимать, познавать, изучать, осознавать, воспринимать и перерабатывать (запоминать, передавать, использовать) внешнюю информацию.»
- включая поиск решений без заранее заданного алгоритма

Алгоритм –
система вычислений по строго определенным правилам, которая после последовательного их выполнения приводит к решению поставленной задачи. (источник: Словарь русского языка: В 4-х т. / РАН, Ин-т лингвистич. исследований; Под ред. А.П.Евгеньевой.)

Чтобы быть ИИ, система должна искать решения без заранее строго определенного набора правил и последовательности их исполнения. При этом нигде не сказано, что правил быть не должно. Но если набор правил вариативен и может формироваться на основании некоторой внешней информации, а последовательность выполнения вычислений – не будет однозначно определенной – система может быть признана ИИ.
- получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их
Результаты ИИ при решении задачи должны быть сопоставимы с результатами человека или превосходить их.
Сопоставимы, кстати, означает, что результаты ИИ вовсе не обязаны превосходить человека. К тому же нигде не говорится о квалификации и качестве результатов этого человека. И это открывает весьма интересный подход."

 

[dok34.ru]

"Как человек, несколько причастный к нейросетям, попробую "на пальцах по-монтёрски" немного пояснить.

======================

1. Ноги растут у всех этих LLM (больших языковых моделей) из старой-престарой задачи угадывания следующего символа в последовательности. Так на заре цивилизации практически измеряли энтропию реального языка на букву. Результаты же (действительно мощные и во многом неожиданные даже для разработчиков) получились применением "принципа большого молотка" - контекст модели удлинили до бесчувствия.

Но из первичной формулировки видно, что ГоПоТа будет отвечать "наиболее вероятно", то есть - как большинство пишущих тексты. Отсюда уже должно быть ясно, что никакого творчества от ГоПоТы ждать не надо, но заметить некоторые неочевидные связи она может (та самая длина контекста, кратно превосходящая длину средней фразы).

2. Пока еще интернет заполнен текстами, написанными в основном людьми. Но доля текстов "от LLM" растет ширнармассы пользуются ими, а "Гугл-кэш помнит всё". Однако настораживает аналогия из биологии: ни один вид не может питаться собственным дерьмом (чужим - может).

А LLM надо постоянно актуализировать - хотя бы потому, что меняются фамилии президентов стран. И эта актуализация, т.е. дообучение сильно страдает от питания собственным продуктом. Поэтому стали появляться публикации о попытках распознать текст от LLM (отличить от текста, написанного человеком) - аналог детектора синтезированных фото/видео/речи - Гитхаб переполнен такими проектами.

3. Совсем уж далекие от темы ширнармассы недавно бились в истериках типа "ИИ вытеснит кожаных мешков из жизни", "ИИ овладел творческими профессиями" и т.п.

На самом деле, успешный опыт написания ГоПоТой курсовиков и сдачи экзаменов показывает скорее то, что для большинства занятий, считаемых "интеллектуальными" интеллект не нужен.

Пример - чудесная такая профессия techwriter. Человек пишет "руководство оператора" к разработанной программе по информации, полученной от разработчиков. Успешно заменен ГПТ, но причем тут творчество???"
...мнение