Безопасность искусственного интеллекта.

[Боpя]

Я хочу сказать то, что суть ИИ - это выйти за рамки обучающего механизма. Т.е. когда она обучается так, как в неё не заложено. Проблема в том, что этого нет. И в ближайшее время не будет...

Ну тут типа понятно.
Глазки от папы, губки от мамы, а характер от товарища Сталина🙂

 

[TightBack361]

Может так лучше и в моей теме затерялось бы, но мне нравитесь все.

 

[dok34.ru]

Нейросеть со своим мнением: исследователи заставили ИИ размышлять вслух

Новый метод обучения позволит использовать умные машины даже в медицине.

www.securitylab.ru

Собственно интересное направление и для развития сетей, и для безопасности..

 

[dok34.ru]

"Итак, что же есть «искусственный интеллект» в рамках действующих подходов? Желательно всем уяснить, что это – единый термин, который не может быть корректно истолкован покомпонентно.
То есть «искусственный интеллект» не равно «искусственный» + «интеллект», и все попытки в спорах доказывать что-то про ИИ, ссылаясь на определение понятия «интеллект», - ошибочный подход.

Итак:

Искусственный интеллект –
комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их.
Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе в котором используются методы машинного обучения), процессы и сервисы по обработке данных и поиску решений;
Источник: Национальная стратегия развития искусственного интеллекта на период до 2030 года (утв. Указом Президента Российской Федерации от 10.10.2019 г. № 490). (в ред. Указа Президента РФ от 15.02.2024 N 124)

Понятие сложное, и наиболее интересными, ключевыми его моментами видятся следующие (выделены жирным):
- позволяющий имитировать когнитивные функции человека
В соответствии с действующими подходами в психологии и смежных дисциплинах, под когнитивными функциями человека понимаются: способность понимать, познавать, изучать, осознавать, воспринимать и перерабатывать (запоминать, передавать, использовать) внешнюю информацию.
То есть чтобы быть ИИ - система должна «понимать, познавать, изучать, осознавать, воспринимать и перерабатывать (запоминать, передавать, использовать) внешнюю информацию.»
- включая поиск решений без заранее заданного алгоритма

Алгоритм –
система вычислений по строго определенным правилам, которая после последовательного их выполнения приводит к решению поставленной задачи. (источник: Словарь русского языка: В 4-х т. / РАН, Ин-т лингвистич. исследований; Под ред. А.П.Евгеньевой.)

Чтобы быть ИИ, система должна искать решения без заранее строго определенного набора правил и последовательности их исполнения. При этом нигде не сказано, что правил быть не должно. Но если набор правил вариативен и может формироваться на основании некоторой внешней информации, а последовательность выполнения вычислений – не будет однозначно определенной – система может быть признана ИИ.
- получать при выполнении конкретных задач результаты, сопоставимые с результатами интеллектуальной деятельности человека или превосходящие их
Результаты ИИ при решении задачи должны быть сопоставимы с результатами человека или превосходить их.
Сопоставимы, кстати, означает, что результаты ИИ вовсе не обязаны превосходить человека. К тому же нигде не говорится о квалификации и качестве результатов этого человека. И это открывает весьма интересный подход."

 

[dok34.ru]

"Как человек, несколько причастный к нейросетям, попробую "на пальцах по-монтёрски" немного пояснить.

======================

1. Ноги растут у всех этих LLM (больших языковых моделей) из старой-престарой задачи угадывания следующего символа в последовательности. Так на заре цивилизации практически измеряли энтропию реального языка на букву. Результаты же (действительно мощные и во многом неожиданные даже для разработчиков) получились применением "принципа большого молотка" - контекст модели удлинили до бесчувствия.

Но из первичной формулировки видно, что ГоПоТа будет отвечать "наиболее вероятно", то есть - как большинство пишущих тексты. Отсюда уже должно быть ясно, что никакого творчества от ГоПоТы ждать не надо, но заметить некоторые неочевидные связи она может (та самая длина контекста, кратно превосходящая длину средней фразы).

2. Пока еще интернет заполнен текстами, написанными в основном людьми. Но доля текстов "от LLM" растет ширнармассы пользуются ими, а "Гугл-кэш помнит всё". Однако настораживает аналогия из биологии: ни один вид не может питаться собственным дерьмом (чужим - может).

А LLM надо постоянно актуализировать - хотя бы потому, что меняются фамилии президентов стран. И эта актуализация, т.е. дообучение сильно страдает от питания собственным продуктом. Поэтому стали появляться публикации о попытках распознать текст от LLM (отличить от текста, написанного человеком) - аналог детектора синтезированных фото/видео/речи - Гитхаб переполнен такими проектами.

3. Совсем уж далекие от темы ширнармассы недавно бились в истериках типа "ИИ вытеснит кожаных мешков из жизни", "ИИ овладел творческими профессиями" и т.п.

На самом деле, успешный опыт написания ГоПоТой курсовиков и сдачи экзаменов показывает скорее то, что для большинства занятий, считаемых "интеллектуальными" интеллект не нужен.

Пример - чудесная такая профессия techwriter. Человек пишет "руководство оператора" к разработанной программе по информации, полученной от разработчиков. Успешно заменен ГПТ, но причем тут творчество???"
...мнение

 

[dok34.ru]

"Кстати, я полагаю, что интеллектом не может обладать отдельно взятый человек. Для меня интеллект – это всегда совокупность разумов нескольких людей, а то и всей планеты разом. Поэтому в дальнейшем оспаривании или обсуждении вышеприведённого – имейте это, пожалуйста, в виду. И второе: опять же для меня, интеллект – это не только совокупность разумов человечьих, но и промежуточное звено между вселенским УМом и человечьим разумом, биокомпьютером. Ну, такая «прокладка» что ли, для удобства, и чтобы мозг не плавился от сверхусилий"

 

[dok34.ru]

"...академик Ю.Л. Ершов задумчиво сказал: «Я не знаю, что такое искусственный интеллект.

Современная наука очень разбаловала учёных. Они думают, что надо всё понимать во всех подробностях, от малейших тонкостей до общей картины проблемы. А это не совсем так - для практической деятельности это не всегда нужно. Средневековые мастера ничего не знали ни про кристаллическую структуру сплавов, ни про молекулярно-кинетическую теорию газов - но они таки создавали вполне работоспособные пушки, которые радикально изменили жизнь человечества. И даже строители паровозов про все эти научные тонкости знали далеко не всё, но опять же они создали устройства, которые радикально изменили жизнь человечества. И вот в такой последовательности оно чаще всего и бывает. Сначала практическая реализация - потом теория. Исключений очень мало (ядерная энергетика, лазеры и ещё несколько областей). Не очень то важно, когда академик разберётся во всех тонкостях Имитации Интеллекта, важно когда простые инженеры создадут пушку Имитатор Интеллекта достаточно серьёзный, что бы изменить правила игры. И я на 100% уверен - таковой создадут намного раньше, чем начнут понимать все теоретические основы интеллекта"

 

[TightBack361]

Не очень то важно, когда академик разберётся во всех тонкостях Имитации Интеллекта, важно когда простые инженеры создадут пушку Имитатор Интеллекта достаточно серьёзный, что бы изменить правила игры. И я на 100% уверен - таковой создадут намного раньше, чем начнут понимать все теоретические основы интеллекта"

Но при этом это как строить реактор, который при ошибке может расплавить Землю. У вас один шанс, что всё пройдёт хорошо. А сломаный реактор построить легче чем работающий.
(И даже это не аналогия, потому что реактор не будет становиться умнее создателей и нарочно искать возможность сломаться)

 

[dok34.ru]

Но при этом это как строить реактор, который при ошибке может расплавить Землю. У вас один шанс, что всё пройдёт хорошо. А сломаный реактор построить легче чем работающий.
(И даже это не аналогия, потому что реактор не будет становиться умнее создателей и нарочно искать возможность сломаться)

...речь шла об академиках, которые _знают_ тему 🙂
Лучше абсолютного большинства рассуждающих и тем более пугающихся 🙂
ВАша аналогия имеет смысл.
Но! Чернобыль ломали не академики.
Академики делали защиты. Много уровней.
А добрые инженеры и диспетчеры-энергетики - снимали эти защиты..
ИМХО 🙂

 

[TightBack361]

...речь шла об академиках, которые _знают_ тему 🙂
Лучше абсолютного большинства рассуждающих и тем более пугающихся

Если вы внимательно посмотрите, то академики и те, кто реально важен для разработки ИИ - это самые пугающиеся люди. По сравнению с начальниками и прочими. Именно разработчики наиболее напуганы, и также они лучше разбираются в теме.
Я согласен, защитные идеи находятся на низком уровне, слишком не понятно какие защиты и какие уровни.