Безопасность искусственного интеллекта.

[dok34.ru]

"За последние два года искусственный интеллект стал одной из основных тем в СМИ, и многие известные люди высказали свои мысли по этой теме. Но если вы начнете искать в Интернете подборки цитат об ИИ, то в основном найдете цитаты глав многомиллиардных компаний, футурологов и ученых, проводящих исследования в этой области. Причем эти подборки настолько похожи друг на друга, что порой создается впечатление, что их составлял ИИ.

Цитаты всемирно известных людей, которые обычно не попадают в подобные подборки цитат:

Ричард Столлман (основатель движения свободного ПО (GNU), программист)​

Мы много слышим об искусственном интеллекте, и этот термин несет в себе ужасную путаницу… Потому что, на мой взгляд, термин «интеллект» означает что-то вроде способности знать или понимать какую-то область. Если что-то, на самом деле, не может понять какие-то вещи, мы не должны говорить, что это интеллект, даже если у него есть хоть капля интеллекта, но люди используют термин «искусственный интеллект» для генераторов бреда. Люди говорят о системах вроде ChatGPT, которые ничего не понимают и ничего не знают. Вот почему я называю эти системы генераторами бреда, потому что единственное, в чем они хороши, - это создание гладко звучащего вывода, любая часть которого может быть бредом. Вы никогда не сможете в это поверить - что ж, вы глупы, если поверите. Поэтому я не буду называть их «искусственным интеллектом» или чем-то еще, в чем есть слово «интеллект», потому что, называя их так, я побуждаю людей думать, что то, что они говорят, не является бредом сивой кобылы. Это побуждает людей верить им, и это дает им шанс причинить большой вред.


Поэтому я выделяю две области, где существует настоящий искусственный интеллект. Например, существуют программы, которые могут взглянуть на увеличенную фотографию некоторых клеток и сказать вам, с большей вероятностью оказаться правыми, чем любой врач-человек, являются ли они раковыми. Или, например, существуют системы искусственного интеллекта, которые могут очень и очень эффективно определять, что привлечет внимание людей. Они используются антисоциальными медиа-платформами, и, как ни прискорбно говорить, они работают очень хорошо. Они очень хороши в своем деле, а именно в том, что они делают пользователей или «используемых» зависимыми.

Источник: GNU Project

Джеффри Зельдман (инициатор и король-основатель веб-стандартов, веб-дизайнер )​

Одна из самых горячих вакансий для нелюдей - это создание и размещение спама в гостевых книгах веб-сайтов. Этот рынок в огне!

Если вы думали, что спам в гостевых книгах былых времен был впечатляющим, то вы еще ничего не видели. Новая система рассылки спам-комментариев, ассистируемая ИИ, отличается улучшенным наполнением ключевыми словами, меньшим количеством грамматических ошибок, и, что самое главное, спама стало гораздо больше. Ваш раздел «Комментарии» еще никогда не был таким бесполезным!

Источник: Zeldman on Web and Interaction Design

Эрик А. Мейер (ещё один инициатор и разработчик веб-стандартов, консультант по веб-дизайну, сооснователь движения microformats)​

Каждый форум, в который мы когда-либо вносили свой вклад, включая саму Всемирную паутину, «пылесосится» в поисках наборов обучающих данных для ИИ. Я полагаю, что единственным положительным моментом в том, что я делюсь большей частью своих материалов через свой собственный общедоступный веб-сайт, а не через такие места, как StackOverflow, заключается в том, что меня не «отрезают» от какой-то крупной денежной выплаты, поэтому я не чувствую себя использованным вдвойне.

Источник: Mastodon

Дуглас Крокфорд (гуру JavaScript, создатель JSON)​

Мы также стали свидетелями своего рода гонки вооружений в области ИИ. Где Microsoft покупает продукты ChatGPT и предлагает их широкой публике. У Google были продукты, которые, по их мнению, были явно не готовы, но теперь им нужно конкурировать с Microsoft, поэтому они продвигают свои продукты, хотя знают, что еще слишком рано. Сейчас есть и другие стартапы, которые пытаются опередить их. Все это происходит слишком быстро. Меня беспокоят не сами ИИ, а их неправильное применение. Опять же, потому что они выглядят такими умными, но на самом деле таковыми не являются. Нам трудно выносить правильные суждения о них.

Источник: Anywhere Club

Роберт «Дядя Боб» Мартин (соавтор Agile-манифеста, разработчик ПО)​

Каждое десятилетие появляются инновации, которые обещают положить конец всем программистам. Сначала это были компиляторы. Потом это был COBOL. Затем это было ОО2. Потом это было логическое программирование. Затем это был ИИ с нечеткой логикой и обратной связью. Потом это была разработка, управляемая моделями. Теперь это большие языковые модели.

Источник: X (бывший Twitter)

Дино Эспозито (разработчик ПО, .Net-гуру, евангелист JetBrains, облачный провидец)​

ИИ - это программное обеспечение, и точка. Как программное обеспечение, он получает числа и возвращает числа. Все опасения, на которых акцентируют внимание СМИ, являются результатом работы программных конвейеров, которые могут быть настроены для принятия решений. ИИ - это черный ящик, который возвращает число, и то, что происходит с этим числом, является той же «другой» проблемой, с которой мы все еще сталкиваемся сегодня.

Источник: ShiftMag

Алексей Пажитнов (создатель «Тетриса», геймдизайнер и программист, )​

… тот уровень искусственного интеллекта, который есть сейчас, и который будет в обозримом будущем, очень сильно основан на человеческом опыте, накопленном до сих пор. То есть каких-то оригинальных решений он ни в каком аспекте не выдает. Поэтому для тех эпигонов3, которые сейчас повторяют чьи-то игры, искусственный интеллект действительно станет серьезным конкурентом, потому что он сделает это гораздо лучше. Однако что-нибудь новое, инновационное свежее – я не думаю, что AI в ближайшие 50 лет будет способен выдать. Так что хорошие [гейм]дизайнеры могут спать спокойно.

Источник: Radio Prague International

​

Гради Буч (разработчик ПО, соавтор UML)​

ИИ: Инкарнация Алхимии

Источник: X (бывший Twitter)

Линус Торвальд (создатель Linux и Git, разработчик ПО )​

… Я один из тех людей, которые очень оптимистично относятся к ИИ, и я с нетерпением жду появления инструментов, которые на самом деле будут находить ошибки. У нас есть много инструментов: инструментарий вокруг ядра [Linux] и разумеется вокруг любого программного проекта. Мы используем их «религиозно», но делать инструменты более умными - это не так уж и плохо. Я в какой-то степени сравниваю это с написанием каких-либо вещей на ассемблере, что я буквально начал делать с первоначальной версией ядра, которая примерно на 50% состояла из языка ассемблера, и использованием компилятора. Использование более умных инструментов - это всего лишь следующий неизбежный шаг. Так что это произойдет, но я не думаю, что это обязательно тот мрак и обреченность, о которых говорят некоторые люди, и я определенно не думаю, что это мир обетованный, о котором говорят люди, протягивающие руки за наличкой. Поэтому вам нужно быть немного циничными по отношению ко всему этому циклу хайпа в технологической индустрии. Я надеюсь, вы все понимаете, что до ИИ это была криптовалюта, а до криптовалюты это были нативные облачные технологии. Я имею в виду, что за хайпом всегда скрывается крупица реальности, но нужно быть осторожным со всем этим BS4 (cкорее всего, аббревиатура BS означает «bullshit» (рус. бред сивой кобылы или чушь собачья); c другой стороны, собеседник Линуса (Дирк Хондел) считает, что эта аббревиатура означает «beautiful science» (рус. прекрасная наука) вокруг этой крупицы.

Источник: YouTube-канал «The Linux Foundation»

Джон Ромеро (родной папа Wolfenstein 3D, Doom и Quake,в целом родоначальник жанра FPS (шутер от первого лица) , геймдизайнер, программист)​

Так что насчет Romero Games, моей компании? Что ж, мы вообще не используем генеративный ИИ в играх, ни в художественной работе, ни в программном коде, ни в аудио, ни в написании сценариев, ни в дизайне, и мы в этом отношении довольно тверды. Очевидно, что иногда ИИ может быть полезен в качестве супер-Google для исследований, для парсинга тысяч ссылок с целью получения потенциально окончательного ответа. Но предстоит сделать еще много работы в этом направлении, и так, ИИ сообщил мне, что я родился в Гватемале. А я родился не там. Меня вырастила моя мексиканская бабушка. Но, по крайней мере, она была мексиканкой, хотя это было бы довольно здорово. Очевидно, я снимаюсь в музыкальных клипах, что для меня стало новостью. И самое лучшее, я сын режиссера фильмов ужасов Джорджа Ромеро, если вы этого не знали. Учитывая названия игр, которые я создаю, и фильмов, которые он снимал, ну, это довольно правдоподобно. Но правда в том, что все это неправда, и, очевидно, это опасно"

 

[dok34.ru]

" новая модель, революционная (https://openai.com/index/learning-to-reason-with-llms/) и без шуток и иронии. Возможно, впервые с момента релиза первых публичных версий будет возможность проведение более масштабных исследований с участием ИИ, ну посмотрим.

• Высокая точность: Модель o1 продемонстрировала результаты в 89-м процентиле по задачам программирования на платформе Codeforces и вошла в число 500 лучших студентов США на отборочном экзамене для Олимпиады по математике (AIME).

• Превосходство над людьми: o1 показала результаты, превышающие уровень PhD по задачам в области физики, биологии и химии на тесте GPQA. Это означает, что модель способна решать задачи, которые обычно требуют глубоких знаний и понимания.

• Сравнение с GPT-4o: В тестах на рассуждение o1 значительно превосходит предшествующую модель GPT-4o, особенно на задачах, требующих сложного анализа и логического мышления.

• Обучение с подкреплением: Модель o1 обучается через алгоритмы обучения с подкреплением, что позволяет ей развивать и улучшать свои стратегии рассуждения. Это включает в себя способность анализировать и исправлять собственные ошибки, а также разбивать сложные задачи на более простые шаги.

• Цепочка размышлений: o1 использует метод "цепочки размышлений", что позволяет ей думать над задачами перед тем, как давать ответ. Это дает возможность модели генерировать более обоснованные и точные ответы.

• Тестирование на реальных задачах в экзаменах: Модель была протестирована на различных экзаменах и задачах машинного обучения, где она показала результаты, сопоставимые с результатами экспертов-людей, опережая 90% экзаменуемых в ведущих Вузах США.

• Способность к обучению: o1 демонстрирует, что ее производительность улучшается с увеличением вычислительных ресурсов как во время обучения, так и во время тестирования, что подчеркивает эффективность ее архитектуры.

Ограниченная модель уже доступна в интерфейсе ChatGPT, еще не тестировал, но интересно, хотя, очевидно не за 2 трлн. OpenAI, находясь в убытках, пытается привлечь всего 5 млрд на развитие и закрытие кассовых разрывов.

Мнение Сергея Карелова "Малоизвестное интересное":

Свершилось – на Земле появился 1й ИИ с неопровержимой способностью мыслить не хуже людей.
Новые модели OpenAI - гигантский скачок для человечества.
Выход новых моделей o1-preview и o1-mini от OpenAI войдет в историю, подобно «маленькому шагу человека» по имени Нил Армстронг 55 лет назад.

Эпохальность трояка.
1. Ценность аргументации о неспособности ИИ мыслить мгновенно упала в 0.
Ибо ИИ теперь не только решает задачи, но и обдумывает их решение, в деталях объясняя ход мыслей
2. Подтвердилось, что одномоментного достижения AGI не будет.
А будет очень быстрое проявление у ИИ все новых и новых сверхчеловеческих способностей. И уже очень скоро появится сверхчеловеческий ИИ-математик - рис А, В.
3. LLM перестали быть ИИ. Теперь это «искусственные агенты»
Ибо предъявленные способности этих агентов планировать свои действия демонстрируют их самостоятельный поиск путей решения проблем

«Это новая парадигма масштабирования ИИ, и мы только начинаем», говорит автор моделей Ноам Браун"

 

[Ira]

Эпохальность трояка.
1. Ценность аргументации о неспособности ИИ мыслить мгновенно упала в 0.
Ибо ИИ теперь не только решает задачи, но и обдумывает их решение, в деталях объясняя ход мыслей
2. Подтвердилось, что одномоментного достижения AGI не будет.
А будет очень быстрое проявление у ИИ все новых и новых сверхчеловеческих способностей. И уже очень скоро появится сверхчеловеческий ИИ-математик - рис А, В.
3. LLM перестали быть ИИ. Теперь это «искусственные агенты»
Ибо предъявленные способности этих агентов планировать свои действия демонстрируют их самостоятельный поиск путей решения проблем

«Это новая парадигма масштабирования ИИ, и мы только начинаем», говорит автор моделей Ноам Браун"

Если это так то это печально. Даже не в смысле того что ИИ людей уничтожит, но готовые ответы разучат думать окончательно. Мозг-же наш не любит думать - эта функция в нем появилась как вспомогательная для преимущества в выживании, и требует много ресурса.
Про это много материалов есть. Есть рассказ фантастический как люди прилетели на планету а там какие-то типа животные в типа детском садике с автоматическим питанием. Оказалось что там ИИ за ними ухаживал а они деградировали. Абу-бы понравилось.

В.Леви. "Куда жить" Евангелие от мозга

Сервер Владимира Леви - врача, писателя, психолога

levi.ru

 

[dok34.ru]

Чем человеческое мышление принципиально отличается от LLM?

К вопросу о разнице мышления... На вопрос отвечают несколько LLM: GPT-4, Claude 3.5 Sonnet, LLAMA 3.1 405b instruct, а также две русскоязычные: YandexGPT 2 и GigaChat от Сбера. Далее мы проводим...

habr.com

...ответы " из первых рук/мозгов"