• Внимание, на некоторое время вводится премодерация новичков.

Безопасность искусственного интеллекта.

Из комментов на ютубе -

Такое поведение нейросетей было описано в романе "Ложная слепота" Питера Уоттса под термином "Китайская комната". В закрытой комнате сидит студент, который не знает китайский язык. Но у него есть целая куча инструкций, как в ответ на одни иероглифы выдавать другие. Когда китаец общается с "китайской комнатой", ему кажется, что он общается с живым человеком, который знает китайский язык и отвечает разумно. Но на самом деле это фактически механизм по выдаче ответов на вопросы и внутри него никто не понимает, что делает, а просто следует инструкциям.

Многие люди всю жизнь так проживают, увыИ работая только по чётким инструкциямИ пожиная плоды такой работы

Тут есть некая подмена понятий: будто бы предполагается, что человеческий интеллект это нечто "настоящее" и "истинное", а вот нейросеть это какой-то побочный искусственный продукт, симуляция. Однако человек точно также обрабатывает информацию и инструкции, точно также имеет ассоциации к терминам и понятиям. Точно такое же обучение на основе увиденного опыта. Разница только в том, что люди это делают автоматически, у нас нет доступа к работе нашего мозга, он всегда работает и что-то делает пока жив. Нейросеть ПОКА ЧТО не имеет даже такой свободы и работает строго по ТЗ.

Я как-то попросил написать мне сравнительный анализ лицемера и эластомера. Это было офигенно.Особенно я выпал с этого перла:3. Реакция на давление:При внешнем воздействии лицемер может изменить свои взгляды или поведение, зачастую мотивируясь прагматическими или эгоистичными соображениями. Эластомер же под действием давления деформируется предсказуемо и возвращается в исходное состояние.
Сравнение: Лицемер vs Эластомер

Критерий Лицемер Эластомер

Реакция на давление:
Меняет поведение и взгляды под внешним давлением ради выгоды Деформируется под нагрузкой и возвращается в исходное состояние

Устойчивость к деформации:
Психологически гибок, но морально нестабилен Способен выдерживать многократные циклы деформации без потери свойств

Среда применения:
Политика, офисы, сцена, соцсети — там, где важна видимость, а не сущность Промышленность, медицина, быт — там, где важна реальная функциональность

Предсказуемость поведения:
Поведение меняется в зависимости от выгоды Поведение описывается точными законами механики

Ремонтопригодность:
Сам себя не чинит, просто маскирует трещины новыми масками Может быть переработан, склеен, укреплён (вулканизация)

Возврат к исходному состоянию:
Зависит от обстоятельств и личной выгоды — не гарантирован Всегда возвращается в исходную форму после снятия нагрузки

Этическая оценка:
Негативная — ассоциируется с фальшью и лицом на показ Нейтральная/позитивная — полезный, надёжный материал

Символизирует:
Притворство, приспособленчество, выгода Гибкость, надёжность, адаптивность
 
Последнее редактирование:

В мае 2025 года профессор университета Фаххохшуле (Австрия) Макс Шлерет опубликовал чёткое научное доказательство, что сильный ИИ логически и математически невозможен из-за фундаментального ограничения — барьера бесконечного выбора (Infinite Choice Barrier, ICB), экспоненциального роста энтропии при увеличении неопределённости.

Однако к доводам профессора никто не прислушался. Мир продолжает готовиться к «революционным переменам», которые почему-то преподносятся как неизбежные.
 
"Операторы промптов ИИ будут в том же положении, если обучаются лишь текущим промптам и не берут языковую модель к себе на комп в качестве инструмента работы с полным управлением ею. Денщики - была такая должность в поместьях.)



Роботы ищут работу


Роботы ищут работу

По словам миллиардера и гендиректора OpenAI Сэма Альтмана, 2025 год должен был стать годом, «когда ИИ-агенты заработают в полную силу».

На эту же идею купились многие компании. ИИ-инструменты появились в поиске Google, в офисных программах Microsoft, в лайв-чатах большинства сервисов. Фирмы начали увольнять программистов, готовясь заменить их несколькими ИИ-кодерами. Людей сокращали целыми отделами — и в Европе, и в США, и в России. В основном это пришлось на конец прошлого года и начало текущего.

Но несмотря на всеобщую шумиху, пройдя отметку в полгода, уже можно сказать, что прогноз Сэма Альтмана не оправдался. По исследованиям, даже лучший ИИ-агент (от Anthropic) мог выполнить только 24% от порученных ему типичных задач. А стоимость поддержки и оплата за серверы оказалась выше, чем большинство ожидали.

В итоге недавний опрос, проведённый аналитической компанией Gartner, показал: больше половины СЕО теперь говорят, что откажутся от планов «значительного сокращения персонала службы поддержки клиентов» к 2027 году. И это речь идёт о поддержке клиентов, где задачи, казалось бы, обычно решаются вполне типичные!

В общем, хайп слегка пробуксовывает. Пиарщикам приходится на ходу переписывать речи о том, что ИИ «превзошёл автоматизацию». Вместо этого начинают использовать такие фразы, как «гибридный подход» и «трудности перехода» — чтобы как-то объяснить тот факт, что даже с ИИ компаниям по-прежнему нужны люди, управляющие рабочими процессами. Много людей.

«Человеческий фактор остаётся незаменимым во многих взаимодействиях, и организациям необходимо находить баланс между технологиями и человеческой эмпатией»,— заявила Кэти Росс, старший директор Gartner по анализу обслуживания клиентов.

Как мы это себе представляли год назад


Как мы это себе представляли год назад

А знаете, кто чувствует «оверхайп» вокруг ИИ даже лучше, чем Gartner и директоры компаний? Обычные сотрудники!

Другой отчёт, на этот раз подготовленный IT-компанией GoTo и исследовательским агентством Workplace Intelligence, показал, что 62% офисных работников в настоящее время считают, что шум вокруг ИИ «значительно преувеличен». Большинство применяют только бесплатные инструменты, вроде ChatGPT, и говорят, что не использовали бы их, если бы ИИ-помощники были платными. Среди руководителей скептиков ИИ было намного меньше (49%). Но за последние полгода, несмотря на выпуск новых инструментов, вроде GPT-4.5, их число увеличилось.

Идём назад​

Я начал писать эту статью, когда заметил ряд частных примеров в новостях, один за другим. И решил пойти поискать, что говорится в исследованиях.

Таких примеров за последние недели было много, но вот несколько характерных:

1) Финансовый стартап Klarna из Швеции с помпой сократил штат сотрудников на 22% в течение 2024 года в преддверии давно обещанной революции ИИ. Они уволили 700 человек, заменив их ИИ-ассистентами. Ожидали, что это даст $40 млн экономии в год.

Но год спустя, в мае 2025, компания резко изменила свою стратегию, объявив о «масштабном наборе сотрудников», чтобы вернуть всех этих «мясных мешков» к работе. Оказалось, качество обслуживания за несколько месяцев снизилось слишком сильно.

Весь этот маленький манёвр по увольнению-найму, включая компенсации уволенным (в среднем $8160 на каждого, за 4 месяца) и затраты на повторное обучение, обошелся компании минимум в $15 млн. При этом ожидаемой экономии так и не вышло.

«Klarna нанимает уволенных сотрудников обратно»


«Klarna нанимает уволенных сотрудников обратно»

2) Корпорация IBM в 2023-2024 годах автоматизировала значительную часть своего HR‑подразделения, внедрив вместо людей виртуального сотрудника «AskHR» — для обработки запросов, документов и отпусков. Ожидалось, что скоро ИИ заменит там и программистов, и продажников. Всего уволили около 8000 людей.

Но что-то пошло не так. Оказалось, что ИИ не справляется с задачами, требующими эмпатии, субъективного подхода и личного взаимодействия. В итоге компания была вынуждена возвращать сотрудников, открывая вакансии опять на несколько тысяч людей.

CEO компании Арвинд Кришна отметил, что общий штат в итоге даже вырос, поскольку компании пришлось реинвестировать в те области, где ИИ не заменит человека:

Хотя мы проделали огромный объём работы внутри IBM по использованию ИИ и автоматизации в определённых корпоративных рабочих процессах, наша общая занятость на самом деле выросла. Мы стали больше инвестировать в другие сферы, так что это было неизбежно.
3) Образовательная платформа Duolingo в конце 2023-2024 годов постепенно сокращала число внештатных работников (писателей, переводчиков) в пользу ИИ. Казалось бы, такие профессии больше уж точно не пригодятся. В 2024 году этот подход позволил компании сократить 10% фриланс-контрактов, уволив несколько сотен людей. С перспективой сокращения до 90% отдела контента к концу этого года.

Но в 2025-м увольнения почему-то остановились. Причина — массовая негативная реакция пользователей, критика качества новых генерируемых ИИ курсов (их характеризовали как «шаблонные», «скучные», «без культурных оттенков») и активное недовольство в соцсетях. Теперь компания, которая ещё в 2023-м стала одним из главных продвигателей «ИИ-увольнений», пытается дистанцироваться от этого имиджа и снова нанимает людей на те же роли, с которых их увольняла полгода назад.

eece439c0c1b48c0c82abe743ffd9115.png


В общем, какая-то чехарда. Такие же истории вы сами можете найти про Chegg, Dropbox, SAP, Google, Zoom, BuzzFeed, BT Group... Во всех этих случаях попытка массово заменить целые отделы на ИИ оборачивалась для компании издержками и вынужденным спешным откатом назад.

По словам ИИ-критика Эда Зитрона (из его большой статьи о новом пузыре), весь этот фарс с рокировками объясняется «иррациональным хайпом вокруг чатботов и непониманием рынка». Директорам компаний зачастую «не ясно, что именно делают эти продукты на базе ИИ и как они работают. Но они увлечены идеей, что витает в воздухе». А когда фирмы наконец разбираются, что к чему на практике, то оказывается, что боты не так уж и нужны, и их ежедневная работа стоит далеко не так дёшево, как ожидалось.

«Эти „агенты“ позиционируются как разумные формы жизни, способные принимать грамотные решения, — пишет Зитрон, — но на самом деле это всего лишь простые средства автоматизации, к тому же требующие больших затрат на их поддержку и допрограммирование».

Замедляют работу​

055b45ffc22ae78b18aa8ae10c967a55.png


Чем более узкие навыки у человека, тем меньше ему стоит волноваться о новых ИИ.

Об этом говорит исследование, выпущенное пару недель назад независимым институтом METR. Оно показывает, что помощники на основе искусственного интеллекта на самом деле замедляют работу опытных программистов.

METR cделал оценку реального влияния передовых инструментов ИИ на разработку ПО. В течение нескольких месяцев с начала 2025 года институт наблюдал за 16 опытными разработчиками ПО с открытым исходным кодом, которые решали 246 реальных задач — от багфиксов до реализации новых функций — в крупных репозиториях кода. Для каждой задачи случайным образом было назначено либо разрешение, либо запрет на использование инструментов ИИ-кодинга. Для помощи в своей работе большинство участников выбрали Cursor Pro в сочетании с Claude 3.5 или 3.7 Sonnet; часть пользовалась GPT-4.5.

Ожидаемые результаты (зелёным), реальный результат (красным)


Ожидаемые результаты (зелёным), реальный результат (красным)

До начала работы разработчики уверенно прогнозировали, что ИИ ускорит их работу — в среднем на 24%. И даже после завершения исследования они по-прежнему считали, что их производительность выросла на ~20% за счёт использования искусственного интеллекта. Но реальность оказалась совершенно иной. Данные показали, что фактически разработчикам потребовалось на 19% больше времени, когда они использовали ИИ. Что противоречило не только их собственным ожиданиям и ощущениям, но и прогнозам экспертов в сферах экономики и машинного обучения.

Исследователи METR изучили возможные причины такого неожиданного результата и выявили несколько факторов:

  • Во-первых, оптимизм разработчиков относительно полезности инструментов ИИ часто превосходил реальные возможности технологии. Многие участники были хорошо знакомы со своими кодовыми базами, что оставляло мало места для какой-либо ИИ-оптимизации.
  • Во-вторых, сложность и размер проектов (часто в них было больше миллиона строк кода) — также представляли собой проблему для ИИ, который, как правило, лучше справляется с небольшими, ограниченными задачами.
  • В-третьих, надёжность разработок, предложенных ИИ, была неравномерной. Некоторые результаты выходили отлично, другие — нуждались в дополнительных проверках или выдавали странные баги. Разработчики принимали менее 44% сгенерированного кода и тратили до 20% своего времени на проверку и дебаггинг результатов.
  • В-четвёртых, инструменты ИИ с трудом улавливали неявный контекст в больших репозиториях, что часто приводило к недопониманию и нерелевантным предложениям.
Методология исследования была очень строгой. Каждый разработчик оценивал, сколько времени займёт выполнение задачи с использованием ИИ и без него, а затем разбирался с проблемами, записывая происходящее на экране и самостоятельно отчитываясь о затраченном времени. Участникам выплачивали по 150 долларов в час, чтобы они внимательно выполняли работу. Результаты оставались неизменными у всех категорий испытуемых. Как ни крути, а ИИ замедлял работу опытных программистов примерно на одну пятую.

Ожидание по затратам времени (слева) vs Реальность (справа). Тут забавно, насколько опытные программисты себя недооценивали (первая зелёная линия)


Ожидание по затратам времени (слева) vs Реальность (справа). Тут забавно, насколько опытные программисты себя недооценивали (первая зелёная линия)

В METR предупреждают, что эти результаты не следует чрезмерно обобщать. Исследование было сосредоточено на высококвалифицированных разработчиках, занимающихся сложными кодовыми базами. Конечно, ИИ дает больше преимуществ менее опытным программистам — а также тем, кто работает над незнакомыми или маленькими проектами. Но такие работы, как правило, и для компании стоят дешевле.

Несмотря на замедление, многие участники говорят, что всё равно продолжат использовать ИИ-инструменты для программирования. Они отмечают, что, хотя они, как оказалось, и не ускоряют процесс, они могут делать некоторые аспекты менее утомляющими, превращая программирование в более итеративную и простую задачу.

В общем, логично, что ИИ отлично подходит для написания кода, который до этого уже был написан много десятков раз. Для создания чего-то скучного и шаблонного. Он также годится для анализа кода, ответов на вопросы, создания предложений по повышению производительности. Но пока что не очень подходит для написания сложных приложений, выполняющих что-то новое и/или использующих менее распространённые языки и фреймворки.

Поэтому, возможно, идти на очередные курсы Python — не такое грамотное решение на будущее, как самостоятельное изучение Verilog, Elixir или Mojo.

Бежать за трендами​

Наконец, ещё один забавный индикатор, что тренд может заканчиваться.

Помните, кто убил метавселенную, последний большой хайпо-тренд до ИИ? Кто сделал AR и VR больше не модными? Кто пришел в NFT в 2022-м, попытавшись добавить их в Facebook* и Instagram* (запрещенные теперь в России), и ознаменовал этим конец их цикла? Правильно, Цукерберг. Точнее, Meta*. Компания, которая всегда идёт позади паровоза.

В этом смысле сообщение о том, что Марк Цукерберг начал тратить десятки миллиардов долларов на создание своего искусственного интеллекта, кажется не очень позитивным сигналом для всей отрасли. Сейчас он стал №1 по затратам в этой сфере: только в этом году Meta* хочет потратить $70 млрд на ИИ-датацентры. В два раза больше, чем в прошлом. При том, что ИИ от Meta*, их моделью Llama, не пользуется почти никто.

Раньше похожая история была в 2021-м, когда гендиректор Facebook* незадолго до Хэллоуина объявил о смене названия компании на Meta*, чтобы лучше ассоциироваться с метавселенными. На эту идею компания потратила $47 млрд, и при этом их виртуальным пространством не пользовался почти никто. Год назад в их "вселенной" было 900 дневных пользователей, сейчас — ещё в три раза меньше.

Помните это? Это было всего три года назад.


Помните это? Это было всего три года назад.

В 2024-м Цукерберг наконец нашел себе новое хобби, на которое можно было потратить миллиарды: ИИ. Сотрудники подразделения Reality Labs, занимавшиеся AR и VR, были уволены, и вот теперь Meta* запускает лабораторию «суперинтеллекта» и переманивает талантливых специалистов из OpenAI. За такой переход им платят куда больше, чем Криштиану Роналду: до $300 миллионов в течение четырёх лет, включая более $100 млн в первый год — в основном в виде акций с немедленным вестингом. Пока что так удалось переманить восемь человек, на что уже потратили больше двух миллиардов. Это в дополнение к $70 млрд чисто на датацентры и не считая разработок собственных чипов MTIA и MSVP ASIC, суперкомпьютера RSC, покупки Scale AI за $14 млрд, а также других вложений.

Это при том, что, в отличие от Google и Microsoft, Meta* пока что не имеет ни одного способа монетизации своих ИИ-разработок. Что чем-то напоминает большинство других компаний, вкладывающихся в эту сферу. Пока что единственная публичная фирма, реально разбогатевшая на ИИ-лихорадке — Nvidia, которая всё это время продавала «лопаты».

Вряд ли ИИ один в один повторит историю с метавселенной. Но это может быть намёк на то, что если уж бывший Facebook* за это взялся, то тут точно уже туши свет, основные деньги тут уже сделаны, а пиковое время ушло. Уникальные навыки Цукерберга раз за разом заходить в последний вагон паровоза заставляют лично меня задуматься, как долго ещё продлится эта вечеринка.

* — компания, запрещенная в РФ.


Карьера вайб-кодера — это тупик​

57c7889c1a41f461235a688ecf0cd753.jpg


Сразу расставлю все точки над «и»: LLM полезны. Вопрос не в том, могут ли LLM писать код, они на это способны. Вопрос в том, почему вайб-кодинг может оказаться вашей худшей карьерной инвестицией.

Я начал замечать перемены, когда темы бесед разработчиков полностью поменялись. Теперь они обсуждают лишь то, как заставить Claude написать код за них. Или конечную цель: как заставить ИИ делать всё без вмешательства человека.

До недавнего времени я по большей мере игнорировал этот ажиотаж. Я читал заголовки, время от времени просил Claude или ChatGPT помочь мне в отладке, но ничего больше. Пришла пора учиться вайб-кодингу!

«Что вы создаёте при помощи вайб-кодинга?»​

Telegram-бот. Совершенно новый проект. Какие-нибудь дэшборды с обновлениями в реальном времени. Ничего особо сложного, но и в то же время и не совсем тривиальное. Просто стандартный REST API с React-фронтендом.

Я настроил полный процесс ИИ-кодинга: MCP Claude, Playwright и Postgres, несколько агентов, работающих над разными ветвями, и подробные файлы документации. Я приступил к вайб-кодингу.

Claude обновлял схемы, писал конечные точки, нажимал кнопки в Chrome, проверял данные Postgres и открывал пул-реквесты. Всё работало. Моя первая реакция была такой:

«Чёрт возьми! Это безумие!»

Золотая лихорадка неизбежна. Мне больше не придётся тратить время на написание кода. Мне лишь нужно больше агентов, больше автоматизации. Фабрика должна расти! Под моим началом армия разработчиков-джунов, доступных в режиме 24/7.

Я с лёгкостью добавлял каждый день по 2–3 фичи. Барьер между мыслями и реализацией просто исчез. Это было так кайфово.

С ростом сложности проекта ситуация начала меняться. Claude повторял одни и те же ошибки, застревал в циклах. Переключение контекста стало огромной проблемой. Я перешёл с 4–5 параллельных ветвей до двух, иногда всего до одной. Я уже не мог просто просить реализовывать фичи. Мне пришлось перестать тщательно всё продумывать.

В конечном итоге, я всё равно оказался ограничен моей умственными силами. Переключение контекста между несколькими сгенерированными ИИ ветвями срабатывает только для небольших задач. В случае сложных систем мне всё равно приходилось самому продумывать решение. Claude только печатал за меня код.

Я потратил больше времени на тестирование и написание файлов инструкций для Claude, чем когда-либо тратил на проект такого размера. Раньше мне доводилось работать с джунами, которые только что выпустились из буткемпа, но ни одного из них не приходилось так водить за руку.

Как бы то ни было, я выпустил проект для моих трёх тестовых пользователей, и всё начало разваливаться. Сообщения не синхронизировались, пользователям присваивались не те аккаунты. Мне пришлось умолять Claude чинить баг за багом. Как я вообще попал в такую ситуацию? Это полный отстой и хаос.

Последний раз такое было со мной, когда я работал со сторонней командой. Никого в ней не волновало качество кода, все были нацелены лишь на быстрый выпуск. Мне нужно было проверять слишком много пул-реквестов, открытых людьми, которые не знали, чем занимаются, и не особо об этом беспокоились. У меня было лишь поверхностное понимание о происходящем, я походил на какого-то дирижёра, который... Хм. Звучит знакомо.

И таким станет будущее разработки ПО? Я точно ничего не путаю? Зачем вообще вкладываться в такую работу?"
...детский/парафильный не-сексуальный подход абсолютизации налицо..
Имхо🙂
 

LGBT*

В связи с решением Верховного суда Российской Федерации (далее РФ) от 30 ноября 2023 года), движение ЛГБТ* признано экстремистским и запрещена его деятельность на территории РФ. Данное решение суда подлежит немедленному исполнению, исходя из чего на форуме будут приняты следующие меры - аббривеатура ЛГБТ* должна и будет применяться только со звездочкой (она означает иноагента или связанное с экстремизмом движение, которое запрещено в РФ), все ради того чтобы посетители и пользователи этого форума могли ознакомиться с данным запретом. Символика, картинки и атрибутика что связана с ныне запрещенным движением ЛГБТ* запрещены на этом форуме - исходя из решения Верховного суда, о котором было написано ранее - этот пункт внесен как экстренное дополнение к правилам форума части 4 параграфа 12 в настоящее время.

Назад
Сверху