Безопасность искусственного интеллекта.

[Indigo]

Три месяца с Claude: хороший ассистент, плохой программист

Мне выдали подписку на Claude и сказали выжимать максимум из токенов, так что я решил дать ему честный шанс. В этой статье расскажу, что из этого вышло. В наши дни...

habr.com

Галлюцинации и ложноположительные результаты
Когда LLM нашла ответ, обычно стоит сходить и проверить первоисточник. Если прочитать саму статью, документ или переписку, можно убедиться, что модель ничего не сгаллюцинировала.

Галлюцинации — неотъемлемое свойство того, как работают LLM. Генерация токенов основана не на логике и не на истинности, а на статистике, и, насколько я понимаю, полностью избавиться от галлюцинаций невозможно. Я встречал их во всех моделях: от дешёвой и довольно посредственной бесплатной версии Copilot в Bing до самых навороченных платных моделей Claude.

Чаще всего я сталкивался с ними, когда задавал очень конкретный вопрос, на который раньше никто толком не отвечал: например, спрашивал о какой‑нибудь нишевой возможности CMake, Vulkan или Xcode. Вместо ответа «нет, так нельзя» я получал наиболее вероятностно правдоподобный вариант: модель советовала нажать кнопку, которой не существует, или включить несуществующий фиче флаг.

 

[Djon]

С Хабра -

На работе тоже вечные пилоты по тестированию ИИ проектов.
Но некоторые хорошо помогают в работе.
Некоторые нововведения считаю абсурдными и глупыми. Как будто просто создают видимость работы, чтобы продолжали платить.