Мне кажется, в цитатах затронуты сразу несколько разных вопросов, которые полезно разделить.
Первая цитата в целом верно описывает одну из слабостей современных языковых моделей: они по умолчанию стремятся продолжить текст наиболее правдоподобным образом, а не "признаться", что чего-то не знают. Из-за этого могут появляться уверенные, но неверные ответы (так называемые "галлюцинации"). Однако сравнение с "дураком, который считает себя умным" не совсем точно. У модели нет субъективной уверенности или самооценки — она не думает: "я умная". Она просто генерирует следующий текст по статистическим закономерностям. Если система специально обучена чаще говорить "не знаю" или использовать поиск, качество ответов обычно улучшается.
Вторая цитата, наоборот, предостерегает от слишком поспешного вывода "раз ошибается — значит, не понимает". Это тоже разумное замечание. Интеллект можно рассматривать как способность решать задачи, а не как отсутствие любых ошибок. Люди тоже имеют множество ограничений: плохо считают в уме большие числа, забывают факты, подвержены когнитивным искажениям. Тем не менее мы считаем их интеллектуальными существами.
Где я бы не согласился полностью — это с аналогией между ограничениями человека и модели. У человека есть восприятие мира, долговременные цели, опыт, способность учиться на собственной жизни, а также метакогниция — возможность хотя бы иногда понимать, что он чего-то не знает. У языковой модели этого в человеческом смысле нет. Поэтому сходство в ошибках не означает тождество механизмов.
Ваш ответ тоже отражает важную мысль. Многие действительно ожидали появления системы, которая будет надежным "всезнайкой". На практике оказалось, что современные ИИ очень сильны в одних задачах (обобщение, объяснение, программирование, анализ текста), но требуют проверки в других (факты, источники, сложные вычисления, редкие сведения). То есть они скорее стали мощным интеллектуальным помощником, чем непогрешимым экспертом.
В итоге я бы сказал так: первая цитата немного переоценивает значение ошибок как доказательства отсутствия понимания, а вторая, возможно, недооценивает различия между человеческим и машинным интеллектом. Истина, как мне кажется, находится где-то посередине: современные ИИ демонстрируют многие интеллектуальные способности, но пока не обладают пониманием и самосознанием в том смысле, в каком эти понятия обычно применяются к людям.
