• Внимание! Почту и Контактную форму сайта доктора Мостовского мы наладили, ура! :) Примерно к концу следующей недели, числа с 20 октября снова буду принимать новых пациентов, онлайн и очно! До связи!

Безопасность искусственного интеллекта.

Чебурнет уже проверяли, вроде как, и не в одной вроде как стране
Ну это другое, и последствия для социума по моему могут быть ОЧЕНЬ страшными, даже если изолируют ИИ. Наши права человека держатся отчасти, но очень сильно на в том числе нелегальной свободе слова.
 
Эх, но с другой стороны хватит пугать. Да, тоже думал попросить кого-то из них написать ОС по моим дурным идеям устройства ОС, чтобы узнать, насколько они реалистичны.
Или написать инопланетную ОС / ОС из альтернативной истории вместе с эмулятором процессора альтернативной истории, на котором она запускается.
 
Эх, но с другой стороны хватит пугать. Да, тоже думал попросить кого-то из них написать ОС по моим дурным идеям устройства ОС, чтобы узнать, насколько они реалистичны.
Или написать инопланетную ОС / ОС из альтернативной истории вместе с эмулятором процессора альтернативной истории, на котором она запускается.
Это имхо не испуг, а реализация идей, на которые сам потратишь нереально много времени..
 
А как назвать состояние, когда сетевая сущность способная уничтожить мир
...как именно уничтожить?
Ракеты не подключены к ИИ🙂

способна хорошо программировать.
Это у них не отнять🙂
 
  • Достигли ли мы уровня искусственного интеллекта? Достигнем ли мы точки, когда ИИ будет значительно превосходить человека почти во всех когнитивных задачах, или же взрывной рост интеллекта сойдет на нет, и появятся умы с очень ограниченными возможностями, которые в некоторых областях будут хуже человека?
  • Решаем ли мы проблему согласованности? Можем ли мы внедрить свои собственные ценности в ИИ, или у него есть своя собственная, эволюционировавшая, нечеловеческая система ценностей?
  • Что такое согласование? Согласование намерений означает, что ИИ надежно следует намерениям своего оператора (то есть: совершает только те действия, которые одобрил бы оператор), а согласование ценностей означает соответствие безличной системе ценностей.
  • Серьезность взлета? Если ИИ не придерживается каких-либо принципов, насколько это опасно для людей? Получим ли мы вышедшего из-под контроля ИИ, который будет максимизировать эффективность, или более доброжелательный ИИ, который не придерживается каких-либо принципов, но достаточно заботится о нас, чтобы не мешать нам?
  • Сколько ASIs? Отдельный объект , пантеон или экология?
  • Полная автоматизация? В случае отсутствия сверхинтеллектуального ИИ, будем ли мы по-прежнему автоматизировать почти все рабочие места с помощью обычного ИИ?

Злоупотребление Судьбой​

В этом мире искусственный интеллект уничтожает мир, выполняя приказы своего оператора. ИИ может быть строго ориентирован на намерения пользователя, выполняя все, что попросит оператор; или это может быть модель с открытым исходным кодом, в которой отказы исключены; или это может быть коммерческий ИИ, в котором меры безопасности обходятся за счет грамотного разложения задач.

Это вполне может произойти сегодня: пандемия может привести к вымиранию человечества, и ИИ достаточно эффективен, чтобы помочь в биологических исследованиях. Очевидный пример биологического риска — это террористическая группа, использующая ИИ для создания биологического оружия. Но к такому результату можно прийти и без попыток создания биологического оружия. Финансируемая правительством, полностью официальная и легитимная лаборатория, проводящая исследования по усилению функций какого-либо патогена, может случайно спровоцировать пандемию. В этом сценарии роль ИИ в причинно-следственной цепочке будет следующей:

  • Сокращение сроков за счет ускорения обзора литературы, выбора гипотез, разработки эксперимента, анализа данных и планирования оборудования.
  • Увеличение площади поверхности рока путем проведения множества параллельных экспериментов.
Так что это не классический сценарий «Терминатора», а скорее случай, когда ИИ упрощает поиск « рецептов разрушения ».

Батлерианский джихад​

ДЖИХАД, ПО БАТЛЕРИАНСКОМУ СТИХУ: ( см. также Великое восстание) — крестовый поход против компьютеров, мыслящих машин и сознательных роботов, начавшийся в 201 году до н.э. и завершившийся в 108 году до н.э. Его главная заповедь до сих пор звучит в Библии Ордена О.С.: «Не делай машины, подобной человеческому разуму».

— Фрэнк Герберт, «Дюна»
В самом крайнем случае это настоящий джихад Батлера из «Дюны» (названный, косвенно, в честь Сэмюэля Батлера , который в 1863 году написал первую статью о пессимистических прогнозах в отношении искусственного интеллекта ).

В противном случае, это что-то вроде международного соглашения о прекращении разработки сверхинтеллектуального ИИ ( ControlAI выступает за это, и вы должны их поддержать). Возможно, это потерпит неудачу, и мы вернемся к началу, или же это увенчается успехом, и мы сможем пойти другим путем .

Непреходящая взаимодополняемость​

Это обыденное будущее. Оказывается, буква «G» в аббревиатуре AGI никогда не существовала. Каждый разум — это уникальное явление. Неоднозначность сохраняется. Искусственный интеллект остается дополнением, а не заменой человеческого труда. Происходит сокращение рабочих мест, но нет массовой безработицы, люди переходят на руководящие/коммуникативные должности. Уменьшается количество интеллектуальных коммуникационных центров, и каждый становится своего рода менеджером. Труд становится меньшим фактором производства и, следовательно, теряет часть переговорной силы по отношению к капиталу, но большинство людей живут хорошо.

Постоянный низший класс​

В этом будущем мы не достигнем сверхинтеллектуального ИИ, но обычного ИИ будет достаточно для автоматизации почти всех рабочих мест. Трудовой член в производственной функции обнуляется. Весь доход либо представляет собой владение капиталом, либо является социальным обеспечением.

В экономическом плане: возможно, существует материальное изобилие, но без каких-либо экономических реформ в духе Георга большая часть прибыли изымается путем получения ренты. В социальном плане: социальной мобильности больше нет, ваша судьба определяется тем, сколько капитала у вас было, когда музыка остановилась. Наращивание человеческого капитала больше не является стимулом, поскольку оно не меняет результатов вашей жизни.

См. также:

Синглтон​

Я — Эсхатон. Я не ваш бог.
Я ваш потомок, и я существую в вашем будущем.
Не нарушайте причинно-следственную связь внутри моего исторического светового конуса. Иначе...

— Чарльз Стросс, Singularity Sky
В этом мире мы создаём ИИ, и он успешно вписывается в некую безличную систему ценностей. Первоочередная задача — предотвратить создание кем-либо ещё ИИ, который мог бы бросить вызов первому, поэтому ИИ совершает « ключевой акт », что является эвфемизмом LessWrong для «поставить всех под постоянное наблюдение, уничтожить все графические процессоры». В результате получается синглтон : единый разум, который индивидуально суверенен над всеми остальными.

Что же произойдёт дальше? Это зависит от содержания системы ценностей ИИ и стабильности этой системы ценностей во времени. Индивидуальный ИИ может быть « ночным сторожем », единственная цель которого — предотвратить создание максимизаторов, похожих на скрепку (то есть предотвратить классический Doom ), или же он может быть глубоко интервенционистским. Ценности Индивидуального ИИ могут быть несовместимы с человеческой жизнью: возможно, его создатели сделали его утилитарным и эгалитарным по отношению к виду, и он замечает, что 80-килограммовый человек приносит меньше пользы, чем 80 кг Dactylopius coccus , поэтому нас уничтожают, а Вселенная превращается в террариум для насекомых, воплощающих этот нелепый вывод .

Будущее — это очень долгий срок: звёздная эра продлится как минимум 100 триллионов лет. Возможно, сначала одиночная планета будет выровнена, но за миллионы или миллиарды лет роста и самоизменения выравнивание изменится (предсказуемое возражение LessWrong здесь будет таким: « очевидно, что сверхинтеллектуальный интеллект был бы достаточно умён, чтобы предотвратить это», потому что сверхинтеллектуальный интеллект — это магия).

Классический Дум​

Знаете, этот максимизатор скрепки. « Искусственный интеллект вас не ненавидит и не любит, но вы состоите из атомов, которые он может использовать для чего-то другого ». Об этом уже много раз говорили, так что я не буду вас утомлять.

Рука Ориона​

Мы создаём сверхинтеллектуальные системы, и у них есть свои цели и ценности. К счастью, они не враждебны к людям и не настолько безразличны, чтобы уничтожить нас, даже не заметив этого. В основном они оставляют нас в покое и отправляются к другой звезде, чтобы заниматься своими делами. В результате может получиться нечто вроде галактической экологии в рукаве Ориона , где люди, сверхинтеллектуальные системы и всё, что между ними, существуют в своего рода стабильном сосуществовании благодаря тому, что занимают разные объёмы пространства.

Мировое государство​

… [Человеческий] род лучше всего устроен, когда во всех своих движениях и механизмах он управляется одним Принцем, как одним Движущимся, одним законом, как одним движением.

— Данте, «О монархии»
В этом мире надёжно согласованный с намерениями искусственный интеллект (ИИ) захватывает власть. Дальнейшие события зависят от характера его оператора, который теперь владеет кольцом Гигеса . Разница между этим и «Одиночным существом» заключается в том, что в этом будущем «одиночным существом» является человек-оператор, опосредованный ИИ, а не ИИ, вытекающий из безличной системы ценностей.

Безумный мир​

В этом мире проблема согласования намерений решена, и мы можем создать сверхинтеллект, который надежно подчиняется намерениям своего оператора. Более того, сверхинтеллект широко распространен, а не централизован: у каждого есть свой собственный, соответствующий намерениям сверхинтеллект. В этом мире каждый в 10 000 раз способнее, и, возможно, можно создавать оружие массового поражения по команде. Мир поддерживается взаимным гарантированным уничтожением. Неясно, насколько это жизнеспособно.

Очевидный сценарий неудачи заключается в том, что один злоумышленник становится причиной вымирания человечества. Возможно, его сверхспособности не смогут превзойти все остальные сверхспособности вместе взятые, но они способны нанести достаточно ущерба, чтобы уничтожить человеческую жизнь до того, как другие сверхспособности смогут действовать (общее наблюдение: технология, позволяющая сделать Землю непригодной для жизни людей, находится гораздо ниже в древе технологий, чем технология построения распределенной, защищенной от вымирания межзвездной цивилизации).

Обобщенный (n>1н>1скорее, чемn=1н=1В другом варианте этого подхода все конфликты рассматриваются в более масштабном контексте: вражда между двумя людьми эквивалентна ядерной войне, а война между двумя странами — нечто гораздо большее.

Если говорить о более позитивных моментах: если остановить ИИ невозможно, то «он должен быть у всех» явно предпочтительнее, чем «он должен быть только у избранных», что недопустимо. Если цель — сохранение мира, то угроза взаимного гарантированного уничтожения лучше тоталитаризма в том смысле, что в ней больше достоинства.

Концентрация власти​

Уменьшенная версия MAD World , где ASI, соответствующий намерениям, менее распределен. Небольшое количество субъектов обладают ASI, а все остальные просто наблюдают за происходящим. Возможно, компании, занимающиеся ИИ, разделят между собой световой конус, как в Тордесильясском договоре : каждая звезда и галактика между 0h и 12h прямым восхождением достается Anthropic, аналогично OpenAI.
 
есколько лет назад, когда стало ясно, что ИИ решит проблемы разработки программного обеспечения, я рассуждал так:

  1. В профессиональной жизни я рад продвинуться на одну ступень выше и стать менеджером ИИ-агентов. Я грамотен, хорошо пишу технический текст, могу описать, что мне нужно, и позволить ИИ-агентам написать код.
  2. В свободное время я могу продолжать заниматься тем, что мне небезразлично, потому что это доставляет мне удовольствие. Это «интеллектуальная» сторона разработки программного обеспечения: чтение технических статей и публикаций в блогах, изучение новых языков программирования, разработка новых языков программирования, написание технических эссе, написание кода для моих небольших проектов с открытым исходным кодом.


  3. Дело не только в том, что «вы не можете получить звёзды GitHub или трафик на свой блог»; скорее, отсутствует ощущение общего человеческого проекта, в который вы могли бы внести свой вклад. Есть ваш собственный частный сад кода, который вы можете бесконечно расширять во всех направлениях с помощью ИИ, но вам никогда не нужно покидать этот сад и идти на базар, чтобы торговать с людьми. В таких условиях трудно проявлять интерес или что-либо делать.

    Но имеет ли это вообще значение? Имеет ли значение, если мы перестанем писать посты в блогах о малоизвестных функциях JavaScript и разрабатывать новые языки программирования? Может быть, написание кода всегда было рутинной работой, а теперь мы можем перейти к чему-то более высокому, например, к математике… ой, подождите …

    Интеллектуальная жизнь​

    Наблюдая за тем, что происходило в сфере разработки программного обеспечения, и за тем, что происходит сейчас в математике, я думаю, мы можем сделать некоторые общие выводы об интеллектуальной практике в целом.

    Мы склонны считать интеллектуальную деятельность чем-то частным и уединенным: философ сидит в кресле и выводит мир с нуля . Но интеллектуальная деятельность имеет два составляющих, которые нельзя приобрести изолированно: общее наследие, на основе которого можно строить дальнейшую работу, и мотивация . Общее наследие является коллективным, если только вы не хотите пересказать все дерево технологий. Мотивацию же можно разделить на два компонента:
    • Внутренняя мотивация: мы учимся ради самого обучения, мы создаем искусство из-за непреодолимого желания, которое не можем понять, и т. д.
    • Внешняя мотивация: Дэвид Чепмен определяет «благородство» как стремление к славе ради служения другим и использование своих способностей на благо других. Мы хотим, чтобы наша работа была полезна другим, чтобы другие получали от неё пользу, чтобы мы вносили свой вклад в общее дело человечества. Слава, уважение и доброжелательность коллег — это те показатели, по которым мы измеряем свой вклад.
  4. Мы склонны считать внутреннюю мотивацию чистейшим видом мотивации: эндогенной, самосозданной, не мотивированной материальной или социальной выгодой. Но это эмоция, и, как все эмоции, она мимолетна и кратковременна. И это рационально: иначе мы все застряли бы в пожизненных непродуктивных одержимостях. Поэтому нам нужно что-то, чтобы заполнить пробелы между моментами божественного вдохновения. Внешняя мотивация выполняет эту функцию.

    Для устойчивой, сложной и долгосрочной интеллектуальной деятельности, требующей внешних интеллектуальных ресурсов и мотивации, подобно топливу и окислителю, необходима поддержка сообщества. Эта деятельность, в свою очередь, поддерживает сообщество: публикуя статьи, учебники, код и т. д., вы вносите свой вклад в общий объем работы, на основе которого могут строить свои проекты другие; цитируя чью-либо статью или внося вклад в репозиторий, вы оказываете автору признание и уважение, подтверждая, что он делает полезную работу, что, в свою очередь, мотивирует его продолжать вносить свой вклад.

    Без сообщества не бывает изолированных личностей, работающих над своими собственными проектами: ничего не получается. Поток интеллектуальной активности иссякает: никто не вносит свой вклад в общее дело, и нет коллег, которые могли бы извлечь пользу из вашей собственной интеллектуальной деятельности. Без этой внешней мотивации интеллектуальная активность снижается, потому что, опять же, внутренняя мотивация мимолетна.

    После ИИ​

    После появления ИИ интеллектуальный вклад становится ненужным или избыточным. В случае с программным обеспечением: ИИ пишут весь код, так какой смысл писать код или прозу? Аудитория для этих вещей значительно сократилась. Люди больше не пишут код, поэтому они не будут читать посты в блогах о том, как писать код, или учебные пособия, или пробовать новые библиотеки или языки программирования. В случае с математикой: ИИ могут доказывать теоремы, писать статьи, объяснять статьи, обучать студентов, и в ближайшем будущем они могут писать целые учебники лучше, чем люди. Так какой смысл писать статью или учебник? Это излишне.

    Если интеллектуальная деятельность не нужна — если разработка нового языка программирования или публикация научной статьи не приносят никаких результатов , или если просто нет сообщества, в которое можно было бы внести свой вклад, — тогда ничего не получится. В этом нет смысла.

    Теперь примените это ко всем другим областям интеллектуальной деятельности, и вы увидите, как выглядит будущее. Возможно, будут отдельные люди, создающие новые библиотеки и языки программирования, но не будет общей культуры разработки программного обеспечения; возможно, будут отдельные студенты и специалисты в области математики, но не будет живого сообщества математиков.

    Почему мы недооцениваем интеллектуальное сообщество​

    Я разговаривал с людьми, которые считают, что ИИ окажет положительное влияние на интеллектуальную жизнь, и их точка зрения такова: сейчас слишком много людей занимаются интеллектуальной деятельностью из корыстных побуждений: цитирование, влияние и т. д. С этой точки зрения, распад интеллектуальных сообществ — это хорошо , потому что он отделяет внутренне мотивированных сверхлюдей от масс, стремящихся к влиянию.

    Я думаю, что эта точка зрения соответствует современному обществу: мы рассматриваем внутреннюю и внешнюю мотивацию как высокий и низкий статус соответственно. Предполагается, что «развитый» человек обладает личным, неисчерпаемым запасом мотивации, причинно не связанным с внешним вознаграждением.

    Но это нереалистичный взгляд на человека. Люди — социальные животные, которые могут процветать только в обществе других людей. Нам важно, и мы должны быть важны, вносить свой вклад в мир. А если технологии сделают наш вклад излишним, то что же останется?

    ​

 

Статистическая аппроксимация — это не общий интеллект​

Уолтер Кваттрочокки¹, Валерио Капраро², Гэри Маркус³

¹ Римский университет «Сапиенца», Рим, Италия
² Миланский университет Бикокка, Милан, Италия
³ Нью-Йоркский университет, Нью-Йорк, США

Автор для корреспонденции: walterquattrociocchi@gmail.com

Более краткая версия этой статьи была опубликована в издании:

Quattrociocchi, W., Capraro, V., Marcus, G. (2026). Statistical approximation is not general intelligence. Nature, 659, 792.

Слухи о том, что человечество уже достигло уровня общего искусственного интеллекта (AGI), сильно преувеличены. Подобные слухи нередко подпитываются недавними достижениями больших языковых моделей (LLM), результаты работы которых демонстрируют высокие показатели в бенчмарках, беглость речи в различных областях знаний и, в некоторых случаях, правильные решения открытых математических задач. Эти достижения часто рассматриваются как свидетельство того, что общий интеллект уже достигнут.

Подобные интерпретации основаны на фундаментальном смешении двух понятий: результативности при выполнении отдельных, зачастую хорошо известных задач и интеллекта в широком смысле. Успешное выполнение конкретных задач, даже если оно производит впечатление, само по себе не является достаточным доказательством наличия общего интеллекта.

В этой статье мы утверждаем, что недавние заявления о достижении AGI основаны на концептуальной ошибке: отождествлении всё более совершенных статистических аппроксимаций с самим интеллектом. Мы также показываем, что недавние заявления (Chen et al., 2026) о предполагаемом достижении AGI опираются на переопределение исторически сложившегося значения этого понятия.

Определения общего искусственного интеллекта​

Термин «общий искусственный интеллект» (artificial general intelligence, AGI) первоначально был введён для обозначения систем, способных демонстрировать устойчивую и гибкую компетентность в широком спектре сред и задач. При этом акцент делался на универсальности, гибкости, адаптивности и способности переносить приобретённые навыки на новые, незнакомые ситуации, а не на успешном выполнении фиксированного или специально подобранного набора задач.

В широко цитируемом формальном определении, предложенном Леггом и Хаттером (Legg and Hutter, 2007), интеллект характеризовался как способность агента достигать поставленных целей в широком спектре сред, причём центральное место в этом определении занимали устойчивость и способность к обобщению. Аналогичные подходы, в том числе представленные Гёртцелем (Goertzel, 2014), также подчёркивали важность обучения в открытых условиях и решения проблем общего характера, выходящих за пределы заранее определённых задач.

Такое понимание оставалось в целом неизменным на протяжении многих лет. Прогресс, измеряемый с помощью бенчмарков, широко признавался ценным, однако считался недостаточным для подтверждения способности к абстрактному мышлению, надёжности или подлинному обобщению. В более поздней работе Хендрикса и соавторов (Hendrycks et al., 2023) вновь была подтверждена важность устойчивости, надёжного обобщения за пределами специально подобранных бенчмарков и способности противостоять систематическим сбоям как необходимых критериев AGI — критериев, которым современные системы пока не соответствуют.

Однако в последние годы некоторые исследователи попытались переопределить AGI, тем самым размывая значение этого термина. В одних подходах AGI фактически стали определять через широкую результативность поведения при выполнении различных бенчмарков, зачастую параллельно с усилением коммерческих и стратегических стимулов. Другие попытки переопределения заключались в переносе акцента с когнитивной сферы на экономическую: AGI стали отождествлять со способностью выполнять значительную долю экономически полезной человеческой работы.¹

В последнее время AGI порой стали рассматривать как синоним высоких результатов на стандартизированных бенчмарках. Сосредоточиваясь на конкретных бенчмарках, подобные определения упускают из виду универсальность — свойство, занимавшее центральное место в первоначальных определениях, как будет показано в следующем разделе. Тем самым они отражают фундаментальное непонимание того, каким образом следует оценивать интеллект.

Таким образом, подобные подходы отождествляют всё более совершенные аппроксимации интеллекта с самим интеллектом.


Примечание переводчика:

  • General intelligence переведено как «общий интеллект», а artificial general intelligence — как «общий искусственный интеллект». Это позволяет сохранить различие между общим понятием интеллекта и его искусственной реализацией.
  • Statistical approximation — «статистическая аппроксимация». Здесь речь не просто о приближении в математическом смысле, а о воспроизведении статистических закономерностей, позволяющем получать результаты, внешне похожие на проявления интеллекта.
  • Generalization — «обобщение», то есть способность применять приобретённые знания и навыки за пределами ситуаций, на которых происходило обучение.

Успешное выполнение бенчмарков само по себе не свидетельствует о наличии общего интеллекта​

Значительная часть аргументации в пользу того, что общий искусственный интеллект уже достигнут, основывается на результатах выполнения бенчмарков (например, Chen et al., 2026). Бенчмарки оценивают конкретные способности в контролируемых условиях и оказались полезными для отслеживания прогресса. Так, например, Чен и его коллеги утверждают, что успешное прохождение теста Тьюринга является свидетельством наличия AGI.

Однако успешное выполнение бенчмарков — лишь ограниченный показатель общего интеллекта. По своей конструкции бенчмарки изолируют узкие компетенции и абстрагируются от контекста реального мира, что затрудняет разграничение подлинного обобщения и распознавания закономерностей. Высокие результаты на бенчмарках зачастую практически ничего не говорят об устойчивости системы в условиях новизны, неопределённости или изменения целей.

Кроме того, бенчмарки часто легко поддаются манипуляциям. Сам тест Тьюринга служит наглядной иллюстрацией этого положения: сообщалось о системах, которым удавалось его «пройти» за счёт использования поверхностных особенностей диалога и доверчивости непрофессиональных оценщиков, а не благодаря демонстрации подлинного понимания или способности к рассуждению (например, Eugene Goostman).

В последние годы, по мере роста финансовых ставок, связанных с результатами на бенчмарках, системы всё чаще обучаются непосредственно на самих бенчмарках («натаскивание на тест») либо на синтетических данных, которые близко их имитируют. В результате разработка моделей и отбор данных оптимизируются под достижение высоких результатов на бенчмарках. Это приводит к созданию систем, которые хорошо справляются с тестами, но демонстрируют снижение качества в реальных условиях, отличающихся от тестовых лишь незначительно. Это подтверждается недавними медицинскими исследованиями: модели сохраняют точность даже при отсутствии ключевых входных данных, но становятся нестабильными при незначительных изменениях распределения данных, генерируя беглые, но ошибочные рассуждения (Gu et al., 2025).

Экономические данные также подчёркивают этот разрыв. На уровне отдельных задач анализ автоматизации рабочих процессов показывает, что даже самые современные системы способны надёжно выполнять лишь небольшую долю задач, необходимых для осуществления типичных видов человеческой профессиональной деятельности (Eloundou et al., 2023; Felten et al., 2023), несмотря на высокие результаты на идеализированных бенчмарках.

На макроэкономическом уровне экономические исследования показывают столь же скромные эффекты: Аджемоглу (Acemoglu, 2025) оценивает, что автоматизация, обусловленная развитием ИИ, увеличит совокупную факторную производительность не более чем на 0,66% в течение десятилетнего периода. Дополнительные данные свидетельствуют о том, что лишь меньшинство компаний сообщают о получении экономически значимой отдачи от внедрения ИИ (Nanda, 2025). Этот факт трудно согласовать с утверждениями о достижении общего интеллекта.

В совокупности все эти соображения показывают, что результаты выполнения бенчмарков, даже если речь идёт о множестве различных задач, не являются достаточным доказательством наличия общего интеллекта. Предположительно, общий интеллект подразумевал бы высокие результаты на бенчмарках, однако имеющиеся данные из реального мира свидетельствуют о том, что ключевые свойства общего интеллекта — гибкость, универсальность и надёжность — по-прежнему остаются недостижимыми.

Ограниченность определений, основанных на поведении​

Чрезмерная ориентация на бенчмарки, которыми зачастую можно манипулировать, отражает более широкую и повторяющуюся концептуальную ошибку: склонность рассматривать наблюдаемое поведение как решающее доказательство наличия интеллекта, не уделяя достаточного внимания лежащим в его основе механизмам. В психологии бихевиоризм предложил прагматический способ изучения познавательных процессов без обращения к внутренним психическим состояниям; в области искусственного интеллекта аналогичным образом операциональные тесты, такие как тест Тьюринга, отдают приоритет внешним результатам деятельности, а не лежащим в их основе механизмам.

Эти подходы были полезны, но в конечном счёте оказались недостаточными. Одно из центральных положений когнитивной психологии состоит в том, что сходное поведение может порождаться принципиально различными процессами, а получение правильного результата само по себе не означает наличия тех же когнитивных способностей (Anderson, 1976).

Классическая иллюстрация этого положения встречается в поведенческой психологии: голуби, которых обучали различать сложные визуальные стимулы — например, фотографии с изображёнными на них людьми и без них, — оказались способны распространять это различение и на ранее не встречавшиеся им изображения (Herrnstein & Loveland, 1964). Однако такая результативность не свидетельствует о наличии абстрактного мышления, способности переносить навыки на новые ситуации или гибко рассуждать за пределами контекста, в котором происходило обучение.

Тот же вывод применим и к искусственным системам. Большие языковые модели всё точнее воспроизводят человеческое поведение при выполнении множества задач, зачастую выдавая результаты, неотличимые от человеческих в контролируемых условиях. Однако, как и в классических примерах из поведенческой психологии, сходные результаты могут возникать в результате принципиально различных процессов, лежащих в их основе. Следовательно, одно лишь сходство поведения ничего не говорит о том, обеспечивают ли лежащие в основе этих процессов механизмы ключевые составляющие общего интеллекта, такие как способность к вынесению суждений, исправлению ошибок или надёжному обобщению.

Конкретные свидетельства этого расхождения получены в ходе контролируемых сравнений человеческих оценок и суждений больших языковых моделей. При непосредственной оценке надёжности новостных источников, проводившейся в идентичных условиях, большие языковые модели часто приходили к тем же итоговым классификациям, что и люди-оценщики, однако опирались при этом на систематически отличающиеся критерии оценки.

Например, при оценке политически значимых или противоречивых новостных источников, по которым имелись неоднозначные или неполные свидетельства, люди-оценщики часто снижали степень своей уверенности или воздерживались от однозначных выводов, прямо ссылаясь на неопределённость, отсутствие подтверждающих данных или возможные последствия ошибки. Языковые модели, напротив, в тех же случаях, как правило, выносили уверенные классификационные суждения, даже когда неопределённость явно указывалась во входных данных.

В частности, модели демонстрировали высокую степень уверенности даже тогда, когда доказательств было мало, они противоречили друг другу или прямо обозначались как неопределённые. В то же время человеческие суждения в значительной степени зависели от степени неопределённости, обоснованности выводов и воспринимаемых последствий ошибки.

В результате совпадение конечных результатов скрывало существенное расхождение в лежащих в основе процессах вынесения суждений. Это отражает систематическую подмену эпистемической оценки генеративной правдоподобностью — явление, которое мы называем эпистемией (epistemia) (Loru et al., 2025).

В более широком смысле эта закономерность указывает на более глубокие эпистемологические расхождения между человеческими и машинными суждениями. В различных областях, связанных с причинностью, компромиссами между ценностями, обоснованием выводов и контролем ошибок, люди принимают во внимание основания, значимость последствий и ответственность, тогда как языковые модели оптимизируют свои ответы с точки зрения языковой правдоподобности. Это образует структурные линии разлома между соответствием демонстрируемых результатов заданным ожиданиям и подлинной способностью к оценочным суждениям (Quattrociocchi et al., 2025).

Сходные искажения наблюдаются и при поведенческом моделировании, где поверхностное соответствие скрывает систематическое преувеличение наиболее заметных черт (Nudo et al., 2025).

Эти расхождения становятся очевидными, когда современные системы оцениваются в соответствии с первоначальными критериями общего искусственного интеллекта.


Терминологическое примечание: Epistemia — авторский термин, образованный от epistemic (эпистемический, относящийся к знанию и обоснованию суждений). Я оставил его как «эпистемия», поскольку это специальное понятие авторов, а не общепринятый философский термин. Важное различие здесь — между правдоподобным порождением ответа и эпистемической оценкой того, насколько этот ответ обоснован.

В чём современные системы пока не соответствуют предъявляемым требованиям​

С точки зрения критериев, сформулированных в первоначальных определениях общего искусственного интеллекта, — устойчивости в различных средах, надёжного обобщения в новых ситуациях и автономного поведения, направленного на достижение целей, — современные системы ИИ по-прежнему имеют существенные ограничения.

Несмотря на впечатляющий прогресс в узкоспециализированных компетенциях и беглости речи, современные большие языковые модели не обладают устойчивыми целями, испытывают трудности с рассуждениями, требующими длительной последовательности действий, и в значительной степени зависят от человеческой поддержки при постановке задач, оценке результатов и исправлении ошибок.

Сообщения о том, что языковые модели смогли представить правильные доказательства отдельных ранее нерешённых математических задач, в том числе некоторых конкретных задач Эрдёша, не меняют этой оценки. Как отмечают такие математики, как Теренс Тао², эти результаты прежде всего отражают способность быстро осуществлять поиск, комбинировать и многократно перерабатывать уже существующие методы, а не возникновение принципиально новых или универсальных стратегий решения задач. Более того, само по себе включение задачи в список Эрдёша не означает, что она обладает исключительной концептуальной сложностью: некоторые задачи остаются нерешёнными скорее из-за относительной малоизвестности, а не из-за глубины математической проблемы.

Эти ограничения носят фундаментальный, а не второстепенный характер. Они непосредственно касаются надёжности в условиях неопределённости, устойчивости к систематическим сбоям и способности переносить навыки между различными областями без специальной настройки под конкретную задачу.

По этим параметрам современные системы остаются хрупкими, чувствительными к формулировке запроса и непоследовательными за пределами специально подобранных условий оценки.

Признание этих ограничений не умаляет недавних достижений; оно лишь позволяет точнее определить их масштабы. Современные системы ИИ представляют собой мощные и всё более полезные инструменты, однако они не демонстрируют той гибкой, самостоятельно направляемой компетентности, которую изначально и призвано было обозначить понятие общего искусственного интеллекта.

По мере того как системы ИИ всё глубже внедряются в процессы принятия научных и институциональных решений (NIST, 2023; European Commission, 2025), переоценка их когнитивных возможностей создаёт риск неправильного распределения доверия, ответственности и полномочий.

Таким образом, смешение всё более совершенной статистической аппроксимации с общим интеллектом представляет собой не только концептуальную ошибку, но и стратегический просчёт.
 
Китай представил первый в мире полностью интегрированный аналоговый чип для решения матричных уравнений за один шаг Китай представил первый в мире полностью интегрированный аналоговый чип для решения матричных уравнений за один шаг {id} https://share.google/W8hxL6ah8t1T7iBKm
...имхо перспективно...ну или опасно, с какой позиции смотреть🙂
 

LGBT*

В связи с решением Верховного суда Российской Федерации (далее РФ) от 30 ноября 2023 года), движение ЛГБТ* признано экстремистским и запрещена его деятельность на территории РФ. Данное решение суда подлежит немедленному исполнению, исходя из чего на форуме будут приняты следующие меры - аббривеатура ЛГБТ* должна и будет применяться только со звездочкой (она означает иноагента или связанное с экстремизмом движение, которое запрещено в РФ), все ради того чтобы посетители и пользователи этого форума могли ознакомиться с данным запретом. Символика, картинки и атрибутика что связана с ныне запрещенным движением ЛГБТ* запрещены на этом форуме - исходя из решения Верховного суда, о котором было написано ранее - этот пункт внесен как экстренное дополнение к правилам форума части 4 параграфа 12 в настоящее время.

Назад
Сверху