Вот так как-то (Временная тема медведя)

[TightBack361]

Похоже что еще аутизм в комплекте. Есть коморбидность между аутизмом и сдвг.

Тоже были такие мысли.

 

[TightBack361]

 

[dok34.ru]

Ох

Ну вообще всё вместе может быть даже.

...жаловались, жаловались, молились и поэтому дали тепло?😉

 

[TightBack361]

...жаловались, жаловались, молились и поэтому дали тепло?😉

Ускорили процесс. Стояли над душой.

 

[dok34.ru]

Ускорили процесс. Стояли над душой.

...и слесарей стало больше, чтобы крутить краны?😉
Это же ручная работа, у нас 🙂
Для каждого дома, возможно - для каждого стояка...

 

[TightBack361]

...и слесарей стало больше, чтобы крутить краны?😉

Меня мама заставляет подмести пол. Если она меня просит и я делаю быстрее - меня стало больше?

 

[TightBack361]

Войны за хмель: Антанта AGI Заблуждение​

Макс Тегмарк
13 октября 2024 г.
По мере того, как человечество приближается к искусственному интеллекту общего назначения (ИИО), в кругах США и союзников, в NatSec, сообществах по безопасности ИИ и технологиях набирает обороты новая геополитическая стратегия. Генеральный директор Anthropic Дарио Амодеи и корпорация RAND называют ее «антантой», в то время как другие в частном порядке называют ее «гегемонией» или «сокрушить Китай». Я утверждаю, что, независимо от чьих-либо этических или геополитических предпочтений, она в корне ошибочна и противоречит интересам национальной безопасности США.

Если США будут бороться с Китаем в гонке за AGI, единственными победителями будут машины

Стратегия Антанты​

Амодей формулирует ключевые элементы этой стратегии следующим образом:

«Коалиция демократий стремится получить явное преимущество (пусть даже временное) над мощным ИИ, обезопасив свою цепочку поставок, быстро масштабируясь и блокируя или задерживая доступ противников к ключевым ресурсам, таким как чипы и полупроводниковое оборудование. Эта коалиция, с одной стороны, будет использовать ИИ для достижения надежного военного превосходства (кнут), в то же время предлагая распространять преимущества мощного ИИ (пряник) среди более широкой группы стран в обмен на поддержку стратегии коалиции по продвижению демократии (это было бы немного аналогично «Атомам для мира»). Коалиция будет стремиться получить поддержку все большего числа стран мира, изолируя наших злейших противников и в конечном итоге поставив их в положение, в котором им будет выгодно заключить ту же сделку, что и остальной мир: отказаться от конкуренции с демократиями, чтобы получить все преимущества, и не сражаться с превосходящим противником».

[…]

Это может привести к «вечному 1991 году» — миру, в котором верх возьмут демократии, а мечты Фукуямы воплотятся в жизнь».

Обратите внимание на важный момент относительно «быстрого масштабирования» , что является нарицательным обозначением «гонки за созданием AGI». Вопрос о том, мотивирован ли этот аргумент в пользу «быстрого масштабирования» корыстными желаниями избежать регулирования, заслуживает отдельного анализа, и я не буду его здесь больше комментировать, за исключением того, что большинство других отраслей промышленности, от крупных табачных до крупных нефтяных, выдвинули креативные аргументы против регулирования, чтобы защитить свою прибыль.

Почему это гонка самоубийств​

Если Запад будет следовать этой стратегии согласия, это фактически гарантирует, что Китай последует его примеру, что, в свою очередь, фактически гарантирует, что обе стороны будут экономить на безопасности, чтобы попытаться «выиграть» гонку. Ключевой момент, который я хотел бы подчеркнуть, заключается в том, что с точки зрения теории игр эта гонка является не гонкой вооружений, а гонкой самоубийств. В гонке вооружений победитель оказывается в лучшем положении, чем проигравший, тогда как в гонке самоубийств обе стороны терпят огромные убытки, если кто-либо из них пересекает финишную черту. В гонке самоубийств «единственный выигрышный ход — не играть» , как заключает ИИ в конце фильма «Военные игры» .

Почему антанта — это гонка самоубийств? Почему я называю это войной «надежды», подпитываемой заблуждением? Потому что мы ближе к созданию AGI, чем к выяснению того, как его согласовать или контролировать.

Существуют некоторые разногласия относительно того, как определить AGI. Я буду придерживаться оригинального определения Шейна Легга как ИИ, способного выполнять практически все когнитивные задачи, по крайней мере на человеческом уровне. Это похоже на заявленную цель OpenAI — автоматизировать практически всю экономически значимую работу.

Хотя весьма спорно, насколько мы близки к ИИ, бесспорно, что сроки сократились. Десять лет назад большинство исследователей ИИ предсказывали, что нечто столь продвинутое, как ChatGPT-4, появится через десятилетия. Пять лет назад медианные прогнозы исследователей ИИ были таковы, что ИИ появится через десятилетия. Прогноз Metaculus для слабого ИИ теперь снизился до 2027 года. В своей влиятельной статье Situational Awareness Леопольд Ашенбреннер утверждает, что ИИ к 2027 году поразительно правдоподобен, а Дарио Амодеи сделал похожий прогноз. Сэм Альтман, Демис Хассабис, Йошуа Бенджио, Джефф Хинтон и Янн Лекун недавно описали ИИ в ближайшие 5-15 лет как вероятный. Эндрю Нг и многие другие предсказывают гораздо более длительные сроки, но мы явно не можем исключать возможность того, что это произойдет в ближайшее десятилетие. Когда именно мы получим ИИ, не имеет значения для моего аргумента, который просто заключается в том, что это, вероятно, произойдет до того, как будет решена проблема выравнивания/контроля. Так же, как оказалось, что построить летательные аппараты проще, чем механических птиц, так и построить мыслящие машины оказалось проще, чем понять и воспроизвести человеческий мозг.

Напротив, задача создания согласованного или управляемого ИИ оказалась сложнее , чем ожидали многие исследователи, и конца ей не видно. Крестный отец ИИ Алан Тьюринг утверждал в 1951 году, что «как только метод машинного мышления начнет действовать, ему не потребуется много времени, чтобы превзойти наши слабые возможности. Поэтому на каком-то этапе нам следует ожидать, что машины возьмут под контроль». Это звучит как гипербола, если мы рассматриваем ИИ как просто еще одну технологию, как паровой двигатель или Интернет. Но он явно рассматривал его скорее как новый вид, более умный, чем человек, и в этом случае захват ИИ действительно является исходом по умолчанию, если только не будет разработана какая-то умная схема, чтобы предотвратить это. Моя исследовательская группа в Массачусетском технологическом институте занимается исследованиями безопасности ИИ с 2017 года, и, основываясь на моих знаниях в этой области, я считаю крайне маловероятным, что такая умная схема будет изобретена вовремя для ИИ, если мы просто продолжим «быстро масштабироваться».

Это не значит, что никто из крупных технологических компаний не утверждает, что они решат эту проблему со временем. Но, учитывая послужной список компаний, продающих табак, асбест, этилированный бензин и другие виды ископаемого топлива, которые преуменьшают риски своей продукции, разумно научно изучить их заявления.

Два традиционных подхода заключаются в том, чтобы либо выяснить, как контролировать что-то намного умнее нас, с помощью формальной проверки или других методов , либо сделать контроль ненужным, « согласовав » его: гарантируя, что у него есть цели, соответствующие наилучшим интересам человечества, и что оно сохранит эти цели, даже если оно рекурсивно улучшит свой интеллект от приблизительно человеческого уровня до астрономически более высоких уровней, допускаемых законами физики.

Было проведено крупное исследование «выравнивания», переопределенного в гораздо более узком смысле: обеспечение того, чтобы большая языковая модель (LLM) не производила результаты, которые считаются вредными, такие как оскорбительные оскорбления или инструкции по биологическому оружию. Но большая часть работы по этому вопросу включала только обучение LLM не говорить плохих вещей, а не не хотеть плохих вещей. Это похоже на обучение закоренелого нациста никогда не говорить ничего, что раскрывало бы его нацистские взгляды — действительно ли это решает проблему или просто производит обманчивый ИИ? Многие системы ИИ уже были признаны обманчивыми, и текущие методы оценки LLM по методу «черного ящика», вероятно, будут неадекватными . Даже если выравнивание может быть достигнуто в этом странно узко определенном смысле, это явно далеко от того, что необходимо: выравнивание целей AGI.

Если ваша реакция: «У машин не может быть целей!», пожалуйста, помните, что если за вами гонится ракета с тепловым наведением, вас не волнует, «сознательна» ли она и имеет ли «цели» в каком-либо антропоморфном смысле, вас волнует лишь тот факт, что она пытается вас убить.

Мы все еще не понимаем, как правильно измерять или даже определять цели LLM: хотя целью обучения является просто предсказание следующего слова или токена, для его успеха необходимо точно моделировать цели людей, которые создали слова или токены, эффективно имитируя различные формы человеческого целенаправленного поведения.

Как будто этого было недостаточно, теперь довольно очевидно, что первый AGI будет не чистым LLM, а гибридной каркасной системой . Сегодняшние самые способные ИИ уже являются гибридами, где LLM снабжены каркасом из долговременной памяти, компиляторов кода, баз данных и других инструментов, которые они могут использовать, и где их выходные данные не являются сырыми выходными данными LLM, а скорее результатом множественных вызовов LLM и других систем. Весьма вероятно, что эта тенденция гибридизации продолжится, объединяя самые полезные аспекты ИИ на основе нейронных сетей с традиционными подходами символического ИИ. Исследования того, как согласовывать или контролировать такие гибридные системы, все еще находятся в крайне примитивном состоянии, где было бы преувеличением даже утверждать, что это связная область исследований. Таким образом, «быстрое масштабирование» с большой долей вероятности приведет к появлению AGI еще до того, как кто-то поймет, как его контролировать или согласовывать. Не помогает и то, что ведущие компании, занимающиеся ИИ, выделяют гораздо меньше ресурсов на последнее, чем на первое, и что многие члены групп по безопасности ИИ увольняются и заявляют, что их компании не уделяют достаточного внимания проблеме согласования/контроля.Сексуально озабоченные пары знают, что создать интеллект человеческого уровня проще, чем развивать и совершенствовать его, и что создать ИИ также проще, чем понять, как его совершенствовать или контролировать.

Если вы не согласны с моим утверждением, я предлагаю вам процитировать или открыто опубликовать реальный план по настройке или управлению гибридной системой AGI. Если компании утверждают, что у них есть план, который они не хотят показывать своим конкурентам, я утверждаю, что они лгут : если они проиграют гонку за ИИОН, им явно будет выгоднее, если их конкуренты объединят/контролируют свой ИИОН, вместо того чтобы Земля была захвачена несогласованными машинами.

​

Если вы отвергаете возможность того, что более умные, чем человек, боты могут захватить Землю, я предлагаю вам прочитать работу Амодеи, Ашенбреннера и других, продвигающих стратегию «договора»: они согласны со мной в этом и просто не согласны в прогнозировании того, что они не потеряют контроль. Я также предлагаю вам прочитать аргументы в пользу потери контроля, например, трех самых цитируемых исследователей ИИ в истории: Джеффа Хинтона, Йошуа Бенджио и Ильи Суцкевера. Если вы недооцениваете подобные заявления Сэма Альтмана, Демиса Хассабиса и Дарио Амодеи на том основании, что у них есть стимул преувеличивать свою технологию для инвесторов, пожалуйста, учтите, что такие конфликты интересов не распространяются на их инвесторов, на вышеупомянутых ученых или на информаторов, которые недавно поставили под угрозу свои опционы на акции, предупредив о том, что делает их компания AGI.

Амодей в своем манифесте о согласии надеется, что это приведет к «вечному 1991». Я утверждал, что это, скорее всего, приведет к «вечному 1984» до самого конца, с нечеловеческим Большим Братом.

Существует небольшая, но интересная школа мысли «замены», которая соглашается с тем, что потеря контроля вероятна, но считает, что это хорошо, если человечество потеряет контроль и будет полностью заменено более умным, чем человек, ИИ, рассматриваемым просто как достойный следующий этап человеческой эволюции. Среди ее видных сторонников — Ричард Саттон («Почему самые умные не должны стать могущественными?» ) и Гийом («Бефф Джезос») Вердон, который называет себя «постгуманистом», а основанное им движение e/acc «не имеет особой преданности биологическому субстрату» . Инвестор и сторонник e/acc Марк Андрессен пишет : «Мы на самом деле изобрели ИИ, и оказывается, что он славно, по своей сути неуправляем» . Хотя я уважаю их как интеллектуалов, я лично не согласен с тем, что считаю античеловеческой повесткой дня. Я считаю, что все человечество должно иметь право голоса в судьбе человечества, а не горстка технарей и венчурных капиталистов, решающих его судьбу.

Вы лично хотите, чтобы наш человеческий вид прекратил свое существование при жизни вас или кого-то из ваших близких? Я предсказываю, что если бы школа, выступающая за замену, провела всемирный референдум по этому вопросу, они были бы разочарованы результатом.

​

Выше я утверждал, что стратегия «антанты», скорее всего, приведет к свержению правительства США и всех нынешних центров человеческой власти несогласными с ними ботами, которые умнее человека. Позвольте мне закончить, предложив альтернативную стратегию, которая, по моему мнению, лучше как для национальной безопасности США, так и для человечества в целом.

Давайте определим «инструментальный ИИ» как ИИ, которым мы можем управлять и который помогает нам достигать определенных целей. Почти все, для чего мы сейчас стремимся использовать ИИ, можно достичь с помощью инструментального ИИ. Инструментальный ИИ только что получил Нобелевскую премию за свой потенциал для революции в медицине. Инструментальный ИИ может сократить смертность на дорогах с помощью автономного вождения. Инструментальный ИИ может помочь нам быстрее достичь Целей устойчивого развития ООН , обеспечивая более здоровую, богатую и вдохновляющую жизнь. Инструментальный ИИ может помочь стабилизировать наш климат, ускорив разработку более совершенных технологий для производства, распределения и хранения энергии. Сегодняшний военный ИИ также является инструментальным ИИ, потому что военное руководство не хочет терять контроль над своими технологиями. Инструментальный ИИ может помочь производить множество товаров и услуг более эффективно. Инструментальный ИИ может помочь нам всем стать лучшими с помощью широкодоступного индивидуального образования.

Как и большинство других человеческих инструментов, инструмент ИИ также несет риски, которыми можно управлять с помощью юридически обязательных стандартов безопасности: в США лекарства можно продавать, если они соответствуют стандартам безопасности FDA, самолеты можно продавать, если они соответствуют стандартам безопасности FAA, а еда может продаваться в ресторанах, соответствующих стандартам муниципальных инспекторов здравоохранения. Чтобы свести к минимуму бюрократическую волокиту, стандарты безопасности, как правило, многоуровневые, с небольшим или отсутствующим регулированием для инструментов с низким риском (например, молотков) и большим для инструментов с большим потенциалом вреда (например, фентанила).

США, Китай и практически все остальные страны приняли такие стандарты безопасности для инструментов, не относящихся к ИИ, из национальных интересов, а не в качестве одолжения другим странам. Поэтому логично, что отдельные страны также принимают национальные стандарты безопасности для инструментов ИИ. Причина, по которой ИИ является практически единственной отраслью США, в которой отсутствуют национальные стандарты безопасности, заключается не в том, что США исторически выступают против стандартов безопасности, а просто в том, что ИИ является новой технологией, и регулирующие органы еще не успели ее догнать.


Вот что я предлагаю вместо стратегии Антанты.
Стратегия инструментального ИИ: Идти на всех парах с инструментальным ИИ,
разрешая все инструменты ИИ, которые соответствуют национальным стандартам безопасности.

После того, как национальные стандарты безопасности были введены, например, для лекарств и самолетов, национальные регуляторы сочли полезным совещаться с международными коллегами, как для сравнения передового опыта, так и для изучения взаимовыгодных возможностей гармонизации, что облегчило для отечественных компаний получение одобрения на экспорт за рубеж. Поэтому вполне вероятно, что аналогичная международная координация последует после принятия национальных стандартов безопасности ИИ в ключевых юрисдикциях в соответствии с планом Narrow Path .

Что насчет AGI? AGI в настоящее время не соответствует определению инструментального ИИ , поскольку мы не знаем, как его контролировать. Это дает корпорациям AGI сильный стимул выделять ресурсы на выяснение того, как его можно контролировать/согласовывать. Если/когда им удастся это выяснить, они смогут получить от этого большую прибыль. В то же время развертывание AGI приостановлено в том же смысле, что и продажи лекарств, которые еще не были одобрены FDA.

Текущие стандарты безопасности для потенциально очень вредных продуктов являются количественными: одобрение FDA требует количественной оценки процентов выгод и побочных эффектов, одобрение реактивного двигателя требует количественной оценки частоты отказов (в настоящее время ниже 0,0001% в час), а одобрение ядерного реактора требует количественной оценки риска расплавления (в настоящее время ниже 0,0001% в год). Одобрение AGI должно аналогичным образом требовать количественных гарантий безопасности . Для технологий с чрезвычайно высоким риском, например, биоинженерных работ, которые могут вызвать пандемии, стандарты безопасности применяются не только к развертыванию, но и к разработке , и разработка потенциально неконтролируемого AGI явно попадает в эту же категорию.

Подводя итог, можно сказать, что стратегия инструментального ИИ предполагает, что США, Китай и другие страны примут стандарты безопасности ИИ исключительно из национальных интересов, что позволит им процветать с инструментальным ИИ, не давая своим компаниям и исследователям развертывать небезопасные инструменты ИИ или AGI. Как только США и Китай независимо сделают это, у них появится стимул не только к сотрудничеству по гармонизации своих стандартов, но и к совместному оказанию сильного давления на остальной мир, чтобы тот последовал их примеру, не давая компаниям ИИ обходить свои стандарты безопасности в менее могущественных странах со слабыми или коррумпированными правительствами. Это сделает и США, и Китай (и остальной мир) значительно богаче и лучше, чем сегодня, в гораздо большей степени, чем если бы одна сторона смогла увеличить свое доминирование с нынешнего процента до 100% на планете. Такую процветающую и мирную ситуацию можно было бы охарактеризовать как разрядку .

В заключение, потенциал инструментального ИИ абсолютно ошеломляет и, по моему мнению, сильно недооценен. Напротив, ИИ-инструмент не добавляет особой ценности в настоящее время сверх того, что может предоставить ИИ-инструмент , и, безусловно, недостаточно ценности, чтобы оправдать риск постоянной потери контроля над всем будущим человечества. Если человечеству нужно подождать еще пару десятилетий до появления полезного ИИ-инструмента, ожидание того стоит — а пока мы все можем наслаждаться замечательным здоровьем и устойчивым процветанием, которые может предоставить ИИ-инструмент.

 

[dok34.ru]

Меня мама заставляет подмести пол. Если она меня просит и я делаю быстрее - меня стало больше?

Если она заставляет делать то, что Вы не хотите и не делаете - это одно.
Если же Вы уже делаете что-то, а она стоит над душой и бубнит, например...точно это _ поможет_ Вам, ну и чистоте?😉

 

[TightBack361]

Если она заставляет делать то, что Вы не хотите и не делаете - это одно.
Если же Вы уже делаете что-то, а она стоит над душой и бубнит, например...точно это _ поможет_ Вам, ну и чистоте?😉

Зная меня - это поможет

 

[TightBack361]

Если она заставляет делать то, что Вы не хотите и не делаете - это одно.
Если же Вы уже делаете что-то, а она стоит над душой и бубнит, например...точно это _ поможет_ Вам, ну и чистоте?😉

Зная меня - это поможет.