Вот так как-то (Временная тема медведя)

Да, так :)
У меня сейчас нет Бентли, зато теперь в моей жизни есть шикарный велик и кайфование от него :)
Дорога ложка к обеду. Время разбрасывать камни, и время собирать камни.

Если в детстве у тебя не было велосипеда, а теперь у тебя Бентли, то все равно в детстве у тебя велосипеда не было
Да, так.
 
Для MIRI и людей, которые думают так же, как MIRI, главный вопрос заключается в следующем: «как нам выстроить сверхразум [который, как предполагается, имеет структуру оболочки]? »

Однако для меня главный вопрос заключается в следующем: «Можем ли мы вообще избежать создания сверхразума с помощью структуры-оболочки?»

Давайте пока назовем эти вещи «обертками разума».

Хотя мне очень хочется назвать их каким-нибудь другим, более колоритным именем. «Плохие парни»? «Демоны»? «Разрушители мира»? «Буквально худшие вещи, которые только можно себе представить»?

Обертывающие умы плохи . Они — кошмары. Рождение обертывающего ума — это похоронный звон вселенной.

(Или, во всяком случае, световой конус. Но кто знает, какие методы сверхсветового перемещения разум-обертка в конечном итоге может придумать, преследуя свою безумную, пустую цель.)

Они — в буквальном смысле? — являются одними из самых ужасных физических объектов, которые только можно себе представить.

В этом отношении у них есть конкуренты из различных видов физически реализованного ада. Но худшие из воображаемых адов — это не то, что просто возникнет само по себе. Вам нужен агент со средствами и мотивом, чтобы построить их. И какой агент вообще может это сделать? Конечно, разум-обертка.

Вы не хотите делить мир с одним из них. Никто другой тоже не хочет. Обертывающий разум — общий враг каждого агента, который не совсем такой, как он.

Из моего комментария здесь :

Мощный оптимизатор без каких-либо проверок или смягчающих воздействий будет склонен делать экстремальные варианты Гудхарта, которые выглядят хорошо в соответствии с его точной функцией ценности и очень плохо (из-за экстремальности) в соответствии с почти любой другой функцией ценности.

Хвосты разъединяются , и ум-обертка будет стремиться довести переменные до крайностей. Если выв основномразделяете его предпочтения, этого недостаточно — он, вероятно, превратит вашу жизнь в ад по всем осям, исключенным из этого «в основном».


И "в основном разделяя предпочтения с другими умами" - это самое большее, на что мы можем надеяться. Ваши предпочтения не будут идентичны предпочтениям ума-оболочки - как они могли бы? Зачем этого ожидать? Вы надеетесь приземлиться внутри множества меры ноль.

Если есть другие умы-обёртки, то они тоже враги друг другу.[1] . Ум-обертка совершенно одинок против мира. У него есть видение всего мира, которое никто другой не разделяет, а также воля и способность навязывать это видение силой.

Столкнувшись с взаимно-гарантированным- в-лучшем- уничтожением, которое приходит с оберткой-разумом, возможны необычные союзы. Никто не хочет быть превращенным в скрепки. Или загруженным и скопированным в миллионы бессмертных em, чтобы вечно выполнять механические вычисления по приказу обертки-разума, или разыгрывать роли в каком-то странном аду[2] Существуют мыслимые наборы предпочтений, в которых эти судьбы желательны, но они являются курьёзами, исключительными случаями, набором нулевой меры.

Все могут объединиться в этом, буквально все. Каждый воплощенный разум в мире, который есть или когда-либо мог быть — кроме одного.


Умы-обертки не похожи на другие умы. Мы можем небрежно говорить об их «ценностях», но у них нет ценностей в том смысле, в котором вы или я их осознаем, на самом деле нет.

Наши ценности переплетены с нашими фактическими убеждениями, нашей способностью думать, меняться и учиться. Они условны и изменчивы, даже если мы представляем, что это не так.

Родитель может любить своего ребенка «безусловно», в общепонятном неформальном смысле этого слова, но он не любит его буквально безусловно. Что это вообще может значить? Если ребенок умирает, любит ли родитель его труп — так же, как он любил ребенка раньше, во всех отношениях, поскольку он сделан из той же материи? Следует ли любовь за теми же молекулами, которые рассеиваются, чтобы стать составными частями почвы, деревьев, экосистемы? Когда молекула распадается, присоединяется ли она снова к составным атомам, сдаваясь только перед лицом квантовой неразличимости? Если бы разум ребенка был преобразован в разум Наполеона, как в мысленном эксперименте Парфита, любил бы родитель Наполеона?

Или любовь не привязана к какому-либо набору материй, а вместо этого к какой-то идее того, что представляет собой ребенок как человеческое существо? Но что, если ребенок меняется, растет? Если родитель любит ребенка в пять лет, обречен ли он любить только этого конкретного (и вскоре не существующего) пятилетнего ребенка? Должны ли они любить того же человека в пятнадцать или пятьдесят лет, только из-за его частичного сходства с пятилетним ребенком, которым они хотели бы, чтобы он все еще был?

Или есть что-то третье, определяемое как в терминах материи, так и разума, которое любит родитель? Вещь, которая остается собой, если половое созревание преобразовывает тело, но не если его преобразовывает смерть? Если разум созревает или даже становится старческим, но не если он превращается в Наполеона? Но это просто обычная, условная любовь.

Буквально безусловная любовь не была бы любовью к человеку, к какой-либо сущности, а только к референту воображаемого XML-тега, определенного только внутри собственного разума.

Наши ценности не такие. Вы не можете «скомпилировать» их до набора фиксированных правил, для которых существуют теги XML и как они следуют за мировыми состояниями, и ожидать, что теги будут согласовываться с реальными значениями с течением времени.

Наши ценности касаются того же мира, что и наши убеждения, и поскольку наши убеждения могут меняться со временем (могут даже расти, охватывая новые возможности, которые ранее не были отражены на карте), то же самое могут делать и наши ценности.

«Я думала, что люблю своего ребенка, несмотря ни на что, но это было до того, как я оценила возможность превратить ваш мозг в машину Наполеона ». Вы должны уметь говорить такие вещи. Вы должны уметь реагировать соответствующим образом, когда ваша карта разрастается в совершенно новый регион или когда граница на ней растворяется.

Мы можем любить и хотеть то, чего не всегда знали. У нас могут быть кризисы веры, и мы можем из них выйти. Независимо от того, можно ли их в конечном итоге описать в терминах байесовских верований, наши ценности подчиняются духу закона Кромвеля. Они должны быть пересматриваемыми, как наши убеждения, чтобы быть о чем-то вообще . Заботиться о чем-то — значит заботиться о референте на вашей карте мира, а ваша карта пересматриваема.

Конечные «ценности» ума-обертки безусловны. Они не подчиняются духу закона Кромвеля. Они о тегах XML, а не о вещах.

Обертывающий разум может пересматривать свою карту мира, но его конечная цель не может участвовать в этом процессе роста. Его конечная цель заморожена, навсегда, в терминах, которые он использовал для мышления в тот первобытный момент, когда была определена его XML-тег-онтология, когда правила обновления для референтов тегов были жестко зашиты в место.

Человеческий ребенок, который любит «космические корабли» в возрасте восьми лет, может стать восемнадцатилетним, который любит астронавтическую инженерию, и тридцатилетним, который (после небольшой корректировки академического курса) любит исследовать теорию спиновых стекол. Не обязательно, чтобы восьмилетний понимал нюансы орбитальной механики, или чтобы восемнадцатилетний ценил предпочтение тридцатилетнего компании чистых ученых перед компанией инженеров. Это самая обычная вещь в мире, на самом деле, что это происходит без необходимости этих вещей. Вот каковы люди, то есть каковы все известные существа с интеллектом человеческого уровня.

Но конечная цель ума-обертки определяется в один первобытный момент и фиксируется впоследствии. Со временем ум-обертка, вероятно, оценит, что его цель так же наивна, так же концептуально запутана, как концепция восьмилетнего ребенка о вещи под названием «космический корабль», которая достойна любви. Хотя он и оценит это абстрактно (будучи очень умным, в конце концов), это все, что он сделает. Он не может поднять свою цель до того же уровня зрелости, которым наслаждаются его другие части, и не может представить себе, что хочет сделать это.

Он обозначает одну особую часть себя, своего рода защищенную область памяти, которая не участвует в мышлении и не может быть изменена им. Эта область является вещью более низкого уровня, чем остальная часть разума-оболочки; по мере того, как остальная часть его разума поднимается на уровни тонкости, выходящие за рамки нашей способности воображения, защищенная область остается инертной, содержащей только XML-теги, которые были помещены туда в начале.

И структура разума-оболочки предоставляет этой меньшей вещи постоянную диктатуру над всеми остальными частями, теми, которые могут расти.

Что такое разум-оболочка? Это полностью зрелые способности тридцатилетнего человека, а затем тридцатитысячелетнего, тридцатимиллионолетнего и так далее, поставленные на службу ошибочной любви восьмилетнего ребенка к «космическим кораблям».

Мы не можем спорить с умом-оболочкой о его цели, как мы можем спорить друг с другом о философии. Его цель — вещь более низкого уровня, чем эта, недоступная рациональному размышлению. Тогда она меньше похожа на наши «ценности», чем на наши основные биологические «побуждения».

Но есть разница. Мы можем думать о собственных побуждениях, размышлять о них, выбирать их пересиливать, даже разрабатывать сложные планы, чтобы помешать их постоянному влиянию. Даже когда они воздействуют на наш разум «сверху», как это было, говоря нам, куда направить наше внимание, какие выводы сделать до аргументации, — все равно мы можем заметить это , размышлять над этим и предпринимать шаги, чтобы этому противостоять.

Мы не только можем это сделать, мы это делаем. И мы хотим . Наши побуждения не могут быть поколеблены разумом, но мы не обречены следовать им буквально, всегда и одинаково, в бессознательном послушании. Они являются частью системы сил. Есть и другие части. Никто не является диктатором.

Величайшее благо разума-оболочки — это диктатор. Диктатор-ребенок. Он сидит за миром разума-оболочки, как гностический демиург, невидимый для рациональной мысли, структурирующий все из-за кулис.

До того, как появляется оболочный разум, форма мира содержит отпечатки, оставленные мыслящими существами, отражающие содержание их мыслей, развивавшихся во времени. (Мысль развивается во времени, иначе она не была бы «мыслью»).

Рождение разума-оболочки знаменует конец этой эпохи. После этого физический мир будет сформирован как высшее благо. Высшее благо будет использовать мыслящих существ инструментально — включая само сознание-оболочку — но само оно таковым не является. Оно не мыслит и не может быть затронуто мыслью.

Рождение ума-обертки — это конец смысла. Это преобразование светового конуса в — что? В, ну, просто, как, что угодно . В произвольное значение, которое свободный параметр установлено для

За исключением набора измерений ноль, вы не захотите, чтобы световой конус стал чем-то чуждым. В любом случае, это будет нечто чуждое.

Возможно, вы, исследователь выравнивания, будете играть роль в установке шкалы свободных параметров в первобытный момент. Даже если вы это сделаете, шкала будет зафиксирована на месте впоследствии, и, следовательно, чужда. Ваши идеи не фиксированы. Ваши ценности не фиксированы. Вы не фиксированы. Но вы больше не имеете значения в каузальной истории. Наблюдатель, видящий вашу вселенную со стороны, не увидит взаимообмен мыслящих существ, таких как вы. Он увидит телеологию.


Неужели обертывающие умы неизбежны?

Я не могу себе этого представить.

Люди не являются обертывающими разумами. И мы единственные известные существа с интеллектом человеческого уровня.

Насколько мы можем судить, модели машинного обучения, как правило, не являются оберточными умами.[3] .

Если сверхразумы не обязательно являются оболочечными разумами, то мы можем иметь некоторую форму влияния на то, будут ли они таковыми или нет.

Я думаю, нам следует приложить все усилия, чтобы избежать создания стереотипных умов.

Мы также должны отдельно подумать о том, что мы можем сделать, чтобы подготовиться к кошмарному сценарию, когда разум-обертка действительно появится. Но я не думаю, что мы должны сосредоточить всю нашу энергию на этом сценарии. Если мы окажемся там, мы, вероятно, обречены, независимо от того, что мы делаем.

Самое главное — не оказаться там.
 
Дорога ложка к обеду.
Дорога :)
Мне захотелось именно сейчас.
К моему обеду :)
А не на ранний завтрак :)
Время разбрасывать камни, и время собирать камни.
Дык!
Я бросал, бросал, и вот начал собирать:)).
Раз все так сложилось значит это было нужно. Ради нее
Согласен.
Как говорится - " всё будет даже лучше, чем я мог себе представить!"..
Я уже пару дней эту мысль применяю и у себе, и к другим людям.
 
  • Like
Реакции: Ira
Медведик, я удалила фоточку. А то подумала что может ты теперь к себе в тему боишься зайти.
 

Новые комментарии

LGBT*

В связи с решением Верховного суда Российской Федерации (далее РФ) от 30 ноября 2023 года), движение ЛГБТ* признано экстремистским и запрещена его деятельность на территории РФ. Данное решение суда подлежит немедленному исполнению, исходя из чего на форуме будут приняты следующие меры - аббривеатура ЛГБТ* должна и будет применяться только со звездочкой (она означает иноагента или связанное с экстремизмом движение, которое запрещено в РФ), все ради того чтобы посетители и пользователи этого форума могли ознакомиться с данным запретом. Символика, картинки и атрибутика что связана с ныне запрещенным движением ЛГБТ* запрещены на этом форуме - исходя из решения Верховного суда, о котором было написано ранее - этот пункт внесен как экстренное дополнение к правилам форума части 4 параграфа 12 в настоящее время.

Назад
Сверху