Вот так как-то (Временная тема медведя)

[dok34.ru]

По моему мнению, основанном на изучении себя, других людей с разной сексуальностью, большого количества литературы, я тоже склоняюсь, что top down causality есть, то есть каузальность сверху вниз, от уровня социума и выше до физического уровня, но также есть и каузальность снизу вверх, особенно за счет эмерджентности, когда из компонентов появляется система с принципиально новыми свойствами, которые отсутствуют у ее составляющих. Самый известный пример -- это вода, с ее свойствами, которых нет у водорода и кислорода. Но можно представить, что, скажем, из определенных структур мозга и других частей организма возникает когнитивный агент с определенными схемами, предпочтениями.

Да, вероятно так
Из набора органов - живой организм 🙂

Как работает top down causality еще многими изучается, каузальность сверху, она мало понятна. Так, силой внушения еще никто не научился рак лечить, то есть от психического уровня. Ищут пока лечение болезней, отталкиваясь от каузальности снизу вверху, от молекулярно-генетического уровня до уровня органов.

...даже спичку "психическим усилием" сдвинуть непросто, говорят знатоки 🙂
...

 

[dok34.ru]

Какие болезни еще?! Гомосексуальность, транссексуальность?
То есть я типа не считаю твои такие топорные аналогии и отсылки сколько нибудь правильными. Это не то что не_полит корректны подобные параллели. Их даж сатрап Док и последователь нормативной сексологии не использует такие намеки на болезнь и лечение.

Дык!
Даже ..обрубаю намёки новичков на попытку меня к этому припрячь 🙂
Таки не болезнь и точка 🙂

 

[Ira]

Суперский постинг, спасибо!

И они тоже друг с другом борются, и сражения агентов на более низких уровнях -- лишь бледная тень тех войн, которые ведут друг с другом Боги.

Напомнило -

Посмотри, как блестят
Бриллиантовые дороги
Послушай, как хрустят
Бриллиантовые дороги
Смотри, какие следы
Оставляют на них боги
Чтоб идти вслед за ними, нужны
Золотые ноги
Чтоб вцепиться в стекло
Нужны алмазные когти
Горят над нами, горят
Помрачая рассудок
Бриллиантовые дороги
В темное время суток

 

[TightBack361]

Предположение: Внутренняя информационная опасность Политика​

Коннор Лихи , Сид Блэк , Крис Скаммелл , Андреа Миотти
30 июля 2022 г.
Форум по выравниванию ИИ
Этот пост выиграл от отзывов и комментариев всей команды Conjecture, а также других, включая Стива Бирнса, Пола Кристиано, Лео Гао, Эвана Хубингера, Дэниела Кокотайло, Ванессу Косой, Джона Вентворта, Элиезера Юдковски. Многие другие также любезно поделились своими отзывами и мыслями по этому поводу формально или неформально, и мы благодарны за помощь каждого в этой работе.

На этом форуме много написано об информационных опасностях, таких как информация, которая ускоряет сроки AGI, хотя очень немногие посты пытаются операционализировать это обсуждение в политику, которой могут следовать организации и отдельные лица. Этот пост делает попытку внедрения.

Ниже мы делимся внутренней политикой Conjecture в отношении информационной опасности, а также некоторыми соображениями, которые мы приняли во внимание при ее составлении. Наша цель при распространении этого на этом форуме имеет три аспекта:

1. Поощрять подотчетность. Мы считаем, что организации, работающие над искусственным интеллектом, особенно те, которые обучают и экспериментируют на больших моделях, должны быть крайне осторожны в отношении расширения возможностей и ускорения сроков. Принятие внутренних политик для снижения риска утечки опасной информации имеет важное значение, и публичность этих политик свидетельствует о приверженности этой идее. То есть, стыдно нам, если мы нарушим этот принцип.
   
2. Для содействия межорганизационному сотрудничеству. Хотя секретность может нанести ущерб производительности, мы считаем, что организации смогут работать друг с другом более уверенно, если будут следовать схожим политикам информационной опасности. Две стороны могут говорить более свободно, когда они взаимно признают, какая информация может быть передана и кому она может быть передана, и когда обе стороны демонстрируют серьезную приверженность хорошей информационной безопасности. Политика, которая формализует это, означает, что организациям и отдельным лицам не нужно заново изобретать нормы доверия каждый раз, когда они взаимодействуют.
   
   Обратите внимание, что на текущем уровне реализации взаимное доверие в основном опирается на последствия «если вы раскроете согласованные секреты, ваша репутация будет навсегда запятнана». Но поскольку согласованность — это небольшая область, это, по-видимому, имеет достаточный вес в текущем масштабе.
   
3. Чтобы начать разговор, который приведет к лучшим политикам. Эта политика не идеальна, рецензенты не согласились с частью содержания или представления, и гарантированно можно сделать лучшие версии этого. Мы надеемся, что в своем несовершенстве эта политика может послужить семенем, из которого могут вырасти лучшие политики и подходы к управлению информационными опасностями. Пожалуйста, поделитесь своим отзывом!

Обзор и мотивация​

Термин «информационная опасность» недостаточно определен и используется как для обозначения «информации, которая напрямую вредит слушателю, и которую вы предпочли бы не слышать», так и для обозначения «информации, которая увеличивает вероятность коллективного уничтожения, если она распространится или попадет не в те руки».

В Conjecture нас волнует тот тип информационной опасности, который ускоряет сроки AGI , т. е. возможности компаний, команд или людей без ограничений. Из-за характера работы по выравниванию в Conjecture гарантируется, что некоторые сотрудники будут работать над проектами, которые по своей природе являются информационными опасностями, поскольку при изучении направлений исследований по выравниванию могут возникнуть идеи о том, как увеличить возможности систем ИИ. Мы внедрили политику для создания норм, которые могут защитить этот вид информации от распространения.


TL;DR политики таков: отмечайте все внутренние проекты как явно секретные, частные или публичные. Делитесь секретными проектами только с избранными лицами; делитесь частными проектами только с избранными группами; делитесь публичными проектами с кем угодно, но действуйте осмотрительно. В случае сомнений проконсультируйтесь с руководителем проекта или «назначенным координатором по информационной опасности ».


Нам нужна такая внутренняя политика, потому что доверие не масштабируется: чем больше людей вовлечено в секрет, тем сложнее его хранить. Если есть вероятность 99% / 95% / 90%, что кто-то хранит все секреты, связанные с инфоопасностью Conjecture, вероятность того, что 30 человек сделают это, падает до 74% / 21% / 4%. Это означает, что если вы поделитесь секретами со всеми в компании, они утекут.

Наша политика склоняется к консерватизму, поскольку утечка информации, представляющей опасность для информации, может привести к катастрофическим последствиям. В целом, сокращение распространения опасностей для информации означает больше, чем просто держать их подальше от компаний или людей, которые могли бы их понять и применить. Это означает держать их подальше от кого бы то ни было, поскольку обмен информацией с кем-либо увеличивает возможности ее распространения.

Соображения​

Политика информационной опасности должна найти правильный баланс между тем, что должно и что не должно быть раскрыто, и кому. Ниже приведен ряд соображений высокого уровня, которые мы приняли во внимание при написании нашей политики:

• Координация имеет решающее значение для согласования. У нас должны быть структуры информации и управления, которые позволяют надежно развертывать ресурсы. Другими словами, нам нужны скоординированные организации. Это главная причина, по которой была основана Conjecture, а не просто поставка EleutherAI большего количества вычислений.
• Обмен информацией имеет решающее значение для координации. Вот некоторые причины:
  • Согласованность: обеспечение того, чтобы Conjecture знала, куда направить свои исследовательские усилия
  • Надзор: обеспечение того, чтобы люди делали полезные вещи, а ресурсы распределялись правильно
  • Избежание избыточности: обеспечение отсутствия дублирующих проектов
  • Избегание враждебной или разрушительно-конкурентной динамики: обеспечение того, чтобы люди не замедляли других, чтобы выглядеть лучше
• Обмен информацией позволяет людям более эффективно проводить исследования по выравниванию.
  • Задавая вопросы многим людям о том, над чем вы работаете, вы получаете большую пользу.
  • 99% идей — это не решения, а пища для ума. Весь их +EV — это то, что они делятся
• Некоторые информационные опасности не так уж и плохи для раскрытия, другие — действительно плохи для раскрытия, и обычно заранее не ясно, что есть что. Мы живем в плохие сроки. Нам осталось не так много лет до AGI; существующие субъекты мчатся к AGI; а к соответствующим организациям на самом деле не прислушиваются. Мы хотим быть уверены, что не ухудшим эту ситуацию.
• Секреты сложнее хранить в течение более длительного периода времени. Легче хранить секреты в течение 1 месяца, чем 10 лет. «К счастью», вы ожидаете, что это будет меньшей проблемой, если у вас короткие сроки.
• Секреты тем сложнее хранить, чем их больше. Легче отслеживать 1 секрет, чем 100 секретов. Поэтому лучше разбить на хранилища или проекты, чем на отдельные технические идеи. Это грубый уровень детализации, который означает, что больше вещей будут включены в секретные пакеты, чем необходимо, с целью сохранения небольшого количества самих пакетов.
• Безопасность против безопасности. Эта политика разработана с учетом безопасности : цель состоит в том, чтобы избежать утечек (в частности, случайных утечек), а не в том, чтобы быть устойчивой к шпионажу (информационная безопасность и операционная безопасность будут рассмотрены в будущих политиках).
• Функциональная теория принятия решений . Не портите всем жизнь.

Другими словами, нам необходимо сбалансировать множество различных соображений, а не только вопрос «является ли это информационной опасностью или нет».

Политика​

(Дословно из внутреннего документа Conjecture.)

Введение​

Этот документ предназначен для Conjecture и включает сотрудников, стажеров и соавторов. Обратите внимание, что эта политика не имеет обратной силы; любые прошлые обсуждения по этому вопросу были неформальными.

Эта политика применяется только к прямым информационным опасностям, связанным с возможностями AGI. Чтобы быть полностью ясным: речь идет об информационных опасностях , а не об опасностях PR, репутационных опасностях и т. д.; и речь идет о возможностях AGI .

Примеры предполагаемых информационных опасностей:

1. Утечка кода, который обучает сети быстрее
2. Раскрыта новая технология, которая обучает сети быстрее
3. Раскрытие новой конкретной теории, которая приводит к методам, которые обучают сети быстрее
4. Дать знать за пределами Conjecture, что мы использовали/построили/развернули метод, который уже существует в литературе, для более быстрого обучения сетей
5. Дать знать за пределами Conjecture, что мы заинтересованы в использовании/создании/развертывании методики, которая уже существует в литературе, для более быстрого обучения сетей.

1-3 очевидны. 4-5 опасны, потому что они привлекают больше внимания к идеям, которые увеличивают средний отрицательный внешний эффект. Если в будущем мы захотим скрыть больше типов информации, которые не охвачены текущей политикой, мы должны явно расширить область того, что скрывается.

Даже в Conjecture важно разобщение информации и проектов. Обычно любой отдельный член команды, работающий над секретными проектами, может раскрыть другим, что он работает над секретными проектами, но не более того.

Мантра по умолчанию — «нужно знать». Нужно ли этому человеку знать X? Если нет, ничего не говорите. В идеале никто, кому не нужно знать, не должен знать, сколько существует секретных проектов, над какими проектами работают люди и о чем все эти проекты.

Хотя не следует активно предлагать, что они хранят секрет, мы должны стремиться к метачестности. Это означает, что когда нас спрашивают напрямую, мы должны быть прозрачны в том, что мы соблюдаем политику информационной опасности, которая скрывает вещи, и объяснять, почему мы это делаем.

Правила​

Мы будем применять три уровня раскрытия информации.

• Секретно: информация, которой можно поделиться только с определенными лицами.
• Конфиденциально : информация, которой можно поделиться только с нечеткой группой.
• Публично: информация, доступная всем.

Мы рассмотрим эти уровни раскрытия для следующих типов информации:

• Репозитории: Целые репозитории проще упаковывать, чем отдельные файлы и папки.
• Проекты: Конкретные проекты или подпроекты проще классифицировать, чем проблемы внутри проекта.
• Идеи : Идеи очень трудно отслеживать и хранить в тайне, поэтому, когда это возможно, мы постараемся упаковать их в репозитории или проекты. Но могут быть идеи, которые являются исключениями.

Каждый проект, который является секретным или частным, должен иметь связанный с ним документ о доступе , в котором перечислены те, кто знает о секрете и любой информации из белого списка. Этот документ представляет незначительную угрозу информационной безопасности, но он важен для координации.

Назначенный координатор по информационным опасностям имеет доступ ко всем секретам и частным проектам. Для Conjecture этим человеком является Коннор, а цепочка преемственности выглядит так : Коннор → Гейб → Сид → Адам. При сотрудничестве с другими организациями по секретному или частному проекту назначенный координатор каждой организации имеет доступ к проекту. Этот пункт гарантирует наличие выделенного человека для обсуждения информационных опасностей, помощи в установлении стандартов и разрешения неоднозначностей при возникновении вопросов. Второе преимущество координатора — стратегия: тот, кто управляет Conjecture, должен иметь карту того, над чем мы работаем, и над чем мы намеренно не работаем.

Утечка опасной информации является серьезным нарушением доверия не только в Conjecture, но и в сообществе выравнивания в целом. Намеренное нарушение политики приведет к немедленному увольнению из компании. Это касается и высшего руководства. Ошибки отличаются от намеренной утечки опасной информации.

Более подробная информация об уровнях раскрытия информации приведена ниже, а дополнительная информация о последствиях и процессе определения того, была ли утечка информации распространена намеренно или нет, обсуждается в разделе «Процессы».

Секрет​

• Кто: Чтобы элемент был секретным, он должен иметь точный список людей, которые его знают. Этот список может включать людей за пределами Conjecture. Этот список людей должен быть явно записан в документе доступа и должен включать назначенного координатора по информационной опасности .
• Что покрывается: Вся информация, связанная с секретными проектами, должна рассматриваться как секретная, если она не внесена в белый список. Она может обсуждаться только с участниками секретного проекта. Политика запрещает утечку секретной информации лицам, не включенным в список проекта. Если вы сомневаетесь, является ли информация «связанной», обратитесь к руководителю проекта или назначенному координатору по информационной опасности .
• Белый список: для любого секрета может быть информация, которой можно поделиться с большим количеством людей, чем просто с секретной группой. Вся информация из белого списка должна быть явно прописана в документе доступа и согласована с теми, кто знает секрет. Без этого письменного и подтвержденного соглашения обмен любой информацией, связанной с секретом, будет считаться нарушением политики. Информация из белого списка считается частной и должна соответствовать правилам частной информации, приведенным ниже. Назначенный координатор по информационной опасности должен соблюдать те же правила белого списка, что и все остальные члены секретной группы.

Частный​

• Кто: Чтобы вещь была частной, она должна иметь группу или группы, которые имеют к ней доступ. На практике это может означать Conjecture или группы из сообщества Alignment (например, «Conjecture и Redwood знают об этом»). В документе для каждого частного проекта должно быть четко указано, какие группы знают информацию. Информация, связанная с частными проектами, может быть предоставлена только членам этих групп. Подробнее см. в разделе «Обмен информацией» в процессах ниже.
• Попробуйте определить нечеткие границы: Частные вещи могут быть гораздо менее конкретными, чем секретные, а «группы», с которыми делятся, иногда не определены. Это необходимое зло, поскольку у нас нет пропускной способности для формального отслеживания всех взаимодействий и обмена идеями; эти более широкие категории необходимы для облегчения совместной работы.
• Ограничьте публичность: никакая частная информация не может быть опубликована на таких сайтах, как LessWrong или AlignmentForum, или в газете. Пожалуйста, воздержитесь от публикации частной информации на Discord, Slack или других платформах обмена сообщениями, которые в будущем будут использоваться Conjecture, за исключением относительно небольших и защищенных сред, где «группа» или аудитория понятны.
• Используйте экономно: не полагайтесь на категорию «частный»; понятнее и предпочтительнее сделать информацию либо общедоступной, либо секретной.

Публичный​

• Кто: Буквально все. Эту информацию вы можете рассказать своей маме, или всем своим друзьям, или разместить в Twitter. Это не значит, что вы должны это делать.
• Осмотрительность: по-прежнему важно проявлять осмотрительность при распространении публичной информации. Сообщения, которые мы пишем на AlignmentForum, являются публичными, но они не являются пресс-релизами. Информация, которую мы обсуждаем в EAG, является публичной, но это не то, о чем мы бы рассылали всем по электронной почте.
• Форумы являются публичными: LessWrong, AlignmentForum, EA Forum, EleutherAI Discord (публичные каналы) и подобные сайты считаются публичными. Любая информация, размещенная там, должна считаться публичной.
• Никаких возвратов: После того, как публичная информация была передана, мы не можем вернуть ее обратно. Мы можем пересмотреть уровень нашей конфиденциальности и перевести информацию в разряд секретной, но мы должны предполагать, что все, чем мы поделились, навсегда, необратимо, стало известно.

Процессы​

1. Назначение уровней раскрытия информации​

Для новых проектов: всякий раз, когда запускается новый проект, назначенный координатор по информационной опасности и руководитель проекта будут работать вместе, чтобы оценить, является ли содержание проекта информационным и следует ли его отнести к категории секретных, частных или публичных. Каждый разговор будет включать:

(1) какую информацию охватывает проект

(2) в каких формах уже существует информация о проекте, например, письменная, репозиторий, пост AF и т. д.

(3) кто знает о проекте и кто должен знать о проекте

(4) предлагаемый уровень раскрытия информации

Если проект определен как секретный или частный, необходимо создать документ о доступе, в котором перечислены те, кто знает о проекте и любая информация, внесенная в белый список. Любая информация о проекте, которая в настоящее время существует в письменной форме, должна быть перемещена и сохранена в репозитории или папке проекта с разрешениями, ограниченными теми, которые указаны в списке документов о доступе.

Любой может попросить назначенного координатора по информационной опасности начать проект как секретный. По умолчанию принимается. В Conjecture бремя доказательства лежит на Конноре, если он хочет отказаться, и он должен выдвинуть возражение, которое доказывает, что вопрос достаточно сложен, чтобы не принять его немедленно, и может измениться в будущем. В общем, любой новый технический или концептуальный проект, который, как кажется, может предположительно привести к прогрессу возможностей, должен быть создан как секретный по умолчанию.

(Мы вернемся к этому пункту после нескольких месяцев тестирования этой политики, чтобы разработать более четкие рекомендации по принятию решения о том, какой статус присваивать проектам).


Для текущих проектов (изменение уровней раскрытия информации): любой желающий может предложить изменить уровень раскрытия информации о проекте.

• Секретный → Частный: чтобы перевести проект из разряда секретных в разряд закрытых, необходимо согласие всех участников проекта и назначенного координатора по информационной опасности .
• Частный → Публичный:Перед тем, как сделать какую-либо информацию общедоступной, все участники проекта должны согласиться. Кроме того, участники должны проконсультироваться с внешними доверенными источниками и получить одобрение большинства. Мы рассматриваем:
  • [Мы находимся в процессе обращения к отдельным лицам и включим их после их подтверждения. Если у вас есть предложения по включению отдельных лиц, пожалуйста, добавьте комментарий здесь.]
  • Например: Элиезер Юдковски
  • Пол Кристиано
  • Эван Хубингер
  • Джон Вентворт
  • …

При сотрудничестве с другой организацией обе стороны должны согласиться, что одно или несколько лиц могут доверять вынесению решения по данному вопросу.

• Публичный → Частный: Избегайте этого. Редактирование ранее публичной информации затруднительно, и в редких случаях, когда это необходимо сделать, это, по-видимому, происходит потому, что информация достаточно опасна для информации, чтобы ее можно было сделать секретной.
• Публичный или частный → Секретный: это следует рассматривать только в ситуациях, когда определено, что инфоопасная информация является особенно чувствительной. Кроме того, это следует делать с осторожностью, чтобы не привлекать больше внимания из-за эффекта Стрейзанд.
  
  Здесь бремя доказательства лежит на лице, предлагающем изменение, и оно должно обсудить этот вопрос напрямую с руководителем проекта или назначенным координатором по инфоопасности . Если координатор (и в большинстве случаев руководитель проекта) согласен, следуйте процессу, описанному в разделе «для новых проектов» выше.
  
  Кроме того, если проект был частным и если это осуществимо, свяжитесь со всеми, кто в настоящее время имеет доступ к информации, чтобы сообщить им, что уровень раскрытия информации меняется на секретный, и попросите их прочитать политику в отношении инфоопасности. Каждый человек должен быть добавлен в список людей, которые знают о проекте. Если эти люди больше не будут работать над проектом, они все равно должны быть отмечены как знающие о проекте, но в отдельном списке.

2. Обмен информацией​

Каждый проект должен иметь связанный с ним документ о доступе, в котором перечислены те, кто знает об информации, и какая информация внесена в белый список для более свободного обсуждения. Этот список будет храниться в папке или репозитории git, к которому имеют доступ только участники секретного или частного проекта.

Секретная информация может быть предоставлена только лицам, указанным в списке доступа. Любой участник секретного проекта может предложить добавить кого-то нового в секрет. Сначала обсудите добавление человека с руководителем проекта, а затем сообщите всем текущим членам и дайте им возможность возразить. Если кто-то в команде возражает, вопрос передается назначенному координатору по информационной опасности , который имеет последнее слово. Если команда единогласно соглашается, координатор получает окончательное вето (подразумевается, что координатор должен использовать это вето только в том случае, если у него есть частная информация о том, почему добавление этого человека было бы плохой идеей).

Конфиденциальная информация может быть предоставлена только членам групп, которые записаны в списке доступа. Перед тем, как предоставить личную информацию человеку X, сначала проверьте, не была ли эта информация уже предоставлена кому-либо из той же группы, что и X. Затем обсудите общие соображения по поводу информационной опасности с X и признайте, какие избранные группы имеют доступ к этой информации. Затем сообщите другим в Conjecture, что вы предоставили информацию X. В случае сомнений сначала спросите.

Публичную информацию можно свободно обсуждать с кем угодно, однако, пожалуйста, будьте благоразумны.

Для всех секретных и частных проектов обмен информацией по умолчанию должен происходить устно и по возможности не должен быть письменным (в сообщениях или документах).

3. Процесс нарушения политики​

Мы просим нынешних и будущих сотрудников и стажеров подписать соглашения о неразглашении, которые повторяют эту политику информационной опасности. Намеренное нарушение политики приведет к немедленному увольнению из компании. Вердикт о том, было ли распространение преднамеренным или нет, будет вынесен назначенным координатором по информационной опасности, но будет прозрачным для всех членов, посвященных в секрет (т. е. в Conjecture Коннор может принять единоличное решение, но в этом процессе на карту поставлены его репутация и доверие).

Члены высшего руководства Conjecture не выше этой политики. Это необходимо, поскольку большая часть этой политики основана на доверии старших руководителей. Как упоминалось выше, цепочка преемственности в отношении того, кто знает об информационных опасностях, идет Коннор → Гейб → Сид → Адам; хотя фактическое планирование преемственности выходит за рамки этого документа. Если Коннор находится под вопросом из-за преднамеренной утечки информационной опасности, Гейб вынесет решение по процессу с прозрачностью, доступной членам группы, посвященным в секрет. Из-за серьезности такого рода решения мы можем принять решение о привлечении внешнего обзора к процессу и опираться на список «Доверенных источников» выше.

Ошибки отличаются от преднамеренного обмена информационными опасностями. Мы будем особенно снисходительны в течение первых нескольких месяцев действия этой политики, пока мы изучаем, как с ней жить. Мы хотим гарантировать, что создаем максимально надежную политику, и поощряем сотрудников делиться ошибками как можно быстрее, чтобы мы могли пересмотреть эту политику и сделать ее более герметичной. Поэтому, если только обмен информационными опасностями не является особенно вопиющим, никто не будет уволен за добросовестное сообщение о проблеме.

4. Безопасность и хранение информации​

[Подробности процессов информационной безопасности Conjecture здесь не приводятся по соображениям информационной безопасности.]

5. Ежеквартальный обзор политики​

Мы пересмотрим эту политику в рамках нашего ежеквартального цикла пересмотра. Политика будет обсуждаться всеми сотрудниками Conjecture на собрании команды, и сотрудникам будет предоставлена возможность обсудить, что прошло хорошо, а что нет. В частности, акцент будет сделан на разъяснении мест, где политика неясна или вносит противоречия, и добавлении дополнительных правил, способствующих безопасности.

Ежеквартальный обзор также предоставит руководителям проектов возможность просмотреть документы по доступу, чтобы убедиться, что списки лиц и информация, включенная в белый список, для каждого проекта являются актуальными и полезными.

Сотрудники Conjecture всегда смогут просматривать данную политику и вносить предложения, а ежеквартальный цикл обзора предоставит возможность рассмотреть все эти комментарии и внести необходимые изменения.

Дополнительные соображения​

Приведенная ниже информация не является политикой, но сохраняется вместе с внутренней политикой Conjecture для сведения сотрудников.

Примеры сценариев​

Трудно хранить секреты, и мало кто имеет опыт сохранения в тайне значительной части своей рабочей жизни. Из-за этого мы ожидаем, что некоторая опасная для информации информация может утечь из-за ошибок. Следующие примеры являются распространенными ситуациями, когда может утечь опасная для информации информация; мы включили потенциальные ответы, чтобы проиллюстрировать, как может отреагировать сотрудник.

1. У вас есть идея об определенной линии экспериментов в публичном проекте, но вы обеспокоены тем, что некоторые из предлагаемых экспериментов могут иметь преимущества в плане возможностей. Вы взвешиваете, следует ли исследовать эксперименты дальше и следует ли обсуждать этот вопрос с другими.
   
   Возможный ответ: рассмотрите возможность обсуждения этого вопроса в частном порядке с руководителем проекта или назначенным координатором по информационной опасности . Если неизвестно, может ли информация быть потенциально информационной опасностью, безопаснее пойти на риск. Секретный проект может быть выделен из публичного проекта для исследования того, насколько она является информационной опасностью. Если экспериментальное направление безопасно, его можно обновить, чтобы сделать публичным. Если экспериментальное направление является информационно опасным, оно может оставаться секретным. Если экспериментальное направление достаточно опасно, ранее публичный проект можно сделать секретным, выполнив процесс в разделе «Назначение уровней раскрытия» в политике.
   
2. Вы находитесь в той же ситуации и у вас есть идея для определенной линии эксперимента в публичном проекте, но на этот раз считаете, что P(эксперименты приводят к повышению возможностей) очень мала, но все еще положительна. Вы рассматриваете, есть ли какая-либо небольшая, но положительная вероятность, с которой вам следует действовать иначе, чем в сценарии (1).
   
   Возможный ответ: В конечном счете, политика должна быть практичной. Обмен информацией делает людей более эффективными в проведении исследований согласования. Всегда есть небольшая вероятность того, что что-то может пойти не так, но если вы чувствуете, что идея имеет низкий P(эксперименты приводят к повышению возможностей), а также является добавкой к согласованию, вы можете обсудить ее, не считая ее секретной. Тем не менее, если у вас есть какие-либо сомнения относительно того, так ли это в конкретной ситуации или нет, см. сценарий (1).
   
3. Вы находитесь на полупубличном мероприятии, таком как EAG, и исследователь из другой организации-союзника подходит и спрашивает, над какими исследовательскими проектами вы и другие сотрудники Conjecture работаете.
   
   Возможный ответ: упомяните публичные проекты. Вы можете упомянуть тот факт, что существуют частные и секретные проекты, которые мы не обсуждаем, даже если вы не являетесь частью ни одной из них . Если человек является членом одной из групп, вы можете упомянуть частные проекты, в которые группа, к которой принадлежит этот человек, имеет доступ.
   
4. Вы находитесь на кофе-брейке для согласования, и кто-то упоминает суперкрутую идею, связанную с секретным проектом, над которым вы работаете. Вы хотите обменяться идеями с этим человеком и беспокоитесь, что у вас может не быть возможности высказаться в будущем.
   
   Возможный ответ: тот факт, что это ограниченное по времени мероприятие, не должен ничего менять. Нужно пройти через процесс, и он занимает время. Это функция, а не ошибка. Конкретно это означает, что вы не обсуждаете этот секретный проект или идеи, связанные с проектом, с этим человеком. Не стесняйтесь узнать больше о том, насколько далеко этот человек зашел в своей идее.
   
5. Вы говорите с людьми об исследовательских идеях и случайно делитесь потенциально опасной для информации информацией. Вы понимаете это сразу после разговора и задаетесь вопросом, стоит ли вам сказать людям, которым вы только что выплеснули информацию, что идеи опасны для информации и должны храниться в секрете.
   
   Возможный ответ: сообщите об этом руководителю проекта и назначенному координатору по опасностям для информации как можно скорее, прежде чем возвращаться к людям, и обсудите, что с ними делать. Поскольку эти ситуации сильно зависят от контекста, лучше рассматривать каждую ситуацию индивидуально, а не устанавливать одно общее правило для ошибок.
   
6. Вы работаете в EAG и сталкиваетесь с кем-то, публично говорящим об идее, которая очень похожа на проект, опасный для информации, над которым вы работаете. Вы раздумываете, стоит ли поговорить с ним о риске распространения этой информации.
   
   Возможный ответ: это зависит от того, насколько хорошо вы владеете словом. Если вы уверены, что достаточно хороши, чтобы вести этот разговор, не проговаривая ни слова, идите. В противном случае, если у вас есть какие-либо сомнения, сообщите об этом руководителю вашего проекта и назначенному координатору по опасным для информации информационным данным .

Лучшие практики​

Ниже приведен ряд различных рекомендаций и передовых методов по гигиене информационной опасности. Сотрудники должны ознакомиться с ними и решить, соответствует ли их текущий подход этим рекомендациям.

• Будьте осторожны. Рассматривайте потенциально опасные для информации идеи как таковые, пока не обсудите это с руководителем проекта. Учитывая, что потенциальные опасности для информации по умолчанию являются конфиденциальными, постарайтесь формализовать их как можно скорее.
• Будьте осторожны с письменными материалами. Письменная коммуникация более полезна для обмена информацией, чем устная, но более рискованна. Письменная коммуникация помогает координации, поскольку письменные артефакты масштабируются, и их легче обрабатывать. Но письменная коммуникация оставляет больше следов, а это значит, что ее сложнее сохранить в тайне. Письменные материалы чаще записываются, чем устные, очень часто автоматически и очень часто даже неосознанно.
• Тщательно обдумайте аудиторию любого разговора. Аудитория разговора имеет значение. Инженеры по возможностям, лица с исполнительной властью, общественные деятели, влиятельные лица и т. д. являются более рискованной аудиторией, и при общении с ними следует проявлять еще большую осторожность, чем обычно, даже если вы не обсуждаете проекты, представляющие опасность для информации. Это также относится к людям, которые в прошлом делились (то, что они или мы считаем) опасной для информации информацией, или которые не воспринимают опасность для информации всерьез.
• Избегайте намеков на существование информационных опасностей. Иногда лучше всего ответить прямо, что информация является информационной опасностью и что вы не готовы говорить об этом дальше; это ответ «жесткое нет». Но в большинстве случаев проще и безопаснее избегать намеков на существование информационных опасностей. Уступите разговору о другой работе и не предлагайте заранее, что вы работаете над проектами, связанными с информационной опасностью, если этого можно избежать.
• Избегайте хвастовства, особенно в отношении романтических интересов . Легко оправдать обход процесса, думая, что ваш романтический партнер не вызывает беспокойства. Однако важно, чтобы этот процесс касался не только вас, но и всех, с кем вы работаете: вопрос не в том, оцениваете ли вы своего романтического партнера как вызывающего беспокойство, а в том, хотите ли вы, чтобы все, с кем вы работаете, тоже это оценивали. Вопрос также в том, хотите ли вы оценить, что романтический партнер каждого не вызывает беспокойства. Это не масштабируется. Если вы считаете, что это действительно стоит того, поговорите со своей командой, чтобы добавить их в секрет. Однако, вероятно, гораздо проще просто не упоминать им об опасной для информации информации в первую очередь.
• Будьте осторожны с документами Google, поскольку они не удаляют историю редактирования. Легко случайно распространить информационные опасности, которые были удалены из документов, просто потому, что они не были удалены из истории версий. Не совершайте эту ошибку. Обмен документами с другими организациями должен осуществляться только в редких случаях, но когда это необходимо, делитесь версиями только для просмотра, чтобы историю файлов нельзя было просматривать. Кроме того, делитесь с определенными людьми, а не делайте его доступным для чтения всем, у кого есть URL .

Психологическая безопасность​

Работа над секретным проектом и невозможность говорить о том, что вы делаете и о чем думаете, может иметь эмоциональные последствия. Природа Conjecture (стартап, как правило, молодой, в основном иммигранты) означает, что для большинства сотрудников коллеги обеспечивают большую часть социализации, и большой аспект социализации с коллегами заключается в обсуждении проектов и идей.

С одной стороны, следует принять сложность хранения секретов. Тот факт, что это требует эмоционального воздействия, не является совпадением и вполне соответствует реальности. Меры по смягчению этого могут ухудшить ситуацию, и мы должны по умолчанию не нанимать людей, у которых есть трудности с хранением секретов.

С другой стороны, в настоящее время у нас нет пропускной способности, чтобы быть абсолютно избирательными в отношении того, кого мы нанимаем и назначаем на секретные проекты. И мы не можем полагаться на то, что люди сами сообщают, что они не смогут хранить секрет, до того, как их наймут или назначат на проект. У большинства людей нет хорошей контрфактуальной модели самих себя.

Поэтому психологическая безопасность — это не просто забота об эмоциональном благополучии сотрудников, но и о надежности этой политики. Тот, кто чувствует себя в стрессе или изоляции, с большей вероятностью нарушит секретность. Эмоциональная динамика — такой же реальный фактор вероятности того, что секреты будут раскрыты, как и количество людей, которые знают секрет. В обоих случаях мы предполагаем человеческую ошибочность. Если бы мы нанимали только непогрешимых людей, не было бы причин иметь внутренне изолированные проекты.

Потенциальные факторы риска, которые увеличивают вероятность раскрытия информационной опасности:

• Основной проект(ы) человека являются секретными
• Долгосрочные секретные проекты
• Особо страшные проекты
• Не очевидно страшные проекты
• Доверенные друзья не включены в список
• Личность и жизненные обстоятельства

Таким образом, мы рассмотрим возможность принятия некоторых возможных решений в нашем подходе к проектам, опасным для информации, например, не назначать людей только на изолированные проекты, разделять проекты между соавторами, которые привыкли быть очень открытыми друг с другом, или добавлять доверенного человека эмоциональной поддержки в изолированные проекты, который знает только общие сведения, а не детали реализации. Обратите внимание, что Conjecture не гарантирует выполнение любого из этих шагов, и поэтому это не политика, а скорее общие соображения.

В целом, сотрудники, читающие эту политику, должны понимать, что в Conjecture серьезно относятся к вопросам психического здоровья и психологической безопасности, и если у них когда-либо возникнут какие-либо опасения по этому поводу, им следует сообщать о них высшему руководству или тому, с кем им будет удобно поговорить. Рейчел и Крис оба добровольно согласились стать доверенными лицами, если люди предпочтут выразить свои опасения кому-то, кроме Коннора, Гейба или Сида.

Дополнительным эмоциональным соображением является то, что иметь и хранить что-то в секрете не должно стоить никакого социального капитала. Это совсем не по умолчанию без письменной политики, где людям часто приходится тратить социальный капитал и прилагать дополнительные усилия, чтобы сохранить что-то в секрете. Цель Conjecture состоит в том, чтобы этого не было, и чтобы каждый мог комфортно хранить вещи в секрете по умолчанию без институционального или культурного сопротивления. Мы также намерены, чтобы эта политика снизила накладные расходы (необходимость придумывать индивидуальные решения для того, как обращаться с каждым новым секретом) и стресс (психологическое бремя хранения секрета). Доступ к секрету ни в коем случае не является признаком социального статуса. В этом ключе младший инженер может иметь доступ к вещам, которых нет у старшего инженера.

 

[TightBack361]

Предположение: Внутренняя политика информационной опасности​

Догадка
29 июля 2022 г.
Этот пост выиграл от отзывов и комментариев всей команды Conjecture, а также других, включая Стива Бирнса, Пола Кристиано, Лео Гао, Эвана Хубингера, Дэниела Кокотайло, Ванессу Косой, Джона Вентворта, Элиезера Юдковски. Многие другие также любезно поделились своими отзывами и мыслями по этому поводу формально или неформально, и мы благодарны за помощь каждого в этой работе._

На этом форуме много написано об информационных опасностях, таких как информация, которая ускоряет сроки AGI, хотя очень немногие посты пытаются операционализировать это обсуждение в политику, которой могут следовать организации и отдельные лица. Этот пост делает попытку внедрения.

Ниже мы делимся внутренней политикой Conjecture в отношении информационной опасности, а также некоторыми соображениями, которые мы приняли во внимание при ее составлении. Наша цель при распространении этого на этом форуме имеет три аспекта:

Поощрять подотчетность. Мы считаем, что организации, работающие над искусственным интеллектом, особенно те, которые обучают и экспериментируют на больших моделях, должны быть крайне осторожны в отношении расширения возможностей и ускорения сроков. Принятие внутренних политик для снижения риска утечки опасной информации имеет важное значение, и публичность этих политик свидетельствует о приверженности этой идее. То есть, стыдно нам, если мы нарушим этот принцип.

Для содействия межорганизационному сотрудничеству. Хотя секретность может нанести ущерб производительности, мы считаем, что организации смогут работать друг с другом более уверенно, если будут следовать схожим политикам информационной опасности. Две стороны могут говорить более свободно, когда они взаимно признают, какая информация может быть передана и кому она может быть передана, и когда обе стороны демонстрируют серьезную приверженность хорошей информационной безопасности. Политика, которая формализует это, означает, что организациям и отдельным лицам не нужно заново изобретать нормы доверия каждый раз, когда они взаимодействуют.

Обратите внимание, что на текущем уровне реализации взаимное доверие в основном основывается на последствиях «если вы раскроете согласованные секреты, ваша репутация будет навсегда запятнана». Но поскольку согласование — это небольшая область, это, по-видимому, имеет достаточный вес в текущих масштабах.

Чтобы начать разговор, который приведет к лучшим политикам. Эта политика не идеальна, рецензенты не согласились с частью содержания или представления, и гарантированно можно сделать лучшие версии этого. Мы надеемся, что в своем несовершенстве эта политика может послужить семенем, из которого могут вырасти лучшие политики и подходы к управлению информационными опасностями. Пожалуйста, поделитесь своим отзывом!

Обзор и мотивация​

Термин «информационная опасность» недостаточно определен и используется как для обозначения «информации, которая напрямую вредит слушателю, и которую вы предпочли бы не слышать», так и для обозначения «информации, которая увеличивает вероятность коллективного уничтожения, если она распространится или попадет не в те руки».

В Conjecture нас волнует тот тип информационной опасности, который ускоряет сроки AGI , т. е. возможности компаний, команд или людей без ограничений. Из-за характера работы по выравниванию в Conjecture гарантируется, что некоторые сотрудники будут работать над проектами, которые по своей природе являются информационными опасностями, поскольку при изучении направлений исследований по выравниванию могут возникнуть идеи о том, как увеличить возможности систем ИИ. Мы внедрили политику для создания норм, которые могут защитить этот вид информации от распространения.

TL;DR политики таков: отмечайте все внутренние проекты как явно секретные, частные или публичные. Делитесь секретными проектами только с избранными лицами; делитесь частными проектами только с избранными группами; делитесь публичными проектами с кем угодно, но действуйте осмотрительно. В случае сомнений проконсультируйтесь с руководителем проекта или «назначенным координатором по информационной опасности».

Нам нужна такая внутренняя политика, потому что доверие не масштабируется: чем больше людей вовлечено в секрет, тем сложнее его хранить. Если есть вероятность 99% / 95% / 90%, что кто-то хранит все секреты, связанные с инфоопасностью Conjecture, вероятность того, что 30 человек сделают это, падает до 74% / 21% / 4%. Это означает, что если вы поделитесь секретами со всеми в компании, они утекут.

Наша политика склоняется к консерватизму, поскольку утечка информации, представляющей опасность для информации, может привести к катастрофическим последствиям. В целом, сокращение распространения опасностей для информации означает больше, чем просто держать их подальше от компаний или людей, которые могли бы их понять и применить. Это означает держать их подальше от кого бы то ни было, поскольку обмен информацией с кем-либо увеличивает возможности ее распространения.

Соображения​

Политика информационной опасности должна найти правильный баланс между тем, что должно и что не должно быть раскрыто, и кому. Ниже приведен ряд соображений высокого уровня, которые мы приняли во внимание при написании нашей политики:

• Координация имеет решающее значение для согласования. У нас должны быть структуры информации и управления, которые позволяют надежно развертывать ресурсы. Другими словами, нам нужны скоординированные организации. Это главная причина, по которой была основана Conjecture, а не просто поставка EleutherAI большего количества вычислений.
• Обмен информацией имеет решающее значение для координации. Вот некоторые причины:
• Согласованность: обеспечение того, чтобы Conjecture знала, куда направить свои исследовательские усилия
• Надзор: обеспечение того, чтобы люди делали полезные вещи, а ресурсы распределялись правильно
• Избежание избыточности: обеспечение отсутствия дублирующих проектов
• Избегание враждебной или разрушительно-конкурентной динамики: обеспечение того, чтобы люди не замедляли других, чтобы выглядеть лучше
• Обмен информацией позволяет людям более эффективно проводить исследования по выравниванию .
• Задавая вопросы многим людям о том, над чем вы работаете, вы получаете большую пользу.
• 99% идей — это не решения, а пища для ума. Весь их +EV — это то, что они делятся
• Некоторые информационные опасности не так уж и плохи для раскрытия, другие — действительно плохи для раскрытия, и обычно заранее не ясно, что есть что. Мы живем в плохие сроки. Нам осталось не так много лет до AGI; существующие субъекты мчатся к AGI; а к соответствующим организациям на самом деле не прислушиваются. Мы хотим быть уверены, что не ухудшим эту ситуацию.
• Секреты сложнее хранить в течение более длительного периода времени. Легче хранить секреты в течение 1 месяца, чем 10 лет. «К счастью», вы ожидаете, что это будет меньшей проблемой, если у вас короткие сроки.
• Секреты тем сложнее хранить, чем их больше. Легче отслеживать 1 секрет, чем 100 секретов. Поэтому лучше разбить на хранилища или проекты, чем на отдельные технические идеи. Это грубый уровень детализации, который означает, что больше вещей будут включены в секретные пакеты, чем необходимо, с целью сохранения небольшого количества самих пакетов.
• Безопасность против безопасности. Эта политика разработана с учетом безопасности : цель состоит в том, чтобы избежать утечек (в частности, случайных утечек), а не в том, чтобы быть устойчивой к шпионажу (информационная безопасность и операционная безопасность будут рассмотрены в будущих политиках).
• Функциональная теория принятия решений . Не портите всем жизнь.

Другими словами, нам необходимо сбалансировать множество различных соображений, а не только вопрос «является ли это информационной опасностью или нет».

Политика​

(Дословно из внутреннего документа Conjecture.)

Введение​

Этот документ предназначен для Conjecture и включает сотрудников, стажеров и соавторов. Обратите внимание, что эта политика не имеет обратной силы; любые прошлые обсуждения по этому вопросу были неформальными.

Эта политика применяется только к прямым информационным опасностям, связанным с возможностями AGI. Чтобы быть полностью ясным: речь идет об информационных опасностях , а не об опасностях PR, репутационных опасностях и т. д.; и речь идет о возможностях AGI .

Примеры предполагаемых информационных опасностей:

1. Утечка кода, который обучает сети быстрее
2. Раскрыта новая технология, которая обучает сети быстрее
3. Раскрытие новой конкретной теории, которая приводит к методам, которые обучают сети быстрее
4. Дать знать за пределами Conjecture, что мы использовали/построили/развернули метод, который уже существует в литературе, для более быстрого обучения сетей
5. Дать знать за пределами Conjecture, что мы заинтересованы в использовании/создании/развертывании методики, которая уже существует в литературе, для более быстрого обучения сетей.

1-3 очевидны. 4-5 опасны, потому что они привлекают больше внимания к идеям, которые увеличивают средний отрицательный внешний эффект. Если в будущем мы захотим скрыть больше типов информации, которые не охвачены текущей политикой, мы должны явно расширить область того, что скрывается.

Даже в Conjecture важно разобщение информации и проектов. Обычно любой отдельный член команды, работающий над секретными проектами, может раскрыть другим, что он работает над секретными проектами, но не более того.

Мантра по умолчанию — «нужно знать». Нужно ли этому человеку знать X? Если нет, ничего не говорите. В идеале никто, кому не нужно знать, не должен знать, сколько существует секретных проектов, над какими проектами работают люди и о чем все эти проекты.

Хотя не следует активно предлагать, что они хранят секрет, мы должны стремиться к метачестности. Это означает, что когда нас спрашивают напрямую, мы должны быть прозрачны в том, что мы соблюдаем политику информационной опасности, которая скрывает вещи, и объяснять, почему мы это делаем.

Правила​

Мы будем применять три уровня раскрытия информации.

• Секретно: информация, которой можно поделиться только с определенными лицами.
• Конфиденциально : информация, которой можно поделиться только с нечеткой группой.
• Публично: информация, доступная всем.

Мы рассмотрим эти уровни раскрытия для следующих типов информации:

• Репозитории: Целые репозитории проще упаковывать, чем отдельные файлы и папки.
• Проекты: Конкретные проекты или подпроекты проще классифицировать, чем проблемы внутри проекта.
• Идеи : Идеи очень трудно отслеживать и хранить в тайне, поэтому, когда это возможно, мы постараемся упаковать их в репозитории или проекты. Но могут быть идеи, которые являются исключениями.

Каждый проект, который является секретным или частным, должен иметь связанный с ним документ о доступе , в котором перечислены те, кто знает о секрете и любой информации из белого списка. Этот документ представляет незначительную угрозу информационной безопасности, но он важен для координации.

Назначенный координатор по информационным опасностям имеет доступ ко всем секретам и частным проектам. Для Conjecture этим человеком является Коннор, а цепочка преемственности выглядит так: Коннор → Гейб → Сид → Адам. При сотрудничестве с другими организациями по секретному или частному проекту назначенный координатор каждой организации имеет доступ к проекту. Этот пункт гарантирует наличие выделенного человека для обсуждения информационных опасностей, помощи в установлении стандартов и разрешения неоднозначностей при возникновении вопросов. Второе преимущество координатора — стратегия: тот, кто управляет Conjecture, должен иметь карту того, над чем мы работаем, и над чем мы намеренно не работаем.

Утечка опасной информации является серьезным нарушением доверия не только в Conjecture, но и в сообществе выравнивания в целом. Намеренное нарушение политики приведет к немедленному увольнению из компании. Это касается и высшего руководства. Ошибки отличаются от намеренной утечки опасной информации.

Более подробная информация об уровнях раскрытия информации приведена ниже, а дополнительная информация о последствиях и процессе определения того, была ли утечка информации распространена намеренно или нет, обсуждается в разделе «Процессы».

Секрет​

• Кто: Чтобы элемент был секретным, он должен иметь точный список людей, которые его знают. Этот список может включать людей за пределами Conjecture. Этот список людей должен быть явно записан в документе доступа и должен включать назначенного координатора по информационной опасности.
• Что покрывается: Вся информация, связанная с секретными проектами, должна рассматриваться как секретная, если она не внесена в белый список. Она может обсуждаться только с участниками секретного проекта. Политика запрещает утечку секретной информации лицам, не включенным в список проекта. Если вы сомневаетесь, является ли информация «связанной», обратитесь к руководителю проекта или назначенному координатору по информационной опасности.
• Белый список: для любого секрета может быть информация, которой можно поделиться с большим количеством людей, чем просто с секретной группой. Вся информация из белого списка должна быть явно прописана в документе доступа и согласована с теми, кто знает секрет. Без этого письменного и подтвержденного соглашения обмен любой информацией, связанной с секретом, будет считаться нарушением политики. Информация из белого списка считается частной и должна соответствовать правилам частной информации, приведенным ниже. Назначенный координатор по информационной опасности должен соблюдать те же правила белого списка, что и все остальные члены секретной группы.

Частный​

• Кто: Чтобы вещь была частной, она должна иметь группу или группы, которые имеют к ней доступ. На практике это может означать Conjecture или группы из сообщества Alignment (например, «Conjecture и Redwood знают об этом»). В документе для каждого частного проекта должно быть четко указано, какие группы знают информацию. Информация, связанная с частными проектами, может быть предоставлена только членам этих групп. Подробнее см. в разделе «Обмен информацией» в процессах ниже.
• Попробуйте определить нечеткие границы: Частные вещи могут быть гораздо менее конкретными, чем секретные, а «группы», с которыми делятся, иногда не определены. Это необходимое зло, поскольку у нас нет пропускной способности для формального отслеживания всех взаимодействий и обмена идеями; эти более широкие категории необходимы для облегчения совместной работы.
• Ограничьте публичность: никакая частная информация не может быть опубликована на таких сайтах, как LessWrong или AlignmentForum, или в газете. Пожалуйста, воздержитесь от публикации частной информации на Discord, Slack или других платформах обмена сообщениями, которые в будущем будут использоваться Conjecture, за исключением относительно небольших и защищенных сред, где «группа» или аудитория понятны.
• Используйте экономно: не полагайтесь на категорию «частный»; понятнее и предпочтительнее сделать информацию либо общедоступной, либо секретной.

Публичный​

• Кто: Буквально все. Эту информацию вы можете рассказать своей маме, или всем своим друзьям, или разместить в Twitter. Это не значит, что вы должны это делать.
• Осмотрительность: по-прежнему важно проявлять осмотрительность при распространении публичной информации. Сообщения, которые мы пишем на AlignmentForum, являются публичными, но они не являются пресс-релизами. Информация, которую мы обсуждаем в EAG, является публичной, но это не то, о чем мы бы рассылали всем по электронной почте.
• Форумы являются публичными: LessWrong, AlignmentForum, EA Forum, EleutherAI Discord (публичные каналы) и подобные сайты считаются публичными. Любая информация, размещенная там, должна считаться публичной.
• Никаких возвратов: После того, как публичная информация была передана, мы не можем вернуть ее обратно. Мы можем пересмотреть уровень нашей конфиденциальности и перевести информацию в разряд секретной, но мы должны предполагать, что все, чем мы поделились, навсегда, необратимо, стало известно.

Процессы​

1. Назначение уровней раскрытия информации​

Для новых проектов: всякий раз, когда запускается новый проект, назначенный координатор по информационной опасности и руководитель проекта будут работать вместе, чтобы оценить, является ли содержание проекта информационным и следует ли его отнести к категории секретных, частных или публичных. Каждый разговор будет включать:

(1) какую информацию охватывает проект

(2) в каких формах уже существует информация о проекте, например, письменная, репозиторий, пост AF и т. д.

(3) кто знает о проекте и кто должен знать о проекте

(4) предлагаемый уровень раскрытия информации

Если проект определен как секретный или частный, необходимо создать документ о доступе, в котором перечислены те, кто знает о проекте и любая информация, внесенная в белый список. Любая информация о проекте, которая в настоящее время существует в письменной форме, должна быть перемещена и сохранена в репозитории или папке проекта с разрешениями, ограниченными теми, которые указаны в списке документов о доступе.

Любой может попросить назначенного координатора по информационной опасности начать проект как секретный. По умолчанию принимается. В Conjecture бремя доказательства лежит на Конноре, если он хочет отказаться, и он должен выдвинуть возражение, которое доказывает, что вопрос достаточно сложен, чтобы не принять его немедленно, и может измениться в будущем. В общем, любой новый технический или концептуальный проект, который, как кажется, может предположительно привести к прогрессу возможностей, должен быть создан как секретный по умолчанию.

(Мы вернемся к этому пункту после нескольких месяцев тестирования этой политики, чтобы разработать более четкие рекомендации по принятию решения о том, какой статус присваивать проектам).

Для текущих проектов (изменение уровней раскрытия информации): любой желающий может предложить изменить уровень раскрытия информации о проекте.

• Секретный → Частный: чтобы перевести проект из разряда секретных в разряд закрытых, необходимо согласие всех участников проекта и назначенного координатора по информационной опасности.
• Частный → Публичный: Перед тем, как сделать какую-либо информацию общедоступной, все участники проекта должны согласиться. Кроме того, участники должны проконсультироваться с внешними доверенными источниками и получить одобрение большинства. Мы рассматриваем:
• [Мы находимся в процессе обращения к отдельным лицам и включим их после их подтверждения. Если у вас есть предложения по включению отдельных лиц, пожалуйста, добавьте комментарий здесь.]
• Например: Элиезер Юдковски
• Пол Кристиано
• Эван Хубингер
• Джон Вентворт
• …

При сотрудничестве с другой организацией обе стороны должны согласиться, что одно или несколько лиц могут доверять вынесению решения по данному вопросу.

Публичный → Частный: Избегайте этого. Редактирование ранее публичной информации затруднительно, и в редких случаях, когда это необходимо сделать, это, по-видимому, происходит потому, что информация достаточно опасна для информации, чтобы ее можно было сделать секретной.

Публичный или частный → Секретный: Это следует учитывать только в ситуациях, когда инфоопасная информация определяется как особенно чувствительная. Кроме того, это следует делать осторожно, чтобы не привлекать больше внимания из-за эффекта Стрейзанд.

Здесь бремя доказательства лежит на лице, предлагающем изменение, и оно должно обсудить этот вопрос напрямую с руководителем проекта или назначенным координатором по информационной опасности. Если координатор (и в большинстве случаев руководитель проекта) согласен, следуйте процессу, описанному в разделе «для новых проектов» выше.

Кроме того, если проект был частным и если это осуществимо, свяжитесь со всеми, кто в настоящее время имеет доступ к информации, чтобы сообщить им, что уровень раскрытия информации меняется на секретный, и попросите их прочитать политику информационной опасности. Каждый человек должен быть добавлен в список людей, которые знают о проекте. Если эти люди больше не будут работать над проектом, они все равно должны быть отмечены как знающие о проекте, но в отдельном списке.

2. Обмен информацией​

Каждый проект должен иметь связанный с ним документ о доступе, в котором перечислены те, кто знает об информации, и какая информация внесена в белый список для более свободного обсуждения. Этот список будет храниться в папке или репозитории git, к которому имеют доступ только участники секретного или частного проекта.

Секретная информация может быть предоставлена только лицам, указанным в списке доступа. Любой участник секретного проекта может предложить добавить кого-то нового в секрет. Сначала обсудите добавление человека с руководителем проекта, а затем сообщите всем текущим членам и дайте им возможность возразить. Если кто-то в команде возражает, вопрос передается назначенному координатору по информационной опасности, который имеет последнее слово. Если команда единогласно соглашается, координатор получает окончательное вето (подразумевается, что координатор должен использовать это вето только в том случае, если у него есть частная информация о том, почему добавление этого человека было бы плохой идеей).

Конфиденциальная информация может быть предоставлена только членам групп, которые записаны в списке доступа. Перед тем, как предоставить личную информацию человеку X, сначала проверьте, не была ли эта информация уже предоставлена кому-либо из той же группы, что и X. Затем обсудите общие соображения по поводу информационной опасности с X и признайте, какие избранные группы имеют доступ к этой информации. Затем сообщите другим в Conjecture, что вы предоставили информацию X. В случае сомнений сначала спросите.

Публичную информацию можно свободно обсуждать с кем угодно, однако, пожалуйста, будьте благоразумны.

Для всех секретных и частных проектов обмен информацией по умолчанию должен происходить устно и по возможности не должен быть письменным (в сообщениях или документах).

3. Процесс нарушения политики​

Мы просим нынешних и будущих сотрудников и стажеров подписать соглашения о неразглашении, которые повторяют эту политику информационной опасности. Намеренное нарушение политики приведет к немедленному увольнению из компании. Вердикт о том, было ли распространение преднамеренным или нет, будет вынесен назначенным координатором по информационной опасности, но будет прозрачным для всех членов, посвященных в секрет (т. е. в Conjecture Коннор может принять единоличное решение, но в этом процессе на карту поставлены его репутация и доверие).

Члены высшего руководства Conjecture не выше этой политики. Это необходимо, поскольку большая часть этой политики основана на доверии старших руководителей. Как упоминалось выше, цепочка преемственности в отношении того, кто знает об информационных опасностях, идет Коннор → Гейб → Сид → Адам; хотя фактическое планирование преемственности выходит за рамки этого документа. Если Коннор находится под вопросом из-за преднамеренной утечки информационной опасности, Гейб вынесет решение по процессу с прозрачностью, доступной членам группы, посвященным в секрет. Из-за серьезности такого рода решения мы можем принять решение о привлечении внешнего обзора к процессу и опираться на список «Доверенных источников» выше.

Ошибки отличаются от преднамеренного обмена информационными опасностями. Мы будем особенно снисходительны в течение первых нескольких месяцев действия этой политики, пока мы изучаем, как с ней жить. Мы хотим гарантировать, что создаем максимально надежную политику, и поощряем сотрудников делиться ошибками как можно быстрее, чтобы мы могли пересмотреть эту политику и сделать ее более герметичной. Поэтому, если только обмен информационными опасностями не является особенно вопиющим, никто не будет уволен за добросовестное сообщение о проблеме.

4. Безопасность и хранение информации​

[Подробности процессов информационной безопасности Conjecture здесь не приводятся по соображениям информационной безопасности.]

5. Ежеквартальный обзор политики​

Мы пересмотрим эту политику в рамках нашего ежеквартального цикла пересмотра. Политика будет обсуждаться всеми сотрудниками Conjecture на собрании команды, и сотрудникам будет предоставлена возможность обсудить, что прошло хорошо, а что нет. В частности, акцент будет сделан на разъяснении мест, где политика неясна или вносит противоречия, и добавлении дополнительных правил, способствующих безопасности.

Ежеквартальный обзор также предоставит руководителям проектов возможность просмотреть документы по доступу, чтобы убедиться, что списки лиц и информация, включенная в белый список, для каждого проекта являются актуальными и полезными.

Сотрудники Conjecture всегда смогут просматривать данную политику и вносить предложения, а ежеквартальный цикл обзора предоставит возможность рассмотреть все эти комментарии и внести необходимые изменения.

Дополнительные соображения​

Приведенная ниже информация не является политикой, но сохраняется вместе с внутренней политикой Conjecture для сведения сотрудников.

Примеры сценариев​

Трудно хранить секреты, и мало кто имеет опыт сохранения в тайне значительной части своей рабочей жизни. Из-за этого мы ожидаем, что некоторая опасная для информации информация может утечь из-за ошибок. Следующие примеры являются распространенными ситуациями, когда может утечь опасная для информации информация; мы включили потенциальные ответы, чтобы проиллюстрировать, как может отреагировать сотрудник.

У вас есть идея о конкретной линии экспериментов в общественном проекте, но вы обеспокоены тем, что некоторые из предлагаемых экспериментов могут иметь преимущества в плане возможностей. Вы взвешиваете, стоит ли исследовать эксперименты дальше и стоит ли обсуждать этот вопрос с другими.

Возможный ответ: Рассмотрите возможность обсуждения вопроса в частном порядке с руководителем проекта или назначенным координатором по информационной опасности. Если неизвестно, может ли информация быть потенциально информационной опасностью, безопаснее принять риск. Секретный проект может быть отделен от публичного проекта, чтобы исследовать, насколько он является информационной опасностью. Если экспериментальное направление безопасно, его можно обновить, чтобы сделать публичным. Если экспериментальное направление является информационно опасным, оно может оставаться секретным. Если экспериментальное направление достаточно опасно, ранее публичный проект можно сделать секретным, следуя процессу в «Назначение уровней раскрытия» в политике.

Вы находитесь в той же ситуации и у вас есть идея для определенной линии эксперимента в публичном проекте, но на этот раз вы считаете, что P(эксперименты приводят к повышению возможностей) очень мала, но все еще положительна. Вы рассматриваете, есть ли какая-либо небольшая, но положительная вероятность, с которой вам следует действовать иначе, чем в сценарии (1).

Возможный ответ: В конечном счете, политика должна быть практичной. Обмен информацией делает людей более эффективными в проведении исследований согласования. Всегда есть небольшая вероятность того, что что-то может пойти не так, но если вы чувствуете, что идея имеет низкий P (эксперименты приводят к повышению возможностей), а также является добавкой к согласованию, вы можете обсудить ее, не считая ее секретной. Тем не менее, если у вас есть какие-либо сомнения относительно того, так ли это в конкретной ситуации или нет, см. сценарий (1).

Вы находитесь на полупубличном мероприятии, таком как EAG, и к вам подходит исследователь из другой организации-партнера и спрашивает, над какими исследовательскими проектами вы и другие сотрудники Conjecture работаете.

Возможный ответ: Упомяните публичные проекты. Вы можете упомянуть тот факт, что существуют частные и секретные проекты, которые мы не обсуждаем, даже если вы не являетесь частью ни одной из них . Если человек является членом одной из групп, вы можете упомянуть частные проекты, в которые группа, к которой принадлежит этот человек, имеет доступ.

Вы находитесь на кофе-брейке для выравнивания, и кто-то упоминает суперкрутую идею, связанную с секретным проектом, над которым вы работаете. Вы хотите обменяться идеями с этим человеком и беспокоитесь, что у вас может не быть возможности высказаться в будущем.

Возможный ответ: Тот факт, что это ограниченное по времени событие, не должен ничего менять. Нужно пройти через процесс, а процесс занимает время. Это функция, а не ошибка. Конкретно, это означает, что вы не обсуждаете этот секретный проект или идеи, связанные с проектом, с этим человеком. Не стесняйтесь узнать больше о том, насколько далеко этот человек зашел в своей идее.

Вы говорите с людьми об исследовательских идеях и случайно делитесь потенциально опасной для информации информацией. Вы понимаете это сразу после разговора и задаетесь вопросом, стоит ли вам говорить людям, которым вы только что выплеснули информацию, что идеи являются опасной для информации и должны храниться в секрете.

Возможный ответ: сообщите об этом руководителю проекта и назначенному координатору по информационным опасностям как можно скорее, прежде чем возвращаться к людям, и обсудите, что с ними делать. Поскольку эти ситуации сильно зависят от контекста, лучше всего рассматривать каждую ситуацию в индивидуальном порядке, а не устанавливать одно общее правило для ошибок.

Вы работаете в EAG и сталкиваетесь с кем-то, кто публично говорит об идее, которая очень похожа на инфоопасный проект, над которым вы работаете. Вы раздумываете, стоит ли поговорить с ним о риске распространения этой информации.

Возможный ответ: Это зависит от того, насколько хорошо вы владеете словом. Если вы уверены, что достаточно хороши, чтобы вести этот разговор, не проливая свет на детали, идите. В противном случае, если у вас есть какие-либо сомнения, сообщите об этом руководителю вашего проекта и назначенному координатору по информационной опасности.

Лучшие практики​

Ниже приведен ряд различных рекомендаций и передовых методов по гигиене информационной опасности. Сотрудники должны ознакомиться с ними и решить, соответствует ли их текущий подход этим рекомендациям.

• Будьте осторожны. Рассматривайте потенциально опасные для информации идеи как таковые, пока не обсудите это с руководителем проекта. Учитывая, что потенциальные опасности для информации по умолчанию являются конфиденциальными, постарайтесь формализовать их как можно скорее.
• Будьте осторожны с письменными материалами. Письменная коммуникация более полезна для обмена информацией, чем устная, но более рискованна. Письменная коммуникация помогает координации, поскольку письменные артефакты масштабируются, и их легче обрабатывать. Но письменная коммуникация оставляет больше следов, а это значит, что ее сложнее сохранить в тайне. Письменные материалы чаще записываются, чем устные, очень часто автоматически и очень часто даже неосознанно.
• Тщательно обдумайте аудиторию любого разговора. Аудитория разговора имеет значение. Инженеры по возможностям, лица с исполнительной властью, общественные деятели, влиятельные лица и т. д. являются более рискованной аудиторией, и при общении с ними следует проявлять еще большую осторожность, чем обычно, даже если вы не обсуждаете проекты, представляющие опасность для информации. Это также относится к людям, которые в прошлом делились (то, что они или мы считаем) опасной для информации информацией, или которые не воспринимают опасность для информации всерьез.
• Избегайте намеков на существование информационных опасностей. Иногда лучше всего ответить прямо, что информация является информационной опасностью и что вы не готовы говорить об этом дальше; это ответ «жесткое нет». Но в большинстве случаев проще и безопаснее избегать намеков на существование информационных опасностей. Уступите разговору о другой работе и не предлагайте заранее, что вы работаете над проектами, связанными с информационной опасностью, если этого можно избежать.
• Избегайте хвастовства, особенно в отношении романтических интересов . Легко оправдать обход процесса, думая, что ваш романтический партнер не вызывает беспокойства. Однако важно, чтобы этот процесс касался не только вас, но и всех, с кем вы работаете: вопрос не в том, оцениваете ли вы своего романтического партнера как вызывающего беспокойство, а в том, хотите ли вы, чтобы все, с кем вы работаете, тоже это оценивали. Вопрос также в том, хотите ли вы оценить, что романтический партнер каждого не вызывает беспокойства. Это не масштабируется. Если вы считаете, что это действительно стоит того, поговорите со своей командой, чтобы добавить их в секрет. Однако, вероятно, гораздо проще просто не упоминать им об опасной для информации информации в первую очередь.
• Будьте осторожны с документами Google, поскольку они не удаляют историю редактирования. Легко случайно распространить информационные опасности, которые были удалены из документов, просто потому, что они не были удалены из истории версий. Не совершайте эту ошибку. Обмен документами с другими организациями должен осуществляться только в редких случаях, но когда это необходимо, делитесь версиями только для просмотра, чтобы историю файлов нельзя было просматривать. Кроме того, делитесь с определенными людьми, а не делайте его доступным для чтения всем, у кого есть URL .

Психологическая безопасность​

Работа над секретным проектом и невозможность говорить о том, что вы делаете и о чем думаете, может иметь эмоциональные последствия. Природа Conjecture (стартап, как правило, молодой, в основном иммигранты) означает, что для большинства сотрудников коллеги обеспечивают большую часть социализации, и большой аспект социализации с коллегами заключается в обсуждении проектов и идей.

С одной стороны, следует принять сложность хранения секретов. Тот факт, что это требует эмоционального воздействия, не является совпадением и вполне соответствует реальности. Меры по смягчению этого могут ухудшить ситуацию, и мы должны по умолчанию не нанимать людей, у которых есть трудности с хранением секретов.

С другой стороны, в настоящее время у нас нет пропускной способности, чтобы быть абсолютно избирательными в отношении того, кого мы нанимаем и назначаем на секретные проекты. И мы не можем полагаться на то, что люди сами сообщают, что они не смогут хранить секрет, до того, как их наймут или назначат на проект. У большинства людей нет хорошей контрфактуальной модели самих себя.

Поэтому психологическая безопасность — это не просто забота об эмоциональном благополучии сотрудников, но и о надежности этой политики. Тот, кто чувствует себя в стрессе или изоляции, с большей вероятностью нарушит секретность. Эмоциональная динамика — такой же реальный фактор вероятности того, что секреты будут раскрыты, как и количество людей, которые знают секрет. В обоих случаях мы предполагаем человеческую ошибочность. Если бы мы нанимали только непогрешимых людей, не было бы причин иметь внутренне изолированные проекты.

Потенциальные факторы риска, которые увеличивают вероятность раскрытия информационной опасности:

• Основной проект(ы) человека являются секретными
• Долгосрочные секретные проекты
• Особо страшные проекты
• Не очевидно страшные проекты
• Доверенные друзья не включены в список
• Личность и жизненные обстоятельства

Таким образом, мы рассмотрим возможность принятия некоторых возможных решений в нашем подходе к проектам, опасным для информации, например, не назначать людей только на изолированные проекты, разделять проекты между соавторами, которые привыкли быть очень открытыми друг с другом, или добавлять доверенного человека эмоциональной поддержки в изолированные проекты, который знает только общие сведения, а не детали реализации. Обратите внимание, что Conjecture не гарантирует выполнение любого из этих шагов, и поэтому это не политика, а скорее общие соображения.

В целом, сотрудники, читающие эту политику, должны понимать, что в Conjecture серьезно относятся к вопросам психического здоровья и психологической безопасности, и если у них когда-либо возникнут какие-либо опасения по этому поводу, им следует сообщать о них высшему руководству или тому, с кем им будет удобно поговорить. Рейчел и Крис оба добровольно согласились стать доверенными лицами, если люди предпочтут выразить свои опасения кому-то, кроме Коннора, Гейба или Сида.

Дополнительным эмоциональным соображением является то, что иметь и хранить что-то в секрете не должно стоить никакого социального капитала. Это совсем не по умолчанию без письменной политики, где людям часто приходится тратить социальный капитал и прилагать дополнительные усилия, чтобы сохранить что-то в секрете. Цель Conjecture состоит в том, чтобы этого не было, и чтобы каждый мог комфортно хранить вещи в секрете по умолчанию без институционального или культурного сопротивления. Мы также намерены, чтобы эта политика снизила накладные расходы (необходимость придумывать индивидуальные решения для того, как обращаться с каждым новым секретом) и стресс (психологическое бремя хранения секрета). Доступ к секрету ни в коем случае не является признаком социального статуса. В этом ключе младший инженер может иметь доступ к вещам, которых нет у старшего инженера.

 

[TightBack361]

Это не страшная статья, я делился по неожиданной причине.

 

[TightBack361]

Я относительно часто плачу по глупым поводам. Но по некоторым более страшным поводам могу не плакать.

 

[TightBack361]

Я бы сказал что слёзы помогают. Но попытка заплакать специально похожа не на помощь, а на опустошение.

 

[TightBack361]

Повторять стереотипно, вместо новых поисков и вариантов, редко приводит к интересному. Имхо.

Это тоже стереотип. "Нужно искать новое, нужно не доверять людям которые уже достаточно изучили тему и быть самому себе дураком" (Но частично я согласен).

 

[TightBack361]

Сообщение выше - страшное. Никогда не стоит удалять его. Лишь звуки.