Безопасность искусственного интеллекта.

[Пользователь #98]

Может лучше не узнавать что такое сознание?

Никто и не узнает. Хотя, почему. Сознание, это как раз и есть наша личность. Пережитый опыт. Мое мнение. А также - сознание, это способность рефлексии и познании нового, в тех рамках, и пределах, при которых человек может выйти за эти рамки.. простите за тавтологию

 

[TightBack361]

На сегодняшнем этапе нет такого обучения, которое могло бы выйти за рамки программируемого, а это как раз и есть отличительная черта сознания - выходить за рамки.

Может ChatGPT и прочие уже частично выходят за рамки? Как вообще измерить выход за рамки. И это же ИИ, а не программа. Мы типа скорее обучаем их на примерах, а не программируем.

 

[Пользователь #98]

Может ChatGPT и прочие уже частично выходят за рамки?

ChatGPT не выходит за рамки. Он обучен на базе текста. Он не может выйти за пределы этой базы. Он будет "придумывать" только то, что внесли в него программисты, то, чему его "обучили". Тут не идет речи даже о интеллекте, это просто качественное машинное обучение. Это не мозг, это не интеллект. Это простой набор алгоритмов, к сожалению. А общественность делает из этого не знаю что

 

[TightBack361]

Может быть как раз и не нужно человечеству это понимать? Типа дальше будем узнавать так и сами ИИ станем. И передадим ИИ это. Или станем типа богами тогда.🙂
Ну сделать ИИ без этого понимания сознания. Будет как человек.
В игрушке Детройт become human было что ИИ какой то тест Шредингера проходил. Я не вникал что это за тест. Типа обманывал цис-хумана. Кстати первый андроид что прошел этот тест и обманул человека, это был андроид-девушка🙂

 

[Пользователь #98]

Понимаешь, это даже противоречит самой логике II - потому что, чтобы делать интеллект, нужно знать, как он устроен. А человек значет очень мало. Да, оно знает, что где находится, но КАК это работает - пока никто не знает. И это загадка будет ещё очень многое время существовать. И, как я понимаю, вероятно, никогда не решится... :/

 

[TightBack361]

ChatGPT не выходит за рамки. Он обучен на базе текста. Он не может выйти за пределы этой базы. Он будет "придумывать" только то, что внесли в него программисты, то, чему его "обучили". Тут не идет речи даже о интеллекте, это просто качественное машинное обучение. Это не мозг, это не интеллект. Это простой набор алгоритмов, к сожалению. А общественность делает из этого не знаю что

Это гипотеза стохастического попугая, наверное? Есть критика, например вот:

https://medium.com/electronic-life/beyond-stochastic-parrots-understanding-large-language-models-95ed4e4c149a

The Stochastic Parrot Hypothesis is debatable for the last generation of LLMs

1 Large Language Model Psychology The Stochastic Parrot Hypothesis is debatable for the last generation of LLMs This post is part of a sequence on LLM Psychology. wrote the details section in argument 3 and the other weird phenomenon. The rest is written in the voice of Intro Before diving...

telegra.ph

(Дальше просто моё мнение, может быть глупое)

Вообще может быть это зависит от того, что значит выйти за рамки. Чтобы предсказывать текст по идее нужно иметь какую-то модель мира и как-то применять её. Если обобщать и усреднять / смешивать, то это выход за рамки или нет?
Орки статистически зелёные
Орки статистически похожи на живое существо и персонажа
Персонаж может учиться в школе (обучения орка в школе не было в обучающей базе)
И всё дальше и дальше - более абстрактно применяя сложившеся части картины мира к другим частям. Я не знаю какое несоответствие обучающим данным это выход за рамки, а какое - нет.
Может быть для интеллекта нужно - нахождение паттернов, смешивание и то что в GPT в качестве системы 1, какая-то более абстрактная логика рядом, чтобы давать ей задачи и обучение, чтобы понимать чего именно в картине мира не хватает.
GPT не может сам учиться, ещё от этого может показаться таким попугаем, но он наверное может сказать каких данных ему не хватает.

Понимаешь, это даже противоречит самой логике II - потому что, чтобы делать интеллект, нужно знать, как он устроен.

Ну мы по идее изучаем другие вещи и можем теоретизировать на эту тему. Не обязательно нельзя понять себя. Мы же изучаем другие вещи. Ещё мы можем придумать интеллект, было бы странно, если бы не существовало устройств интеллекта, которые мы не способны понять, наверное если бы инопланетяне с ИИ прилетели - мы бы в конце-концов могли понять как работает ИИ на примере, а если так, то ИИ будто то, что мы не можем принципиально понять.
Ну и третий вариант:
Мы очень слабо представляем как работает ChatGPT, он обучается на данных и это своего рода эволюция и случайность. Текст строит то, что его пишет. Возможно это самое непонятное для нас в мире из всего, к чему мы приложили свою руку. Мы запустили процесс, а дальше многое (и конктретные решения внутри него) - это непонятно.
Задача - предскажи следующий токен в тексте - это задача для которой нужен ИИ, чтобы предсказывать интеллекты максимально хорошо - нужно быть интеллектом, причём намного умнее исходного. Мы просто даём больше данных, больше нейронов и чисто из-за этого получаем результаты всё лучше и лучше, оно будто бы готово масштабироваться во многом просто от этого.

 

[TightBack361]

Может быть LLM решили те пробемы, что раньше казались трудными в ИИ, нечёткие пространства и даже "здравый смысл".
Ох, у меня такой слог, это ужас. Я пишу как будто много знаю. Каждый раз как захожу в эту тему такая фигня, может мы как LLM и я тоже играю роль какую-то...

 

[Пользователь #98]

Это гипотеза стохастического попугая, наверное?

Она даже понимать не умеет. Тут вопрос в другом. У нас, допустим, есть вопрос, на который мы хотим получить ответ. И у нас есть "нейросеть", которая обучена, на 10B файлах информации. Она даст ответ только в тех пределах, на которых её обучили. Она не будет думать. Она будет "предугадывать", грубо говоря. А это предугадывание. Сознание, или же что-то похожее на него, это тогда, когда база есть, но есть вопрос, а ты отвечаешь на него так, как это не запрограммировано базой. Именно это можно назвать сознанием. Т.е. выходом за рамки.

Чтобы предсказывать текст по идее нужно иметь какую-то модель мира и как-то применять её.

Опять же, это простая информация. Мы заставляем модель давать ответы, которые мы хотим получить.

Как, например, если мы поставим нейросеть в ту ситуацию, на которую она не запрограммирована отвечать, то она и никогда не ответит. Ибо у неё нет навыков, которые есть у человека.

может сказать каких данных ему не хватает.

конечно, может, но что это даст? Он даст только тот ответ, который в него запрограммировали. Опять, он не может сам искать данные, всегда требуется ассистент, который будет "скармливать" ему эти данные.

Мы запустили процесс, а дальше многое (и конктретные решения внутри него) - это непонятно.

Отключи его от системы питания, а затем снова включив, он не сможет ничего сделать. Он не будет развиваться до тех пор, пока не дать ему приказ, т.е. запустить алгоритм.

 

[Боpя]

Мечтают ли андроиды об электроовцах.
Я читал и фильм смотрел с Харрисоном Фордом. И этот фильм с Гослингом.
В комментах пишут что это тест на эмоциональную стабильность.
Ну фиг знает. Я мало чо понял.
Скорее вопрос о том а чем мы, люди, отличаемся от андроидов. Может мы типа те же андроиды или репликанты.

 

[dok34.ru]

Так мы и есть II если говорить. Ведь, что такое II - это воссоздание деятельности мозга. А запрограммировать все возможные варианты невозможно. Также как и воссоздать нейрогенез, основанный на преодолении тех пределов, о которых я говорил выше

Программированный - по идее уже не совсем интеллект?
Если действует, размышляет строго по цепочкам, выстроенным программистами/ программой
...я не помню, выложил ли ссылочку на идею использовать нейроморфогенез, то есть развитие нервной системы, в процессе обучения нейросети. Вроде нет, там коротко было, но идея имхо годная, я именно так и видел ИИ.
Развивающийся мозг, который собственно и проходит обучение, без стирания информации о своем прошлом...
Имхо