Нейросети и смежное :)

[dok34.ru]

Она не рисует мальчиков - только если явно говоришь и в ней есть этот персонаж. В этих сетях 85% треннингового материала - девочки. Поэтому чаще всего нужно лору (модификатор) подключать.
А без лоры - говоришь мальчик- рисует девочку.

..."у нас в семье только девочки!"🙂
Нередко такие заявления бывают 🙂
Как бы искренние, но явно без ..."подумала, а чего это так, мужчины не уживаются у нас"🙂

 

[dok34.ru]

"У Google вышло очень занятное исследование: они сравнили, как LLM и человеческий мозг обрабатывают язык

В качестве LM взяли Whisper, а нейронную активность человека записывали с помощью интракраниальных электродов во время спонтанных разговоров. Затем векторы эмбеддингов модельки наложили на векторы паттернов мозга и оценили линейную зависимость. Вот что получилось:

➖ Соответствие удивительно четкое и геометрия эмбеддингов в LLM (то есть отношения между словами в embedding-пространстве) соотносится с представлениями в мозге.

➖ Во время слушания Speech-эмбеддинги явно коррелируют с активностью в слуховой коре (верхняя височная извилина), затем language-эмбеддинги коррелируют с активностью в зоне Брока (нижняя лобная извилина).

➖ Во время говорения – наоборот. Language-эмбеддинги сначала "активируются" в зоне Брока (планирование высказывания), затем speech-эмбеддинги активируются в моторной коре (непосредственно говорение), и в конце снова в слуховой коре при восприятии собственной речи.

Это удивительно, потому что технически мозг и LLM используют разные подходы. Да, и там и там нейроны, но в науке принято считать, что мозг "использует" символьный подход, то есть полагается на четкие семанические структуры, синтаксис и иерархию слов. В модельках такого нет, они понимают язык статистически.

И все-таки получается, что обычный next token prediction оказывается очень похож на реальный нейронный код, и мы неожиданно близко подобрались к моделированию мозга.

Использованные источники:
Deciphering language processing in the human brain through LLM representations"

 

[Indigo]

И все-таки получается, что обычный next token prediction оказывается очень похож на реальный нейронный код, и мы неожиданно близко подобрались к моделированию мозга.

Похожие задачи в похожих условиях дают похожие решения. Так, и рыба и морские млекопитающие имеют похожую форму тела и так далее.

 

[dok34.ru]

Похожие задачи в похожих условиях дают похожие решения. Так, и рыба и морские млекопитающие имеют похожую форму тела и так далее.

Это да.
Просто были высказывания, что это вообще иначе, по разному устроено 🙂