dok34.ru
Moderator
Да, согласен с уточнением, спасибо.Тут не совсем поняли. Если batch size маленький, то условно говоря, нейросети меняются после прочтения одной страницы книги. То есть человек читает книгу и у него мировоззрение меняется после каждой страницы. А если batch size большой, то мировоззрение меняется после прочтения книги в целом с взвешенным учетом всех страниц, а после отдельных страниц изменения нет. То есть если batch size большой это не значит, что не берутся во внимание мелкие параметры. Они учитываются тоже.
Обращение внимания на мелкие детали -- это другой параметр нейросети, это количество нейронов во входном слое. Чем шире входной слой, тем больше деталей учитывается.
Я упрощённо рассмотрел схему. Парафильно, без шуток.