Часть 3
Напомним, что предсказанная активность нейрона вычисляется как
взвешенная сумма активностей нейронов вышележащего слоя.
Поэтому, когда мы изменяем активность (X_i) в слое
L, для каждого нейрона нижележащего слоя изменяется предсказанное значение пропорционально весу связи, соединяющей их.
Чтобы вычислить полную производную, необходимо сложить ошибки предсказания всех нейронов нижнего слоя, умноженные на соответствующие веса связей, и объединить этот результат с ранее полученным выражением.
Заметим следующее.
Если активность какого-либо нижележащего нейрона
выше, чем его предсказанное значение, то для уменьшения натяжения пружины необходимо увеличить предсказание, подняв соответствующую платформу.
Это можно сделать, увеличив активность нейрона верхнего слоя — при условии, что соединяющий их вес положителен.
И наоборот, если ошибка предсказания отрицательна, натяжение уменьшается при снижении предсказанного значения, а значит — при уменьшении активности нейрона верхнего слоя.
Полученное элегантное уравнение говорит нам нечто очень важное о динамике нейронов.
Активность каждого нейрона изменяется, пытаясь найти
компромисс между двумя конкурирующими воздействиями.
Первый член уравнения заставляет нейрон приблизиться к своему
нисходящему (top-down) предсказанию.
Второй член побуждает его
лучше предсказывать активность нижележащего слоя.
Когда эти две силы приходят в равновесие, нейрон достигает своего оптимального уровня активности — такого, который минимизирует ошибки предсказания как на собственном уровне, так и на уровне, который он помогает предсказывать.
Но прежде чем переходить к изменению весов связей, давайте переведём эти правила обновления из абстрактной модели пружин и платформ в реальные нейроны.
Обратите внимание, что каждый нейрон должен получать
собственную ошибку предсказания в качестве входного сигнала с отрицательным знаком.
Ранее мы рассматривали эту ошибку как некую абстрактную операцию вычитания.
Но в реальной биологической системе такое сравнение должно происходить
где-то физически.
Следовательно, необходим механизм, который будет хранить значение ошибки предсказания и использовать его для изменения активности нейрона.
Именно здесь заключается фундаментальная идея предиктивного кодирования.
Нам необходима
отдельная популяция нейронов, которая будет явно кодировать ошибки предсказания.
Собственно, именно отсюда и происходит название
«предиктивное кодирование».
Нейроны кодируют
не сами сигналы, а ошибки предсказания.
В нашей модели можно представить, что в каждом слое рядом с каждым
репрезентационным нейроном (X_i), который кодирует представление и передаёт предсказания нижнему слою, существует специальный
нейрон ошибки, являющийся его биологическим аналогом.
Этот нейрон кодирует отклонение активности (X_i) от её предсказанного значения.
Теперь, имея такую структуру, мы можем непосредственно определить необходимую схему соединений между нейронами.
Репрезентационный нейрон (X_i):
- должен тормозиться соответствующим ему нейроном ошибки;
- и одновременно возбуждаться нейронами ошибок, которые приходят снизу и передают сигналы обратной связи от нижележащего слоя.
Таким образом, математическая модель естественным образом отображается на биологическую нейронную сеть.
Теперь необходимо определить, что управляет самими нейронами ошибки.
По определению, нейроны ошибки работают как
компараторы, вычисляя разность между активностью репрезентационного нейрона (X_i) и её предсказанным значением.
Напомним, что предсказанное значение представляет собой взвешенную комбинацию активностей нейронов вышележащего слоя.
Это уравнение показывает ещё один необходимый тип связей.
Нейроны ошибки получают:
- возбуждающий вход от соответствующего репрезентационного нейрона своего слоя;
- тормозящий вход от нейронов вышележащего слоя, которые передают предсказания.
Отлично.
Теперь у нас имеются две различные популяции нейронов со строго определёнными возбуждающими и тормозящими связями между ними.
Если предоставить такой сети возможность развиваться в соответствии с её собственной внутренней динамикой, она придёт к состоянию равновесия, минимизирующему ошибки предсказания на всех уровнях.
Однако всё, что мы обсуждали до сих пор, предполагало
фиксированные веса связей.
Чтобы модель действительно могла обучаться, необходимо наделить её способностью изменять эти веса.
Так же как активности нейронов являются подвижными элементами нашей системы, синаптические веса тоже представляют собой изменяемые параметры, стремящиеся к конфигурации, минимизирующей общую энергию.
Рассмотрим вес, соединяющий нейрон
i слоя
L с нейроном
k слоя
L−1.
Для него можно вывести правило обновления, уменьшающее общую энергию, если двигаться в направлении, противоположном градиенту.
Поскольку функция энергии представляет собой сумму квадратов ошибок предсказания по всей сети, изменение данного веса влияет только на один член этой суммы — ошибку предсказания соответствующего постсинаптического нейрона.
Производная оказывается равной
отрицательной ошибке предсказания, умноженной на активность пресинаптического нейрона.
В результате мы получаем очень красивое правило обучения:
изменение веса пропорционально произведению активности двух нейронов.
Это правило поразительно напоминает
хеббовскую пластичность (Hebbian plasticity), известную в нейронауке.
«
Нейроны, которые активируются вместе, соединяются сильнее.»
Однако при переносе этого правила на реальные биологические сети возникает проблема.
Предсказания распространяются
сверху вниз, когда репрезентационный нейрон
i соединяется с нейроном
k нижележащего слоя.
Но ошибки предсказания распространяются
снизу вверх, от нейрона ошибки обратно к нейрону
i.
При этом математический вывод требует использования
одного и того же значения веса в обоих направлениях.
В биологическом мозге это невозможно буквально, поскольку это уже
два разных физических синапса.
Чтобы они всегда были абсолютно одинаковыми, им пришлось бы мгновенно обмениваться информацией — а подобного явления в мозге никогда не наблюдалось.
Эта проблема известна как
проблема переноса весов (weight transport problem).
Она касается как алгоритма обратного распространения ошибки, так и предиктивного кодирования.
Однако более внимательное изучение динамики изменения весов подсказывает возможное решение.
Для двух противоположно направленных синапсов правило обновления практически одинаково.
Оно отличается лишь тем, какой из нейронов считается пресинаптическим, а какой — постсинаптическим.
Поэтому прямые и обратные синапсы, которые теоретически должны иметь одинаковые значения, могут
независимо сходиться к очень близким величинам, поскольку обучаются почти по одним и тем же правилам.
Иными словами, сама физиология процесса обучения естественным образом смягчает проблему переноса весов.
Следует отметить, что в реальных моделях существует нелинейная функция активации, которую мы до сих пор сознательно игнорировали.
После учёта этой нелинейности правила обновления двух противоположных синапсов уже перестают быть математически идентичными.
К счастью, исследования показывают, что
идеальная симметрия вовсе не обязательна.
Даже если прямые и обратные связи обучаются независимо и по немного различающимся правилам, возникающая приблизительная симметрия оказывается вполне достаточной для эффективной работы сети.
Продолжение — в части 4.
