Аномалии – это непустое подмножество множества результатов измерений (наблюдений), элементы которого прошли тест на анормальность. Этот тест является статистическим, если множество результатов наблюдений состоит из случайных величин. Обычно тест на анормальность сопоставляет результаты измерения (или функцию от них) с предсказаниями некоторой модели, описывающей текущие исходы наблюдения. В этом контексте аномалия понимается как результат измерения, который может быть объяснен текущей моделью с достаточно низкой правдоподобностью, и вызван процессами, порождающими данные измерений, которые более правдоподобно описываются моделью с другими параметрами или же вообще иной моделью, например, моделью Гауссова шума[1].
Таким образом, наблюдатель (человек или техническая система) для выявления аномалий должен поддерживать следующие функции:
на основании наблюдений индуцировать генеративные или дискриминационные модели, при отсутствии этой способности он должен поддерживать априорные модели, то есть не зависящие от данных;
также наблюдатель должен быть способен обновлять параметры этих моделей на основании новых данных;
наблюдатель должен быть способен из множества моделей, находящихся в его распоряжении, выбирать наиболее оптимальную (критерии оптимальности могут быть разными);
также наблюдатель на основании наиболее оптимальной на данный момент модели и прошлых данных должен предсказывать результаты будущих наблюдений;
наблюдатель должен быть способен сопоставлять новые данные с результатами предсказания, и на этом основании проводить тест на анормальность;
С точки зрения одного из основных принципов науки – «бережливости» – модели, описывающие результаты наблюдений, должны иметь как можно меньше параметров. Поэтому, если один и тот же набор данных (результатов измерения) можно объяснить как простой статистической моделью с двумя параметрами, так и LSTM сетью с тысячами параметров, то надо отдать предпочтение более простой модели[2].
Можно провести аналогии работы мозга с описанным процессом выявления аномалий. Так, по теории эмоций Лизы Баррет, центральная нервная система для поддержания аллостаза индуцирует ряд генеративных моделей, соответствующих тем или иным эмоциям (счастье, страх, горе и пр.). При получении сигнала от внешней или внутренней среды нервная система в результате первичной обработки трансформирует его в «аффект», характеризующийся только двумя параметрами – уровнем возбуждением и базовой валентностью («приятный» – «неприятный»). После этого происходит сопоставление фактического аффекта с предсказаниями генеративными моделями. Если ошибка предсказания аффекта текущей моделью невелика, то она остается актуальной, и организм продолжит испытывать соответствующую эмоцию. В случае же, если ошибка предсказания модели, достаточно велика, то организм зафиксирует аномалию, что вызовет неприятный аффект. Если этих аномалий накопилось достаточно много, то он может либо изменить параметры текущей модели или же вообще поменять ее на другую, более адекватную текущей внешней и внутренней среде, что субъективно проявится как другая эмоция. Стоит отметить, что модели не являются точными. Центральная нервная система пытается их максимально упростить (уменьшить количество параметров) для экономии энергии[3-4].
Подход Лизы Баррет сочетается с более общим принципом Карла Фристона «свободной энергии». По нему каждый организм, даже одноклеточный, создает генеративные модели внутренней и внешней среды. Если он получает сигнал, который существенно отличается от предсказания этой модели, то фиксируется аномалия, которая связана с «удивлением», что приводит к выделению «свободной энергии». Для минимизации потери энергии, что эквивалентно минимизации количества аномалий, организм может либо 1) обновить генеративную модель, 2) либо поменять среду, чтобы она больше соответствовала генеративной модели. Таким образом, организм является полноценной кибернетической системой, которая не только собирает информацию от среды, строит ее модели и фиксирует аномалии, но и может воздействовать на среду, что приводит к изменению сигнала от нее, то есть существует обратная связь между действиями организма и средой. В нашем случае при разработке системы определения аномалий в автомобильных данных в реальном времени мы разрабатываем не полноценную кибернетическую систему, которая способна влиять на среду, а лишь ее компонент, строящий модели среды, и на основании сигналов от нее их обновляющий и фиксирующий аномалии[5].