В последнее десятилетие мы видим все большее и большее количество приложений искусственного интеллекта, их можно встретить везде: от ботов в компьютерных играх до приложений распознавания лиц на фотографиях. Одним из недостатков таких алгоритмов является их неуниверсальность. Метод, применяемый для решения одной задачи, зачастую не подходит для решения другой. Для того, чтобы мы могли конструировать более лучшие системы, нужен новый подход, из которого мы сможем получить более универсальный алгоритм. Одна такая универсальная система давно нам известна - это мозг млекопитающих, вернее неокортекс.
Несмотря на то, что модели отдельных участков нейронной сети появились уже более полувека назад, универсальной теории работы неокортекса не было довольно долго. Наверное одной из первых более менее удачной попыток построения такой модели была книга On intelligence, опубликованная Джеффом Хокинсом и Сандрой Балакесли в 2004 году [1]. В этой книге Хокинс приводит последние (на тот момент) исследования работы неокортекса и закладывает базу для модели иерархической темпоральной памяти (Hierarchical Temporal Memory, далее в тексте будет применяться аббревиатура HTM).
Хокинс утверждает, что его методы станут основой для "по-настоящему интеллектуальных машин". Он использует довольно определенное понятие интеллекта, основанное на предсказании. Согласно ему, система может называться интеллектуальной, если она непрерывно делает предсказания окружающего мира, сравнивает эти предсказания с показаниями сенсоров и изменяет свои параметры для получения новых, более точных предсказаний. Подобная система постоянно улучшает внутреннюю модель мира с целью лучшего понимания того, что в нем происходит.
Цель данной работы в заключается в разборе предложенной модели и анализе её применимости в задачах машинного обучения. Так как машинное обучение - очень обширная область, было решено сконцентрироваться на определенной задаче - поиск аномалий в GPS данных. Именно на подобных задачах, как будет показано далее, HTM работает лучше всего.
В данной работе рассматривалась модель иерархической темпоральной памяти (HTM). Это система памяти, созданная под влиянием работы неокортекса млекопитающих, но в отличии от остальных моделей нейронных сетей, используемых в задачах машинного обучения, эта модель более точно отображает процессы происходящие в мозге. Целью данной работы являлась оценка применимости данной модели в задачах машинного обучения, несмотря на то, что при составлении модели не использовались обычные для таких моделей статистические приемы, не имеющие аналогов в мозге. В качестве конкретной задачи было выбрано поиск аномалий в GPS данных.
В главах 3-4 было подробно рассмотрена модель HTM и алгоритмы обучения CLA. Было показано, что наибольший потенциал данная модель раскрывает на задачах, в которых нужно искать сложные времменые паттерны. Это достигается за счет разбиения клеток сети на группы, называемые колонками, и взаимодействием между клетками одного слоя.
Было показанно, что HTM успешно справляется с поставленной задачей. Сеть быстро обучается находить предъявленные ранее маршруты и отмечать не представленные ранее точки пути (аномалии маршрута). Также было показано, что сеть запоминает не просто набор точек, а их последовательность и, например, тот же маршрут, но пройденный в обратную сторону будет отмечен как аномальный.
В ситуации предъявления большого количества маршрутов, из сети не пропадает информация о маршрутах, предъявленные её давно. Иными словами сеть надежно хранит информацию внутри себя.
Одним из недостатком модели является её молодость. Впервые модель HTM была представлена в 2004 году, а алгоритмы её обучения CLA в 2009. Это создает некоторые трудности при изучении модели по ряду причин. Первая причина - малое количество статей. Вторая причина состоит в том, что модель активно меняется, модифицируется, из-за этого довольно сложно отслеживать актуальное описание модели и алгоритмов. Третья причина - малое количество реализаций модели в виде программного обеспечения. Актуальная реализация NuPIC работает только на процессоре. Без реализации на видеокарте довольно сложно обучать модель на большом объеме данных.
Если говорить в целом о применимости HTM в задачах машинного обучения, то модель однозначно имеет свою нишу в задачах поиска нетривиальных паттернов во временной области. В данной работе не рассматривались задачи другого типа, однако, судя по имеющимся публикациям, HTM несколько уступает другим моделям (имеются в виду задачи обучения с учителем и поиск паттернов в пространственных данных).
Возможные дальнейшие исследования модели.
1 Добавить слои сети, что может помочь выявлять более высокоуровневые паттерны поведения.
2 Использовать время как вход с сенсора. То есть добавить ещё один регион, который будет принимать сигнал времени и объединить сигналы с двух регионов на следующем слое сети. В данный момент время движения никак не учитывается, а ведь прохождение обычного маршрута в необычный час тоже может считаться аномалией.
3 Обучение сети на большом количестве данных, собранных с нескольких объектов. Объединяя несколько сетей в одну (так как данная модель легко расширяется, это не представляет большой проблемы), можно попытаться искать аномалии в коллективном поведении.
