ВВЕДЕНИЕ 3
1 Исследование современных методов получения и классификации сигналов
активности мозга 5
1.1 Современное состояние подходов и технических устройств получения
сигналов активности мозга 5
1.2 Анализ методов классификации сигналов в форме временных рядов . .. 11
2 Синтез методов получения и обработки данных мозговой активности 31
2.1 Выбор способа получения сигнала 31
2.2 Выбор метода анализа и классификации данных 33
3 Разработка архитектуры и обучение нейронной сети для классификации
паттернов движения кисти руки 37
3.1 Разработка плана эксперимента и сбор данных 37
3.2 Предварительная обработка данных 42
3.3 Разработка модели машинного обучения в виде нейронной сети
глубокого обучения 47
ЗАКЛЮЧЕНИЕ 50
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 52
Одним из наиболее актуальных направлений науки на сегодняшний день является разработка и совершенствование различных управляющих систем, а также информационно-измерительных систем, использующих сигналы центральной нервной системы человека. Такого рода системы выявляют сигналы различного характера, которые непрерывно генерируются в мозге человека и в других отделах центральной нервной системы (ЦНС), производят обработку и преобразование полученных сигналов и на основе полученных сигналов передают управляющие команды на различные устройства.
Основная часть подобных управляющих систем создаётся на основе нейрокомпьютерного интерфейса (НКИ). Нейрокомпьютерный интерфейс является средством взаимодействия мозга и устройств, способных обрабатывать внешние управляющие сигналы. НКИ - это система, измеряющая сигналы активности мозга при помощи датчиков установленных инвазивным (с хирургическим вмешательством) или неинвазивным способом, обрабатывающая их и формирующая управляющие сигналы, соответствующие конкретным распознанным образам.
В настоящее время во всем мире активно ведутся исследования, направленные на создание неинвазивных НКИ, которые основаны на воображении движений. Главной проблемой при создании таких НКИ, которые используют сигналы активности мозга, является повышение точности при классификации воображаемых движений, а также усовершенствование процесса анализа получаемых сигналов.
Объектом данной работы являются НКИ для управления протезами.
Предмет - методы и алгоритмы анализа сигналов активности мозга.
Целью работы является повышение эффективности процесса классификации паттернов движений посредством нейрокомпьютерного интерфейса.
Для достижения указанной цели в работе решаются следующие основные задачи:
1) исследовать современные способы получения сигналов активности мозга при движении и существующие подходы к анализу и классификации сигналов активности мозга;
2) выбрать способ получения сигнала мозговой активности и метод анализа и классификации сигнала;
3) произвести сбор и предварительную обработку данных
гемодинамической активности мозга;
4) реализовать модель машинного обучения для классификации паттернов движения кисти руки.
Передовым направлением научных исследований на сегодняшний день являются нейронауки. Нейронауки аккумулируют большой объем данных регистрируемой активности головного мозга человека. Для обработки столь масштабного объема данный необходимо использовать современные инструменты анализа данных. При использовании новых технологий регистрации мозговой активности, устаревшие методы обработки данных зачастую не справляются со своей задачей. Одной из главных задач в области нейронаук является получение сведений о различных состояниях человека на основании обработки его мозговой активности. Поэтому для получения качественных результатов исследований необходимо постоянно совершенствовать имеющиеся инструменты обработки данных.
В настоящее время российских инструментов обработки данных мозговой активности крайне мало, основными инструментами работы с такими данными являются зарубежные программные продукты. Однако ввиду некоторых ограничений, многие компании вынуждены отказываться от использования зарубежного программного продукта. Данный факт является стимулом для разработки отечественных программ для работы с данными мозговой активности.
В ходе выполнения выпускной квалификационной работы выполнялись задачи, необходимые для достижения поставленной цели - повышение эффективности процесса классификации мысленно воображаемых движений посредством нейрокомпьютерного интерфейса.
Проведено исследование существующих способов получения сигнала мозговой активности, рассмотрены технологии, основанные на электроэнцефалографии, функциональной спектроскопии в ближнем инфракрасном свете, магнито-резонансное сканирование. Перечисленные технологии являются неинвазивными способами регистрации активности мозга. Также исследована технология, основанная на внедрении нейрохирургических имплантатов, которая относится к инвазивному способу регистрации мозговой активности.
Изучены современные методы анализа и обработки данных, которые способны работать с большим объемом данных и имеют высокие показатели при применении в смежных областях. Рассмотрены методы деревьев решений, машина опорных векторов, сверточные нейронные сети, рекуррентные нейронные сети, метод градиентного бустинга, метод анализа главных компонент.
В ходе исследования методов получения и обработки данных мозговой активности выявлены достоинства и недостатки каждого из методов.
Для разработки информационного обеспечения анализа данных активности мозга, проанализировав результаты исследования, был выбран способ получения данных мозговой активности, основанный на использовании функциональной спектроскопии в ближнем инфракрасном свете (fNIRS), а для анализа и классификации данных был выбран метод использующий рекуррентные нейронные сети.
Используя оборудование NIRSport Model 88 и программу NIRSLab получены данные гемодинамической активности мозга 9 испытуемых, данные были отфильтрованы и нормализированы, что позволило сформировать обучающий набор данных. Полученные данные разделили на обучающую выборку и на тестовую выборку. Реализована и обучена на обучающей выборке модель машинного обучения в виде рекуррентной нейронной сети глубокого обучения. Проверка модели на корректность классификации на тестовой выборке показала точность в 78%, что является очень высоким результатом.
В результате выполнения выпускной квалификационной работы было получено информационное обеспечение в виде модели машинного обучения с высокой точностью классификации.
В дальнейшем разработанное информационное обеспечение возможно интегрировать с бионическим протезом кисти руки и разработав нейрокомпьютерный интерфейс управлять протезом «силой мысли».
1. Электроэнцефалография [Электронный ресурс] / Электрон. текстовые дан - URL: http://cnsinfo.ru/encyclopaedia/diagnostics/eeg/ (дата обращения 1.10.2018).
2. Schmidhuber, J. Deep learning in neural networks: an overview [Т екст] / J. Schmidhuber // Neural Networks. - 2015. - № 61. -С. 85-117.
3. Grossberg, S. Towards solving the hard problem of consciousness: the varieties of brain resonances and the conscious experiences that they support [Текст]/ S. Grossberg // Neural Networks. - 2017. - № 87. - С. 38-95.
4. Каплан, А.Я. Изучение возможности управления отдельными пальцами фантома кисти руки человека в контуре интерфейса мозг-компьютер на волне P300 [Текст]/ Каплан А.Я., Жигулъская Д.Д., Кирьянов Д.А. // Вестник Российского государственного медицинского университета. - 2017. - Т. 2. - С. 26-33.
5. Будко, Р.Ю. Создание классификатора мимических движений на основе анализа электромиограммы [Текст]/ Будко Р.Ю., Старченко И.Б // Труды СПИИРАН - 2016 - № 46 - С. 76-89.
6. Pchelintseva, S.V. Recognition and classification of oscillatory patterns of electric brain activity using artificial neural network approach [Текст] / Pchelintseva S.V., Runnova A.E., Musatov V.Y., Hramov A.E. // Proc. SPIE. - 2017. - № 10063. - DOI: 10.1117/12.2250001
7. Афонин, А.Н Разработка и реализация макета бионического протеза кисти руки [Текст] / Афонин А.Н., Алейников А.Ю., Гладышев А.Р., Попова А.В. // Робототехника и техническая кибернетика. - 2016. - № 3(12). - С. 68-71.
8. Станкевич, Л.А. Классификация электроэнцефалографических паттернов воображаемых движений пальцами руки для разработки интерфейса мозг-компьютер [Текст] / Станкевич Л.А., Сонькин К.М., Нагорнова Ж.В. и др. // Труды СПИИРАН. - 2015. - № 3. - С. 163-182.
9. Maksimenko, V.A. Nonlinear analysis of brain activity, associated with motor action and motor imaginary in untrained subjects [Текст] / Maksimenko V.A., Pavlov A.N., Hramov A.E. et al. // Nonlinear Dynamics. - 2018. - № 91. - С. 2803.
10. Ситникова, М.А. Функциональная оптическая томография: надежный метод измерения мозговой активации в процессе решения различных математических задач [Электронный ресурс] / Ситникова М.А., Нюрк Г.Х. Современные проблемы науки и образования. - Электрон. журн.- Москва: Академия Естествознания, 2016. - URL: http://www.science-
education.ru/ru/article/view?id=24640 (дата обращения: 05.10.2018).
11. Ferrari, M. A brief review on the history of human functional near-infrared spectroscopy (fNIRS) development and fields of application [Текст] / Ferrari M., Quaresima V. // Neuroimage. - 2012. - № 63. - С. 921-935.
12. Naseer, N. Classification of functional near-infrared spectroscopy signals corresponding to the right- and left-wrist motor imagery for development of a brain-computer interfaces [Текст] / Naseer N.; Hong K.-S. // Neuroscience Letters. - 2013. - № 553. - С. 84-89.
13. Robinson, N. Real-Time Subject-Independent Pattern Classification of Overt and Covert Movements from fNIRS Signals [Текст] / Robinson N., Zaidi A.D., Rana M. et al. // PloS ONE. - 2016. - № 11. - С. 7.
14. Календер, В. Компьютерная томография. Основы, техника, качество изображений и области клинического использования [Текст] / Календер, В. - Москва: Техносфера, 2010. - 344 c.
15. Scheinberg, K. An Efficient Implementation of an Active Set Method for SVMs [Текст] / K. Scheinberg. // The Journal of Machine Learning Research. - 2006. - № 7. - C. 2237-2257... 44