РАСПОЗНАВАНИЕ И АНАЛИЗ ПАТТЕРНОВ ЭЛЕКТРОЭНЦЕФАЛОГРАММ МЕТОДАМИ МАШИННОГО ОБУЧЕНИЯ
|
ВВЕДЕНИЕ 3
1 Актуальные решения 12
2. Особенности реализации 14
2.1 Набор данных 15
2.2 Преобразование Фурье и спектрограмма 16
2.3 Сверточные слои 18
2.3.1 Свертка матрицы признаков 19
2.3.2 Функция активации 20
2.3.3 Max-pooling слои 21
2.4 Структура сверточной нейронной сети 21
2.5 Долгая краткосрочная память (Long short-term memory) 22
3. Решение задачи 25
4. Реализация 26
5. Результаты 28
ЗАКЛЮЧЕНИЕ 31
СПИСОК ЛИТЕРАТУРЫ 32
ПРИЛОЖЕНИЯ 34
1 Актуальные решения 12
2. Особенности реализации 14
2.1 Набор данных 15
2.2 Преобразование Фурье и спектрограмма 16
2.3 Сверточные слои 18
2.3.1 Свертка матрицы признаков 19
2.3.2 Функция активации 20
2.3.3 Max-pooling слои 21
2.4 Структура сверточной нейронной сети 21
2.5 Долгая краткосрочная память (Long short-term memory) 22
3. Решение задачи 25
4. Реализация 26
5. Результаты 28
ЗАКЛЮЧЕНИЕ 31
СПИСОК ЛИТЕРАТУРЫ 32
ПРИЛОЖЕНИЯ 34
Основной задачей представленной работы является анализ и распознавание паттернов электроэнцефалограмм методами машинного обучения. Нам нужно решить, какую из структур нейронных сетей можно применить для поиска ее наиболее оптимального решения, а также как модифицировать базовую структуру сети для улучшения эффекта классификации.
Создание алгоритмов для вспомогательных систем, которые могли бы помочь человеку в предсказании эпилептических приступов, потенциально ведет к упрощению и ускорению процесса диагностики, что в свою очередь скажется на качестве и эффективности назначаемого вида лечения, а также безопасности больного. Кроме того, данные системы могут применяться для подготовки новых специалистов в медицинских дисциплинах.
Человеческий мозг является частью центральной нервной системы и состоит из более чем 100 миллиардов нервных клеток. Нейроны в головном мозге связаны с восходящими и нисходящими путями нервных волокон в спинном мозге. Эти тракты содержат афферентные (сенсорные) и эфферентные (двигательные) нервы, которые передают информацию между мозгом и остальной частью тела.
Нейроны в мозге могут влиять на абсолютно все аспекты человеческой жизни, выполнение специфических физиологических функций, также включая осуществление двигательной деятельности,
выполнение формирования мыслей, воспоминаний и сновидений человека.
Для медицинских исследований расстройств мозга одним из самых важных инструментов диагностики является запись и анализ сигналов электроэнцефалограмм. В частности, в неврологии и нейрохирургии электроэнцефалограммы используются для выявления различных патологий центральной нервной системы. В пример можно привести такие патологии как эпилептический приступ, снижение умственной работоспособности, смерть головного мозга, кома и прочие другие. Чтобы записать электрическую активность мозга, к коже головы прикрепляют от 8 до 16 пар электродов. Каждая пара электродов передает сигнал на один из нескольких каналов записи электроэнцефалографа. Этот сигнал состоит из разности напряжений между парой.
Электроэнцефалография является одной из областей клинической нейрофизиологии, которая регистрирует электрическую активность головного мозга от поверхности головы. Одна из главных ролей электроэнцефалографии — помощь в диагностике эпилепсии. Можно увидеть аномальные паттерны, такие как выбросы сигналов и различные аномальные волновые комплексы.
Электроэнцефалография представляет из себя электрофизиологический метод, в основе которого лежит регистрация и запись электрических потенциалов различных отделов головного мозга.
Электроэнцефалограмма (ЭЭГ) как метод — это запись с поверхности кожи головы, генерируемая многими биопотенциалами в головном мозге. Электроактивность обусловлена вторичными ионными токами, которые возникают вследствие градиентов потенциалов действия
Другими словами, по сути это запись потенциалов действия и постсинаптических потенциалов корковых клеток. Так как мы записываем с поверхности кожи головы, мы измеряем потенциалы от многих клеток одновременно. Они могут варьироваться и изменяться в зависимости от эмоционального, психического или физиологического состояния человека. Запись сигнала электроэнцефалограммы является скорее мерой суммирования электрических сигналов, генерируемых многими нейронами, запускающимися в течение определенного периода времени. В зависимости от состояния мозга и выполняемой задачи, нейроны могут запускаться синхронно или асинхронно. Синхронные нейроны имеют потенциалы, повышающиеся и понижающиеся в одно и то же время. ЭЭГ является суммой этих сигналов.
Сигнал электроэнцефалограммы включает в себя информацию о электрической активности головного мозга, и может характеризоваться определенной ритмичностью, частотой, амплитудой. В случае
патологического состояния в каждом из ритмов (или в нескольких) электроэнцефалограммы можно найти различную аномальную волновую активность [13-
Сигнал электроэнцефалограммы может быть разбит на разные компоненты. Существует четыре частотных диапазона, которые были определены как первичные компоненты ЭЭГ: а (альфа), (3 (бета), А
(дельта) и 0 (тета) волны. Частоты и типичные амплитуды этих компонентов приведены в таблице 1.
Таблица 1 — Типичные частоты и амплитуды различных компонентов ЭЭГ
Ритм Стандартная частота (Герц) Стандартная амплитуда(мкВ)
а (альфа) 8-13 2-100
(3 (бета) 13-22 5-10
А (дельта) 0.5-4 20-100
0(тета) 4-8 10
Рассматриваемая в работе задача может быть представлена и описана в следующем виде.
Следует начать с того, что мы берем все нарезанные участки сигнала электроэнцефалограммы и используем кратковременное преобразование Фурье (STFT) для преобразования 28-секундного ЭЭГ-сигнала временного ряда, преобразуя его в спектрограмму.
В наборе данных есть случаи, когда множественные припадки происходят близко друг к другу. Для задачи прогнозирования судорог мы заинтересованы в прогнозировании ведущих припадков. Поэтому для припадков, которые находятся менее чем в 30 минутах от предыдущего, мы рассматриваем их, как только один припадок и используем начало начального припадка объединяем их в комбинированный припадок,
используя эту точку в качестве начала комбинированного припадка, фактически учитывая только ведущий.
С этими входными условиями сигнал поступает на вход нескольких нейронных сетей, схожих по конфигурации, которые смогли бы по полученному на вход сигналу электроэнцефалограммы провести бинарную классификацию между двумя классами: нормальным и преиктальным (предсудорожным). Примерная схема работы представлена в рисунке 1.
Ниже мы разберем основные базовые понятия применяемые в нашей работе и дадим их определение.
Определим контрольные данные и примеры ожидаемых результатов. Пусть (Xtrain , Y train) (Xtest,Ytest) — обучающая и тестовая выборка соответственно, первая из которых (обучающая выборка) —
содержит участки сигнала энцефалограммы нормального и преиктального типа, и номер категории (0 — для нормального сигнала и 1 — для преиктального, соответственно), в свою очередь соответствующие парам (
xest >У‘test ) и’ сообразно, вторая, тестовая выборка содержит участки сигнала энцефалограммы нормального и преиктального типа, и номер категории (0 — для нормального сигнала и 1 — для преиктального, соответственно) для соответствующих пар (xest ,у esl ). Иными словами х1 — соответствует единице классифицируемых данных, а у1 — является кодификатором для сигнала, определяющим класс (нормальный или преиктальный) для сигнала.
Определим нашу нейронную сеть некоторой архитектуры, как N, а параметры, используемые в ней и определяющие ее работу, как W .
Далее пусть выход алгоритма нейронной сетиТУ с параметрами W для тестовой выборки Xtest, будет определен, как
0=Nw{Xtest)
для каждого х ltest .
Способ оценки качества работы алгоритма нейронной сети — это обратная связь алгоритма нейронной сети, предназначенная для корректировки его работы представляющая собой меру отклонения результатов, предоставляемых на выходе алгоритма нейронной сети и ожидаемых результатов для этой выборки. Этот процесс оценки и последующей корректировки определяют как обучение алгоритма нейронной сети.
Иными словами, проводится значимое преобразование данных, или обучение представлению данных для решения задачи на паре (данные — лейбл данных) входных данных и ожидаемых результатов по мере того, как оценка качества работы нашего алгоритма нейронной сети станет достаточной.
Эту функцию точности алгоритма нейронной сети можно определить так:
У=ТГ~ 1 1(°i=ylteSt)
r^testl l
где 1(01 = у ltest ) — индикаторная функция представления данных для результата работы алгоритма нейронной сети.
Цель работы можно обозначить как распознавание и анализ паттернов электроэнцефалограмм методами машинного обучения и дать ей такое определение:
Существует необходимость создать систему автоматизированного диагностирования, чтобы выявить правила решения задачи обработки данных для различения разного рода паттернов сигналов энцефалограмм по примерам ожидаемых результатов с использованием методов
машинного обучения. Основная проблема заключается в том, что решить такую задачу сложно.
Чтобы достичь поставленной цели в процессе написания научной работы, обозначим основные задачи:
1) Изучить биологию составляющую задачи анализа сигналов головного мозга.
1.1) Изучить физическое представление сигнала головного мозга.
1.2) Изучить поведение сигнала электроэнцефалограмм в случае патологического состояния.
2) Исследовать существующие решения для обработки медицинских показателей.
2.1) Исследовать наиболее часто применяющиеся в медицине решения на основе глубокого обучения нейронных сетей.
2.2) Просмотреть и проанализировать существующие решения для обработки различных временных сигналов на основе глубокого обучения нейронных сетей.
2.3) Исследовать основные решения при обработке сигналов электроэнцефалограмм на основе глубокого обучения нейронных сетей.
3) Выбрать лучший набор инструментов с точки зрения качества и точности получаемого результата алгоритма нейронной сети.
4) Найти в открытых источниках датасет достаточный для обучения алгоритма и устранить ошибки аннотирования.
5) Реализовать программным образом алгоритм глубокого обучения нейронной сети.
6) Исследовать возможные улучшения выбранного алгоритма и внедрить их в проект.
7) Провести сравнительный анализ решений.
8) Провести анализ результатов работы.
Создание алгоритмов для вспомогательных систем, которые могли бы помочь человеку в предсказании эпилептических приступов, потенциально ведет к упрощению и ускорению процесса диагностики, что в свою очередь скажется на качестве и эффективности назначаемого вида лечения, а также безопасности больного. Кроме того, данные системы могут применяться для подготовки новых специалистов в медицинских дисциплинах.
Человеческий мозг является частью центральной нервной системы и состоит из более чем 100 миллиардов нервных клеток. Нейроны в головном мозге связаны с восходящими и нисходящими путями нервных волокон в спинном мозге. Эти тракты содержат афферентные (сенсорные) и эфферентные (двигательные) нервы, которые передают информацию между мозгом и остальной частью тела.
Нейроны в мозге могут влиять на абсолютно все аспекты человеческой жизни, выполнение специфических физиологических функций, также включая осуществление двигательной деятельности,
выполнение формирования мыслей, воспоминаний и сновидений человека.
Для медицинских исследований расстройств мозга одним из самых важных инструментов диагностики является запись и анализ сигналов электроэнцефалограмм. В частности, в неврологии и нейрохирургии электроэнцефалограммы используются для выявления различных патологий центральной нервной системы. В пример можно привести такие патологии как эпилептический приступ, снижение умственной работоспособности, смерть головного мозга, кома и прочие другие. Чтобы записать электрическую активность мозга, к коже головы прикрепляют от 8 до 16 пар электродов. Каждая пара электродов передает сигнал на один из нескольких каналов записи электроэнцефалографа. Этот сигнал состоит из разности напряжений между парой.
Электроэнцефалография является одной из областей клинической нейрофизиологии, которая регистрирует электрическую активность головного мозга от поверхности головы. Одна из главных ролей электроэнцефалографии — помощь в диагностике эпилепсии. Можно увидеть аномальные паттерны, такие как выбросы сигналов и различные аномальные волновые комплексы.
Электроэнцефалография представляет из себя электрофизиологический метод, в основе которого лежит регистрация и запись электрических потенциалов различных отделов головного мозга.
Электроэнцефалограмма (ЭЭГ) как метод — это запись с поверхности кожи головы, генерируемая многими биопотенциалами в головном мозге. Электроактивность обусловлена вторичными ионными токами, которые возникают вследствие градиентов потенциалов действия
Другими словами, по сути это запись потенциалов действия и постсинаптических потенциалов корковых клеток. Так как мы записываем с поверхности кожи головы, мы измеряем потенциалы от многих клеток одновременно. Они могут варьироваться и изменяться в зависимости от эмоционального, психического или физиологического состояния человека. Запись сигнала электроэнцефалограммы является скорее мерой суммирования электрических сигналов, генерируемых многими нейронами, запускающимися в течение определенного периода времени. В зависимости от состояния мозга и выполняемой задачи, нейроны могут запускаться синхронно или асинхронно. Синхронные нейроны имеют потенциалы, повышающиеся и понижающиеся в одно и то же время. ЭЭГ является суммой этих сигналов.
Сигнал электроэнцефалограммы включает в себя информацию о электрической активности головного мозга, и может характеризоваться определенной ритмичностью, частотой, амплитудой. В случае
патологического состояния в каждом из ритмов (или в нескольких) электроэнцефалограммы можно найти различную аномальную волновую активность [13-
Сигнал электроэнцефалограммы может быть разбит на разные компоненты. Существует четыре частотных диапазона, которые были определены как первичные компоненты ЭЭГ: а (альфа), (3 (бета), А
(дельта) и 0 (тета) волны. Частоты и типичные амплитуды этих компонентов приведены в таблице 1.
Таблица 1 — Типичные частоты и амплитуды различных компонентов ЭЭГ
Ритм Стандартная частота (Герц) Стандартная амплитуда(мкВ)
а (альфа) 8-13 2-100
(3 (бета) 13-22 5-10
А (дельта) 0.5-4 20-100
0(тета) 4-8 10
Рассматриваемая в работе задача может быть представлена и описана в следующем виде.
Следует начать с того, что мы берем все нарезанные участки сигнала электроэнцефалограммы и используем кратковременное преобразование Фурье (STFT) для преобразования 28-секундного ЭЭГ-сигнала временного ряда, преобразуя его в спектрограмму.
В наборе данных есть случаи, когда множественные припадки происходят близко друг к другу. Для задачи прогнозирования судорог мы заинтересованы в прогнозировании ведущих припадков. Поэтому для припадков, которые находятся менее чем в 30 минутах от предыдущего, мы рассматриваем их, как только один припадок и используем начало начального припадка объединяем их в комбинированный припадок,
используя эту точку в качестве начала комбинированного припадка, фактически учитывая только ведущий.
С этими входными условиями сигнал поступает на вход нескольких нейронных сетей, схожих по конфигурации, которые смогли бы по полученному на вход сигналу электроэнцефалограммы провести бинарную классификацию между двумя классами: нормальным и преиктальным (предсудорожным). Примерная схема работы представлена в рисунке 1.
Ниже мы разберем основные базовые понятия применяемые в нашей работе и дадим их определение.
Определим контрольные данные и примеры ожидаемых результатов. Пусть (Xtrain , Y train) (Xtest,Ytest) — обучающая и тестовая выборка соответственно, первая из которых (обучающая выборка) —
содержит участки сигнала энцефалограммы нормального и преиктального типа, и номер категории (0 — для нормального сигнала и 1 — для преиктального, соответственно), в свою очередь соответствующие парам (
xest >У‘test ) и’ сообразно, вторая, тестовая выборка содержит участки сигнала энцефалограммы нормального и преиктального типа, и номер категории (0 — для нормального сигнала и 1 — для преиктального, соответственно) для соответствующих пар (xest ,у esl ). Иными словами х1 — соответствует единице классифицируемых данных, а у1 — является кодификатором для сигнала, определяющим класс (нормальный или преиктальный) для сигнала.
Определим нашу нейронную сеть некоторой архитектуры, как N, а параметры, используемые в ней и определяющие ее работу, как W .
Далее пусть выход алгоритма нейронной сетиТУ с параметрами W для тестовой выборки Xtest, будет определен, как
0=Nw{Xtest)
для каждого х ltest .
Способ оценки качества работы алгоритма нейронной сети — это обратная связь алгоритма нейронной сети, предназначенная для корректировки его работы представляющая собой меру отклонения результатов, предоставляемых на выходе алгоритма нейронной сети и ожидаемых результатов для этой выборки. Этот процесс оценки и последующей корректировки определяют как обучение алгоритма нейронной сети.
Иными словами, проводится значимое преобразование данных, или обучение представлению данных для решения задачи на паре (данные — лейбл данных) входных данных и ожидаемых результатов по мере того, как оценка качества работы нашего алгоритма нейронной сети станет достаточной.
Эту функцию точности алгоритма нейронной сети можно определить так:
У=ТГ~ 1 1(°i=ylteSt)
r^testl l
где 1(01 = у ltest ) — индикаторная функция представления данных для результата работы алгоритма нейронной сети.
Цель работы можно обозначить как распознавание и анализ паттернов электроэнцефалограмм методами машинного обучения и дать ей такое определение:
Существует необходимость создать систему автоматизированного диагностирования, чтобы выявить правила решения задачи обработки данных для различения разного рода паттернов сигналов энцефалограмм по примерам ожидаемых результатов с использованием методов
машинного обучения. Основная проблема заключается в том, что решить такую задачу сложно.
Чтобы достичь поставленной цели в процессе написания научной работы, обозначим основные задачи:
1) Изучить биологию составляющую задачи анализа сигналов головного мозга.
1.1) Изучить физическое представление сигнала головного мозга.
1.2) Изучить поведение сигнала электроэнцефалограмм в случае патологического состояния.
2) Исследовать существующие решения для обработки медицинских показателей.
2.1) Исследовать наиболее часто применяющиеся в медицине решения на основе глубокого обучения нейронных сетей.
2.2) Просмотреть и проанализировать существующие решения для обработки различных временных сигналов на основе глубокого обучения нейронных сетей.
2.3) Исследовать основные решения при обработке сигналов электроэнцефалограмм на основе глубокого обучения нейронных сетей.
3) Выбрать лучший набор инструментов с точки зрения качества и точности получаемого результата алгоритма нейронной сети.
4) Найти в открытых источниках датасет достаточный для обучения алгоритма и устранить ошибки аннотирования.
5) Реализовать программным образом алгоритм глубокого обучения нейронной сети.
6) Исследовать возможные улучшения выбранного алгоритма и внедрить их в проект.
7) Провести сравнительный анализ решений.
8) Провести анализ результатов работы.
Возможность прогнозирования судорог была изучена и улучшена в течение последних четырех десятилетий. Анализ сигналов определенного класса и/или определенных свойств может также открыть новые возможности для исследования базовой структуры сигналов мозга.
Совершенное предсказание еще не доступно, но с текущими показателями предсказания полезно предоставить пациентам предупреждающее сообщение, чтобы они могли принять некоторые меры предосторожности для их безопасности.
По итогам работы был реализован подход, который показал, что извлечение признаков для прогнозирования судорог может быть выполнено с использованием глубокого обучения и ансамблем CNN и LSTM.
В результате проведенной работы было исследовано несколько алгоритмов в области классификации сигналов ЭЭГ, реализована и обучена представленная модель. Модель полностью автоматическая и требует минимального ручного труда для обучения алгоритму. Общая точность диагностики составляет 95,67%, Fl-score 0.9525.
Таким образом, можно сделать вывод, что ансамбль методов, рассмотренный в данной работе, работает эффективно и поставленная цель работы и основные задачи выполнены в полной мере. В дальнейшем, можно продолжить работу с данной архитектурой с целью ее модификации.
Совершенное предсказание еще не доступно, но с текущими показателями предсказания полезно предоставить пациентам предупреждающее сообщение, чтобы они могли принять некоторые меры предосторожности для их безопасности.
По итогам работы был реализован подход, который показал, что извлечение признаков для прогнозирования судорог может быть выполнено с использованием глубокого обучения и ансамблем CNN и LSTM.
В результате проведенной работы было исследовано несколько алгоритмов в области классификации сигналов ЭЭГ, реализована и обучена представленная модель. Модель полностью автоматическая и требует минимального ручного труда для обучения алгоритму. Общая точность диагностики составляет 95,67%, Fl-score 0.9525.
Таким образом, можно сделать вывод, что ансамбль методов, рассмотренный в данной работе, работает эффективно и поставленная цель работы и основные задачи выполнены в полной мере. В дальнейшем, можно продолжить работу с данной архитектурой с целью ее модификации.