Комплексные динамические фракталы для реализации управления в технологии биологической обратной связи
|
Аннотация 2
ВВЕДЕНИЕ 5
1 Теоретические основы 7
1.1 Теория фракталов 7
1.2 Окулография 11
1.3 Биологическая Обратная Связь 12
2 Методы решения 13
2.1 Программная платформа WinAPI 13
2.2 Разделение программы на потоки, используя библиотеку 14
2.3 Вывод графики посредством Direct2D 15
2.4 Запись и чтение звука с микрофона с помощью библиотеки 15
2.5 Генерация изображения, с использованием OpenCL 15
2.6 Работа с айтрекером, используя систему iViewX и библиотеку iViewXAPI 17
3 Архитектура программы 18
4 Система устройств 19
5 Функционал 21
5.1 Функционал, реализуемый на ядре. Генерация изображения 21
5.2 Сохранение изображения, сгенерированного программой 23
5.3 Выбор цветовой модели 23
5.3 Перетасовка управляющего массива 23
5.5 Файлы ресурсов по умолчанию 24
5.6 Возврат действий 25
5.7 Вывод информации 25
6 Дополнительные модули 26
6.1 Выбор фрактала из таблицы 26
6.2 Ручное управление 26
6.3 Виртуальная реальность 28
ЗАКЛЮЧЕНИЕ 29
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 32
ВВЕДЕНИЕ 5
1 Теоретические основы 7
1.1 Теория фракталов 7
1.2 Окулография 11
1.3 Биологическая Обратная Связь 12
2 Методы решения 13
2.1 Программная платформа WinAPI 13
2.2 Разделение программы на потоки, используя библиотеку
2.3 Вывод графики посредством Direct2D 15
2.4 Запись и чтение звука с микрофона с помощью библиотеки
2.5 Генерация изображения, с использованием OpenCL 15
2.6 Работа с айтрекером, используя систему iViewX и библиотеку iViewXAPI 17
3 Архитектура программы 18
4 Система устройств 19
5 Функционал 21
5.1 Функционал, реализуемый на ядре. Генерация изображения 21
5.2 Сохранение изображения, сгенерированного программой 23
5.3 Выбор цветовой модели 23
5.3 Перетасовка управляющего массива 23
5.5 Файлы ресурсов по умолчанию 24
5.6 Возврат действий 25
5.7 Вывод информации 25
6 Дополнительные модули 26
6.1 Выбор фрактала из таблицы 26
6.2 Ручное управление 26
6.3 Виртуальная реальность 28
ЗАКЛЮЧЕНИЕ 29
СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ 32
В науке существует такое понятие, как форсайт - методика долгосрочного прогнозирования научно-технологического и социального развития, основанная на опросе экспертов. В 2014 году Московская школа управления «Сколково» и Агентство стратегических инициатив провели своё масштабное исследование, результатом которого стал «Атлас новых профессий» - альманах перспективных отраслей и профессий на ближайшие 15-20 лет [1]. Среди новых профессий предполагается появление «Разработчиков инструментов обучения состояниям сознания» и «Тренеров по майнд- фитнесу» - профессии, которые будут востребованы после 2020х годов. Данная курсовая - попытка создать собственную компьютерную психотехнологию уже сейчас. В качестве основы её, было решено выбрать относительно новое и вполне перспективное веяние - Фракталы.
В 2010 году в Вестнике СПбГУ Ткачёвой Л.О. была опубликована статья «Воздействие фрактальных динамических изображений на функциональное состояние человека». В данной статье была выдвинута гипотеза о том, что просмотр фрактальных визуальных динамических изображений влияет на изменение состояния сознания и специфически воздействует на функциональное состояние человека.
В ходе эксперимента, испытуемому демонстрировали заранее записанную фрактальную сессию, во время просмотра которой у него фиксировалась ЭЭГ. Также, испытуемому было необходимо пройти некоторые другие психологические тесты.
Полученные результаты подтвердили гипотезу о специфическом влиянии фрактальных изображений на психофизиологический статус человека и выступили в качестве первичного обоснования для проведения последующих исследований влияния фрактальных изображений на сознание человека.
И теперь, в рамках Томского Государственного Университета была сформирована исследовательская группа, намеренная продолжить эксперимент, усовершенствовав и дополнив его. Было решено, вместо обычной видеозаписи с фрактальной динамикой, показывать синтез фрактальных изображений и звука, который бы управлял динамикой этого генерируемого фрактала. Все процессы должны проходить в реальном времени, чтобы в качестве управляющего сигнала можно было использовать любой звук или сигнал, передаваемый на компьютер с необходимым ПО.
После написания основной части программы и проведения множества
исследований, были обнаружены и проверены факты специфических
психофизиологических эффектов при просмотре комплексных динамических фракталов. В первую очередь было решено доказать эффект релаксации, для чего были проведены дополнительные эксперименты с анкетированием различного рода. По завершению оценки результатов были выявлены значимые изменения в понижении уровня стресса.
Одним из дальнейших направлений была модернизация средств воздействия. Для усиления наблюдаемых психологических эффектов было решено использовать технологию биологической обратной связи. Данная технология позволяет реализовать замкнутый контур мозг -> компьютер -> мозг, что даст возможность создать особенный, бесконтактный интерфейс управления динамикой фрактала. Особенность такого интерфейса заключается в том, что не только пользователь будет управлять динамикой фрактала, но и программа будет влиять на поведение пользователя.
В качестве управления был выбран метод определения координат взора, для чего использовалось устройство захвата движения глаз, которое входит в систему биологической обратной связи.
Цель данной работы - разработать и апробировать психотехнологию для дальнейшего использования в отраслях психологии.
В 2010 году в Вестнике СПбГУ Ткачёвой Л.О. была опубликована статья «Воздействие фрактальных динамических изображений на функциональное состояние человека». В данной статье была выдвинута гипотеза о том, что просмотр фрактальных визуальных динамических изображений влияет на изменение состояния сознания и специфически воздействует на функциональное состояние человека.
В ходе эксперимента, испытуемому демонстрировали заранее записанную фрактальную сессию, во время просмотра которой у него фиксировалась ЭЭГ. Также, испытуемому было необходимо пройти некоторые другие психологические тесты.
Полученные результаты подтвердили гипотезу о специфическом влиянии фрактальных изображений на психофизиологический статус человека и выступили в качестве первичного обоснования для проведения последующих исследований влияния фрактальных изображений на сознание человека.
И теперь, в рамках Томского Государственного Университета была сформирована исследовательская группа, намеренная продолжить эксперимент, усовершенствовав и дополнив его. Было решено, вместо обычной видеозаписи с фрактальной динамикой, показывать синтез фрактальных изображений и звука, который бы управлял динамикой этого генерируемого фрактала. Все процессы должны проходить в реальном времени, чтобы в качестве управляющего сигнала можно было использовать любой звук или сигнал, передаваемый на компьютер с необходимым ПО.
После написания основной части программы и проведения множества
исследований, были обнаружены и проверены факты специфических
психофизиологических эффектов при просмотре комплексных динамических фракталов. В первую очередь было решено доказать эффект релаксации, для чего были проведены дополнительные эксперименты с анкетированием различного рода. По завершению оценки результатов были выявлены значимые изменения в понижении уровня стресса.
Одним из дальнейших направлений была модернизация средств воздействия. Для усиления наблюдаемых психологических эффектов было решено использовать технологию биологической обратной связи. Данная технология позволяет реализовать замкнутый контур мозг -> компьютер -> мозг, что даст возможность создать особенный, бесконтактный интерфейс управления динамикой фрактала. Особенность такого интерфейса заключается в том, что не только пользователь будет управлять динамикой фрактала, но и программа будет влиять на поведение пользователя.
В качестве управления был выбран метод определения координат взора, для чего использовалось устройство захвата движения глаз, которое входит в систему биологической обратной связи.
Цель данной работы - разработать и апробировать психотехнологию для дальнейшего использования в отраслях психологии.
Суть данной компьютерной технологии заключается в быстрой визуализации динамических управляемых внешним сигналом фракталов. Для этой задачи были использованы различные технологии, предоставляющие базовые возможности. Большинство методов было разработано самостоятельно или модифицировались существующие под собственные нужды.
Разработана расширяемая архитектура, позволяющая добавлять новые методы рисования и новые типы сигналов. Архитектура использует многопоточный принцип программирования, что позволяет параллельно выполнять несколько различных задач.
Модифицирован способ записи звука, позволяющий собирать амплитудный спектр сигнала, из которого, используя преобразование Фурье, получается частотно¬мощностной спектр.
Разработан многопоточный алгоритм для генерации изображений с частотой более 20 Гц. Такая высокая скорость (с учётом того, что требуется выполнить множество сотен тысяч повторяющихся инструкций) была достигнута применением параллельных вычислений на видеоадаптере, который обладает подходящей для этих целей архитектурой.
Разработан широкий функционал, позволяющий управлять практически любыми аспектами рисования и генерации фрактала. Возможность случайного выбора фрактала из множества возможных или выбор его из таблицы.
В результате проведённых работ, была получена конкретная психотехнология, которая по мере разработки и модификации, использовалась в целях исследования влияния её работы на мозг и в частности сознание человека.
Далее представлены результаты таких исследований:
• Первый эксперимент был проведён на Международном Фестивале Джаза в октябре 2015го года. Публике была продемонстрирована фрактальная сессия, управляющим сигналом в которой была выбрана музыкальная импровизация коллектива музыкантов, выступающих во время исполнения программы. Участники эксперимента слушали проигрываемую композицию, при этом наблюдая за происходящим на экране. По окончанию, присутствующие высказались о произошедшем, подтвердив гипотезу, данную Ткачёвой.
• Второе мероприятие, в котором был представлен данный проект, была международная конференция HR-тренд 2015, проходимая в ноябре в рамках ТГУ. В данном эксперименте, фрактал генерировался под заранее подобранную композицию. До и после демонстрации, людям было предложено заполнить небольшую анкету, большая часть вопросов в которой была в свободной форме.
• В конце ноября 2015 года была организована поездка в Санкт- Петербургский Государственный Институт Психологии и Социальной Работы на международную научно-практическую конференцию «Арт-терапия в практической деятельности». Наша группа выступила на ней с докладом «Арт-терапия на основе динамических фрактальных сессий». Доклад был принят научным сообществом с одобрением, но предупреждением, что в данный момент никто в мире не занимается подобным, по крайней мере публично.
• В середине декабря 2015 г. в рамках проекта «Трамплин» в последний раз был проведён эксперимент совместно с коллективом музыкальных импровизаторов. Было также проведено анкетирование.
• Помимо официальных выступлений, были также проведены эксперименты с анкетированием. Были заполнены свыше шестидесяти анкет, которые впоследствии были обработаны с помощью контент-анализа.
• 28-29 Апреля 2016г. состоялось представление доклада на XX Всероссийской научно-практической конференции «Научное творчество молодёжи. Математика. Информатика» на тему «Возможности использования динамических фрактальных изображений для вызова изменённых состояний сознания»
• В сентябре 2016г. опубликована статья в Сибирском Психологическом журнале, по теме: «Управляемые звуковым сигналом динамические фракталы как способ актуализации измененных состояний сознания». В этой статье описаны все психологические аспекты данной работы.
• 12-15 Октября 2016 года. Заочное участие в международной научно-практической конференции «Психология развития человека как субъекта труда. Развитие творческого наследия Е.А. Климова», организованной факультетом психологии МГУ имени В.М. Ломоносова, с темой «Синхронизированная со звуком визуальная фрактальная динамика как способ вызова измененных состояний сознания»
• 4 Ноября 2016 года в рамках проекта «Трамплин» проведён эксперимент с записанным видео фрактальной динамики сгенерированной со звуковым сопровождением. До и после просмотра зрители заполнили аналогичные анкеты. Выявлено статистически значимое ухудшение настроения всей аудитории. Дальнейший анализ эксперимента выявил ошибки в выборе музыкальной композиции, а также в общей подаче проекта.
• В феврале 2017 года записаны данные 5 участников ЭЭГ исследования, заключающегося в просмотре фрактальной и не фрактальной композиции с одинаковым звуковым рядом. Данные нуждаются в обработке.
• Проведённые в марте 2017 года исследования над выборкой из 40 человек показали статистически значимое повышение уровня релаксации по сравнению с контрольным видео, использующим ту же музыкальную композицию, но с видео, не коррелирующим со звуком.
• 28-30 Апреля 2017 года. Участие в федеральном хакатоне по HoloLens и VR Кибер Россия, на котором был разработан и протестирован модуль виртуальной реальности для созданного приложения. Презентация проекта перед публикой.
Таким образом, было выявлено, что данная технология действительно является психотехнологией, так как с её помощью возможен вызов изменённых состояний сознания. Такая фрактальная динамика влияет не только на кору головного мозга, но и задействует глубинные, стволовые, структуры мозга, что скрывает ещё неизведанные возможности.
Также, основываясь на данной технологии, было защищено три магистерских работы на факультете психологии, выполняются исследования для защиты двух диссертаций.
Получив положительные результаты, решено не останавливаться на них. В дальнейшем планируется совершенствование технологии:
- В качестве управляющего сигнала планируется использовать сигналы коры головного мозга, считываемые посредством ЭЭГ, этим обеспечится биологически обратная связь, что ещё больше усилит эффекты, вызываемые фракталами.
- Углубиться в теорию фракталов, улучшить их, а также разработать алгоритм автоматического подбора фрактала.
- Планируется продолжения исследований по поиску корреляций между фракталами и реакциями организма на него, выявление ещё неизученных эффектов.
Разработана расширяемая архитектура, позволяющая добавлять новые методы рисования и новые типы сигналов. Архитектура использует многопоточный принцип программирования, что позволяет параллельно выполнять несколько различных задач.
Модифицирован способ записи звука, позволяющий собирать амплитудный спектр сигнала, из которого, используя преобразование Фурье, получается частотно¬мощностной спектр.
Разработан многопоточный алгоритм для генерации изображений с частотой более 20 Гц. Такая высокая скорость (с учётом того, что требуется выполнить множество сотен тысяч повторяющихся инструкций) была достигнута применением параллельных вычислений на видеоадаптере, который обладает подходящей для этих целей архитектурой.
Разработан широкий функционал, позволяющий управлять практически любыми аспектами рисования и генерации фрактала. Возможность случайного выбора фрактала из множества возможных или выбор его из таблицы.
В результате проведённых работ, была получена конкретная психотехнология, которая по мере разработки и модификации, использовалась в целях исследования влияния её работы на мозг и в частности сознание человека.
Далее представлены результаты таких исследований:
• Первый эксперимент был проведён на Международном Фестивале Джаза в октябре 2015го года. Публике была продемонстрирована фрактальная сессия, управляющим сигналом в которой была выбрана музыкальная импровизация коллектива музыкантов, выступающих во время исполнения программы. Участники эксперимента слушали проигрываемую композицию, при этом наблюдая за происходящим на экране. По окончанию, присутствующие высказались о произошедшем, подтвердив гипотезу, данную Ткачёвой.
• Второе мероприятие, в котором был представлен данный проект, была международная конференция HR-тренд 2015, проходимая в ноябре в рамках ТГУ. В данном эксперименте, фрактал генерировался под заранее подобранную композицию. До и после демонстрации, людям было предложено заполнить небольшую анкету, большая часть вопросов в которой была в свободной форме.
• В конце ноября 2015 года была организована поездка в Санкт- Петербургский Государственный Институт Психологии и Социальной Работы на международную научно-практическую конференцию «Арт-терапия в практической деятельности». Наша группа выступила на ней с докладом «Арт-терапия на основе динамических фрактальных сессий». Доклад был принят научным сообществом с одобрением, но предупреждением, что в данный момент никто в мире не занимается подобным, по крайней мере публично.
• В середине декабря 2015 г. в рамках проекта «Трамплин» в последний раз был проведён эксперимент совместно с коллективом музыкальных импровизаторов. Было также проведено анкетирование.
• Помимо официальных выступлений, были также проведены эксперименты с анкетированием. Были заполнены свыше шестидесяти анкет, которые впоследствии были обработаны с помощью контент-анализа.
• 28-29 Апреля 2016г. состоялось представление доклада на XX Всероссийской научно-практической конференции «Научное творчество молодёжи. Математика. Информатика» на тему «Возможности использования динамических фрактальных изображений для вызова изменённых состояний сознания»
• В сентябре 2016г. опубликована статья в Сибирском Психологическом журнале, по теме: «Управляемые звуковым сигналом динамические фракталы как способ актуализации измененных состояний сознания». В этой статье описаны все психологические аспекты данной работы.
• 12-15 Октября 2016 года. Заочное участие в международной научно-практической конференции «Психология развития человека как субъекта труда. Развитие творческого наследия Е.А. Климова», организованной факультетом психологии МГУ имени В.М. Ломоносова, с темой «Синхронизированная со звуком визуальная фрактальная динамика как способ вызова измененных состояний сознания»
• 4 Ноября 2016 года в рамках проекта «Трамплин» проведён эксперимент с записанным видео фрактальной динамики сгенерированной со звуковым сопровождением. До и после просмотра зрители заполнили аналогичные анкеты. Выявлено статистически значимое ухудшение настроения всей аудитории. Дальнейший анализ эксперимента выявил ошибки в выборе музыкальной композиции, а также в общей подаче проекта.
• В феврале 2017 года записаны данные 5 участников ЭЭГ исследования, заключающегося в просмотре фрактальной и не фрактальной композиции с одинаковым звуковым рядом. Данные нуждаются в обработке.
• Проведённые в марте 2017 года исследования над выборкой из 40 человек показали статистически значимое повышение уровня релаксации по сравнению с контрольным видео, использующим ту же музыкальную композицию, но с видео, не коррелирующим со звуком.
• 28-30 Апреля 2017 года. Участие в федеральном хакатоне по HoloLens и VR Кибер Россия, на котором был разработан и протестирован модуль виртуальной реальности для созданного приложения. Презентация проекта перед публикой.
Таким образом, было выявлено, что данная технология действительно является психотехнологией, так как с её помощью возможен вызов изменённых состояний сознания. Такая фрактальная динамика влияет не только на кору головного мозга, но и задействует глубинные, стволовые, структуры мозга, что скрывает ещё неизведанные возможности.
Также, основываясь на данной технологии, было защищено три магистерских работы на факультете психологии, выполняются исследования для защиты двух диссертаций.
Получив положительные результаты, решено не останавливаться на них. В дальнейшем планируется совершенствование технологии:
- В качестве управляющего сигнала планируется использовать сигналы коры головного мозга, считываемые посредством ЭЭГ, этим обеспечится биологически обратная связь, что ещё больше усилит эффекты, вызываемые фракталами.
- Углубиться в теорию фракталов, улучшить их, а также разработать алгоритм автоматического подбора фрактала.
- Планируется продолжения исследований по поиску корреляций между фракталами и реакциями организма на него, выявление ещё неизученных эффектов.
