Введение 4
ГЛАВА 1. АНАЛИЗ ЗАДАЧИ И СУЩЕСТВУЮЩИХ ПУТЕЙ ДЛЯ ЕЕ РЕШЕНИЯ 6
1.1. Технологические разновидности систем eye-tracking’a 8
1.2. Технологии айтрекинга: от видеорегистрации до наложения треков на
изображение 9
1.3. Методика исследования зрительного восприятия младенцев 12
1.4. Определение точки фокуса зрения в экранных координатах 14
1.5. Метода подсказки 15
1.6. Выбор методики 18
ГЛАВА 2. АНАЛИЗ АЛГОРИТМОВ РАСПОЗНАВАНИЯ 19
2.1. Алгоритм Виолы — Джонса 19
2.2. Алгоритм Active Shape Models (ASM) 21
2.3. Алгоритм AdaBoost 23
2.5. Алгоритм SURF 25
2.6. Локальные бинарные шаблоны (LBP) 27
ГЛАВА 3. РЕАЛИЗАЦИЯ ПРОГРАММЫ СИСТЕМЫ СЛЕЖЕНИЯ ЗА ФОКУСОМ ВНИМАНИЯ ДЛЯ ДИАГНОСТИКИ ОТКЛОНЕНИЙ ПСИХОЭМОЦИОНАЛЬНОГО СОСТОЯНИЯ ДЕТЕЙ 32
3.1. Расположение испытуемого 32
3.1. Функционально-модульная структура 33
3.2. Пользовательский интерфейс 35
3.3. Use Case 42
3.4. Отслеживание внимания 43
Заключение 48
Список использованной литературы 49
ПРИЛОЖЕНИЕ 52
IT-технологии входят во все сферы жизни деятельности человека и активно применяются во многих областях. Основываются на новые методики, такие как: машинное обучение, распознавание образов, искусственный интеллект. Одно из применений вышеперечисленных методик является область психологии.
В настоящее время существует проблема автоматизации систем распознавания внимания. Данная проблема встречается во многих сферах, область применения программ для отслеживания фокуса зрения очень широк и встречается как в военной сфере, так и в сфере медицины, игр.
Технологии отслеживания направления взгляда используются в различных системах проектирования компьютерных интерфейсов. Время фиксации глаза и плотность траектории позволяют делать выводы о том, каким элементам изображения уделяется наибольшее внимание. Для упрощенной и ускоренной работы социологов и психологов, требуется современная и доступная программа для диагностики. Появляются много средств для решения данной проблемы, они используются, и реализуются с помощью различных средств, таких как базы данных, информационных систем, аппаратных системы, а также используется такой способ, как опрос. В настоящее время программно-аппаратные средства в доступном использование очень мало и наша задача создать такую программу. Учитывая работу с детьми, такое техническое оборудование как очки и датчики используемое во многих подобных разработках неприемлемо.
Целью является, создание программы, отслеживающей фокус зрения при тестировании детей с помощью контрольных изображений для системы диагностики отклонений психоэмоционального состояния. Для достижения поставленной нами цели необходимо осуществить ряд задач:
• проанализировать современные системы диагностики и способы слежения за фокусом зрения;
• определить набор компонентов системы слежения;
• выбрать методики распознавания фокуса зрения;
• построить алгоритм и выбрать программные и аппаратные средства реализации;
• реализовать программный продукт.
В ходе выполнения выпускной квалификационной работы бакалавра был разработан программный комплекс отслеживания фокус зрения при тестировании детей с помощью контрольных изображений для системы диагностики отклонений психоэмоционального состояния.
Были проанализированы современные системы диагностики и способы слежения за фокусом зрения. Выбран алгоритм и методика. Для определения фокуса зрения был выбран алгоритм разработанный Полом Виолой и Майклом Джонсом, который основан на каскаде Хаара. Методику выбрали определение точки фокуса зрения в экранных координатах, где главной задачей является сопоставление направления зрачка на изображение точками на экране монитора, куда и смотрит пользователь. Также выбраны программные и аппаратные средства.
Создана программа, отслеживающая фокус зрения при тестировании детей с помощью контрольных изображений для системы диагностики отклонений психоэмоционального состояния.
1. Внимание [Электронный ресурс]. - Режим доступа: http://referatwork.ru/lectionbase/psihologiya/view/248235_vnimaniya
2. Уровень и природа аутического интеллекта [Электронный ресурс]. - Режим доступа: https://autism-russian.livejournal.com/21726.html
3. Айтрекинг Tobii Dynavox [Электронный ресурс]. - Режим доступа: https:// www.tobii .ru/informatsiya/
4. Айтрекинг в психологической науке и практике [Электронный ресурс]. -
Режим доступа: https://iknigi.net/avtor-kollektiv-avtorov/140510-aytreking-v-
psihologicheskoy-nauke-i-praktike-kollektiv-avtorov/read/page-1.html
5. Sheela S. V., Vijaya P. A. Mapping Functions in Gaze Tracking // International Journal of Computer Applications. 2011. V. 26. № 3. P. 36-42.
6. Меронова Т. И., Социальная психология реабилитации депривационных ограничений. — 3-е изд., - Кострома, 2012, - 574 с.
7. Грэйс Крайг, Дон Бокум, Психология развития. — 9-е изд., — СПб.: Питер, 2005, - 940 с.
8. Ярбуса А. Л., Роль движений глаз в процессе зрения. - М.: Наука, 1964, - 176с
9. Suzuki S., Abe K. Topological structural analysis of digital binary images by border following. Computer Vision, Graphics and Image Processing 30, 1985, - 707p.
10. Методика подсказки [Электронный ресурс]. - Режим доступа: https://studme.org/47227/psihologiya/ekzogennoe_endogennoe_vnimanie
11. Метод Виолы-Джонса (Viola-Jones) как основа для распознавания лиц [Электронный ресурс]. - Режим доступа: https://habr.com/ru/post/133826/
12. Распознавание лиц с использованием каскадов Хаара [Электронный
ресурс]. - Режим доступа: https://docs.opencv.org/3.4.3/d7/
d8b/tutorial_py_face_detection.html
13. Обучение каскада Хаара. [Электронный ресурс]. - Режим доступа: https://cyberleninka.ru/ article/v/ obuchenie-kaskadov-haara
14. Анализ существующих подходов к распознаванию лиц [Электронный ресурс]. - Режим доступа: https://habr.com/ru/company/synesis/blog/238129/
15. Facial Recognition Using Active Shape Models, Local Patches and Support Vector Machines [Электронный ресурс]. - Режим доступа: https://pdfs.semanticscholar.org/d93c/e7b4ad47f88d3190e38a55fa9528ce7821dc.pdf
16. S Ordas , L Boisrobert , M Huguet , AF Frangi. Active Shape Models with Invariant Optimal Features (IOF-ASM) Application to Cardiac MRI Segmentation, Computers in Cardiology, - 2003, - 636 p.
17. Алгоритм AdaBoost [Электронный ресурс]. - Режим доступа:
http://datascientist.one/adaboost-algorithm/
18. Алгоритм AdaBoost [Электронный ресурс]. - Режим доступа:
http://www.machinelearning.ru/wiki/index.php?title=AdaBoost
19. Dense Point Cloud Extraction From Oblique Imagery [Электронный ресурс].
- Режим доступа: https://www.cis.rit.edu/
~cnspci/references/theses/masters/zhang2013.pdf
20. A new framework for fully affine invariant image comparison [Электронный
ресурс]. - Режим доступа:
http://www.cmap.polytechnique.fr/~yu/publications/ASIFT_SIIMS_final.pdf