Введение 2
Постановка задачи 3
Методы решения задачи 5
Основные определения 5
Линейная регрессия 7
Деревья решений 9
Нейронная сеть прямого распространения 10
Сверточная нейронная сеть 14
Кусочно-линейная интерполяция 16
Интерполяция кубическими сплайнами 17
Ход решения 19
Препроцессинг 19
Различные подходы к решению задачи 21
Подбор параметров для моделей 25
Применение моделей 25
Оценка моделей 26
Результаты 28
Заключение 34
Список литературы 35
Приложение 1
Онлайн подпись имеет более высокую степень распознавание, чем офлайн. Ошибка сравнения двух онлайн подписей на данный момент составляет порядка 2%-5%. Для офлайн подписей этот показатель равен 10%- 30%. Такая большая разница объясняется тем, что задача сравнения изображений гораздо более сложная, чем одномерных последовательностей.
Для нас это означает, что если хранить все подписи в онлайн виде, то процесс аутентификации личности можно до определенной степени автоматизировать и подтверждать свою личность, например, по интернету, при этом с достаточно большой степенью точности.
Проблема заключается в том, что абсолютное большинство подписей во всех заведениях сейчас хранятся только в офлайн виде, поэтому очень актуальной становится задача конвертации офлайн подписи в ее онлайн аналог.
Данная задача нетривиальна из-за целого ряда причин: неопределенности лучшей функции ошибки, произвольности длины последовательности, которую нужно получить и др. (см.[2])
В отличие от задач распознавания онлайн или офлайн текста, которые более или менее решены (напр., см[4]), задаче конвертации ранее было уделено меньшее внимание, хотя работы на эту тему присутствуют
Решение задачи перевода офлайн-подписи в онлайн-аналог сильно ускорило бы процесс перехода на удаленную аутентификацию личности. Предпринятая попытка решения еще раз показала, что задача нетривиальная, требует объемного препроцессинга и сложности используемых алгоритмов.
В работе были разобраны различные подходы в решению данной задачи. Более эффективным оказался подход, при котором предсказание велось в конечном числе моментов времени, а потом по найденным моментам находились искомые времена.
Лучше всего при решении задачи себя показали сверточные нейронные сети, на которых была получена наименьшая ошибка при адекватном времени обучения. Деревья решений также выдали неплохую ошибку, однако они менее подходят для задачи из-за ее большой размерности - обучение продолжалось слишком долго. Нейронные сети повели себя хуже других моделей.
В ходе решения было доказано, что все модели плохо приспосабливаются к особенностям подписей разных стран - ни одна из них не смогла научиться верно отличать, какое направления письма (слева направо или справа налево) было использовано автором, и поэтому часто ошибалась на первых и последних предсказываемых точках.
В целом, все модели показали не слишком хороший результат. Впрочем, лучшее значение ошибки по задаче на kaggle.com(у победителя) равно 0.24 (что также не отлично). По-видимому, оптимальные алгоритмы для решения этой задачи еще только предстоит найти.
[1] ICDAR2013 - Handwriting Stroke Recovery from Offline Data // Kaggle: The Home Of Data Science. [Электронный ресурс]. URL: https://www.kaggle.Com/c/icdar2013-stroke-recovery-from-offline-data
[2] Анисимова Э.С. О проблеме верификации с использованием рукописных подписей // Современная техника и технологии. 2016. № 3 [Электронный ресурс]. URL: http://technology.snauka.ru/2016/03/9715.
[3] Y. Qiao, J. Liu и X. Tang, "Offline Signature Verification Using Online Handwriting Registration,"2007 IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, MN, 2007, стр. 1-8. [Электронный ресурс]. URL:http://ieeexplore.ieee.org/stamp/stamp.] sp?tp=&arnumber=4270288&isnumber=4269956.
[4] Adem Karahoca, Sezer Kanbul, Ali Karouni, Bassam Daya, Samia
Bahlak, World Conference on Information TechnologyOffline signature recognition using neural networks approach, Procedia Computer Science, Volume 3, 2011, стр 155-161, ISSN 1877-0509 [Электронный ресурс]. URL:
http://dx.doi.org/10.1016/j.procs.2010.12.027.(http://www.sciencedirect.com/science/article/pii/S 1877050910004023)
[5] MachineLearning.ru [Электронный ресурс]. URL:
http: //www. machinelearning.ru/wiki/index.php
[6] Breiman, Leo (2001). "Random Forests". // Machine Learning 45 (1),
стр. 5-32 [Электронный ресурс]. URL:
http://dx.doi.org/10.1023/A: 1010933404324
[7] Розенблатт, Ф. Принципы нейродинамики: Перцептроны и теория механизмов мозга = Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms. — М.: Мир, 1965. — 480 с.
[8] Y. LeCun and Y. Bengio: Convolutional Networks for Images, Speech, and Time-Series, in Arbib, M. A. (Eds), The Handbook of Brain Theory and Neural Networks, MIT Press, 1995.
[9] Галушкин А. И. Синтез многослойных систем распознавания образов. — М.: «Энергия», 1974.
[10] Самарский А.А., Гулин А.В. Численные методы. — М.: Наука, 1989
[11] Rifkin, Ryan M.; Lippert, Ross A.: Notes on Regularized Least Squares [Электронный ресурс]. URL: http://hdl.handle.net/172L1/37318
[12] Y. Kato and M. Yasuhara, "Recovery of drawing order from single-stroke handwriting images," in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 22, №. 9, стр. 938-949, Сент 2000. [Электронный ресурс]. URL: http://ieeexplore.ieee.org/ stamp/stamp .j sp?tp=&arnumber=877517&isnumber=19001