Введение 3
Постановка задачи 5
Обзор литературы 6
Глава 1. Обзор нейронных сетей 7
1.1 Сверточные нейронные сети 7
1.2 Рекуррентные нейронные сети 9
1.3. Долгая краткосрочная память (LSTM) 11
Глава 2. Сеть прогнозирования 13
2.1. Рекуррентная нейронная сеть 13
2.2 Долгая краткосрочная память (LSTM) 15
2.3 Прогнозирование текстовых данных 16
Глава 3. Использование IAM Online Database 18
3.1 Преимущества «online handwriting» баз данных 18
3.2 Цели создания IAM Online Database 18
3.3 Процесс создания IAM Online Database 19
3.4 Применение сети прогнозирования к IAM Online Database 21
Глава 4. Синтез рукописного текста 26
Глава 5. Программная реализация 31
5.1 Основные инструменты 31
5.2 Тренировка сети 31
5.3 Проблемы RNN 32
5.4 Выводы 34
Заключение 35
Приложение 36
Литература 38
В наше время существует достаточно алгоритмов перевода рукописного теста в печатный. Они позволяют производить данную конвертацию с минимальным количеством ошибок. Если поменять местами печатный и рукописный текст, то получится совершенно новая задача, которую здесь и далее будем называть «Автоматизированной генерацией рукописных текстов». Данная задача не так широко распространена, как предыдущая. Однако это не делает ее менее интересной, а тем более полезной.
Актуальность решения задачи заключается в удобстве автоматизации рукописного текста для множества областей человеческой деятельности. Современные компьютерные игры создаются сотнями художников, которые рисуют заметки, дневники и прочие рукописи, принадлежащие героям, вручную. Автоматизация данного процесса поможет сократить временные затраты на создание данных атрибутов. Такое же применение решение задачи автоматизации рукописных текстов найдет в различных дизайнерских работах: оформлении книг, дизайне открыток и т.д.
Для получения печатного текста из изображений рукописного существует огромное множество программных средств: ABBY FineReader, Tesseract, contentCrawler, NAPS2 и т.д. Несмотря на то, что многие являются платными продуктами, их свободно можно найти в интернете. Обратная ситуация складывается с поиском программ генерации рукописного текста из печатного. Среди найденных программных продуктов можно выделить следующие: HandWriter, Писец. Основным минусом данных и прочих существующих программ автоматизации рукописного текста является искажение человеческого почерка. Данные продукты не прорабатывают соединения между буквами, решая данную проблему введением посторонних шумов, что делает исходный результат совершенно непохожим на человеческий почерк.
Таким образом, решения, предлагаемые существующими программными продуктами, далеки от идеального представления, что делает их неподходящими для использования в сферах, где автоматизированная генерация рукописных текстов актуальна.
Несмотря на хорошие результаты реализованного программного продукта и преимущество представление печатного и рукописного текста в виде последовательности, а не в виде картинок, у решения поставленной задачи все же существуют некоторые проблемы.
Существуют различные типы ввода текстовых данных для создания обучающей базы. Сбор различных почерков можно проводить не только на специализированном оборудовании (см. Глава 3, пункт 3.3), но и на умных досках и графических планшетах. Аналогов базы данных IAM Online Database на кириллице найти не удалось, а для создания собственной необходима программа-трекер, отслеживающая положение пера в каждый момент времени, записывающая полученные данные в файл формата XML. Компания «Luidia» для своей продукции «e-Beam» [16] производит программное обеспечение, позволяющее получать данные описанным образом, однако их программы-трекеры не совместимы с планшетами и досками других марок. Поэтому для создания базы данных с образцами собственного почерка или на любом языке мира помимо английского, не имея в своем распоряжении инструментов «e-Beam», нужно писать свое программное обеспечение.
Таким образом, в дальнейшем будет получена база письменных данных на кириллице посредством написания программы-трекера для графического планшета. Уже имеющуюся нейронную сеть можно будет обучить и использовать для генерации рукописных текстов на русском языке.
