ВВЕДЕНИЕ............................................................................................................. 5
Глава I. АНАЛИТИЧЕСКИЙ ОБЗОР ТЕХНОЛОГИЙ ВИЗУАЛИЗАЦИИ .... 7
1.1 Компьютерная лингвистика как наука и этапы ее развития .................... 7
1.2 Аппаратное и программное обеспечение информационных технологий
в лингвистике .................................................................................................... 12
1.3 Лингвистические компоненты автоматического анализа текста .......... 14
1.4 Автоматическое распознавание текста..................................................... 17
1.5 Задачи извлечения информации из текста, извлечение знаний............. 19
1.6 Системы, моделирующие языковое взаимодействие ............................. 21
1.7 Метод визуализации в процессе компьютерного моделирования ........ 23
1.8 Примеры методов визуализации ............................................................... 27
1.10 Проект Диалинг......................................................................................... 38
Глава II.РЕЗУЛЬТАТЫ СОБСТВЕННЫХ ИССЛЕДОВАНИЙ...................... 40
2.1 Описание и цель иследования. .................................................................. 40
2.2. Руководство использования...................................................................... 42
2.3 Пример работы............................................................................................ 43
2.4 Визуализация ассоциаций термина........................................................... 48
2.5 Визуализация общих категорий тега опросчика и категорий документа
............................................................................................................................. 51
2.6 Понимание масштабированного F-Score.................................................. 553
2.7 Анализ Emoji. .............................................................................................. 67
ЗАКЛЮЧЕНИЕ .................................................................................................... 72
Используемые модели и технологии ................................................................. 73
ЛИТЕРАТУРА...................................................................................................... 76
Приложение
Роль процессов, связанных с содержательной обработкой информации,
несомненно, является в нынешнюю эпоху тотальной информатизации наиболее
определяющим звеном научно-технического прогресса.
Основная часть ранних работ в области представления знаний, то есть науки
о том, как преобразовать знания в такую форму, с которой может легко оперировать
компьютер, была привязана к языку и подпитывалась исследованиями в области
лингвистики, которые, в свою очередь, основывались на результатах философского
анализа языка, проводившегося в течение многих десятилетий. Таким образом,
современная лингвистика и бурно развивающаяся наука по созданию
искусственного интеллекта, зародившиеся в середине ХХ века, продолжают расти
вместе, пересекаясь в гибридной области, которая и называется обработкой
естественного языка или компьютерной лингвистикой. Любые значимые успехи,
получаемые ныне исследователями в этой области, являются основой успешного
научно-технического и экономического развития как частных фирм, так и на уровне
государств. Поэтому исследования и разработки в области автоматической
обработки текста в Европе и США привлекают внимание крупнейших частных
фирм и государственных организаций самого высокого уровня. Европейский союз
уже несколько лет координирует различные программы в области автоматической
обработки текста. Например, Human Language Technology Sector of the Information
Society Technologies (IST) Programme 1998 - 2000. Один из наиболее интересных
проектов в рамках данной программы - SPARKLE (Shallow PARsing and Knowledge
Extraction for Language Engineering), в число участников которого входят такие
всемирно известные концерны, фирмы и организации, как Daimler-Benz, Xerox
Research Centre in Europe и Cambridge University Computer Laboratory. Цель проекта6
- создание частичных синтаксических анализаторов для основных языков
Европейского союза.
В США с 1991 до осени 1998 года существовал проект TIPSTER,
организованный Департаментом Обороны и ЦРУ совместно с Национальным
Институтом Стандартов и Технологий и Центром военно-воздушных и военноморских вооружений (SPAWAR). В работе консультативного совета программы
участвовали также ФБР, Национальный Научный Фонд и некоторые другие
организации. Основной целью программы было сравнение и оценка результатов
работы различных поисковых систем и систем реферирования [22].
Целью работы является разработка системы визуализации результатов
лингвистического анализа.
Для достижения указанной цели в работе решаются следующие задачи:
1. Классификация результатов лингвистического анализа
2. Классификация типов визуализации лингвистической информации
3. Анализ систем визуализации результатов лингвистического анализа
4. Анализ технологий, позволяющих производить визуализацию
5. Реализация системы визуализации результатов лингвистического анализа
Методами исследования являются:
1. Анализ;
2. Синтез;
3. Классификация;
4. Моделирование;
5. Структурно-функциональный
В настоящей выпускной квалификационной работе был проведен анализ
работы систем визуализации результатов лингвистического анализа и уровень
развития современных технологий, в ходе которого выяснилась необходимость
оптимизации системы визуализации. Для оптимизации была разработана
программа «scattertext». Далее она был реализована с помощью такого языка
программирования, как Python. С помощью CSS и HTML был создан и реализован
способ визуализации полученного результата программой «scattertext». В ходе
выполнения работы проведён поиск достаточно эффективных авторских подходов
к реализации задачи визуализации результатов анализа текстов на естественном
языке. Эти подходы могут быть применены разработчиками компьютернолингвистических систем автоматизированного анализа текстов. Таким образом, все
поставленные цели были достигнуты, задачи – выполнены, необходимые функции
– реализованы.
Помощь студентам и аспирантам в выполнении работ от наших партнеров
