Введение 5
Глава 1. Автоматизированная система смысловой обработки текстов 14
1.1. Обзор существующих программных продуктов анализа
текстов 14
1.2. Смысловая обработка текстов в полнотекстовых базах
данных. 21
1.3. Описание работы системы автоматизированного
смыслового анализа текстов 31
Глава 2. Система визуального эвристического кластерного анализа Visual HCA 45
2.1. Экспертные системы и система визуального
эвристического анализа - сходства и отличия 45
2.2. Методы, ориентированные на данные 47
2.3. Возможности системы Visual HCA 50
2.4. Примеры применения 70
Глава 3. Описание работы алгоритмов
классификации текстов 74
3.1. Алгоритм отбора слов в естественно-тематический 74
словарь 
3.2. Алгоритм разбиения основного естественно¬
тематического словаря на ряд предметно-ориентированных словарей 80
3.3. Алгоритм создания естественно-тематического
классификатора 88
3.3. Сравнение текстов в алгоритме смыслового анализа 90
3.5. Алгоритм расчета близости текстов заданному тексту- образцу 96
Глава 4. Система смысловой обработки текстов
в современной библиотеке как перспективное направление развития ИРБИС 102
4.1. Автоматизированная библиотечная система ИРБИС в
ГПНТБ России 102
4.2. Разница между системой смыслового анализа для
ИРБИС32 и ИРБИС64 107
4.3. Методика подготовки специалистов библиотеки для
работы с системой 108
4.4. Последовательность операций при создании и ведении
базы данных ИРБИС при использовании системы смыслового анализа текстов 110
4.5. Система смысловой обработки текстов в Интернете 111
Заключение 115
Список использованной литературы
Купить

Актуальность темы. В последние годы количество текстовой информации в электронном виде возросло настолько, что возникает угроза ее обесценивания в связи с трудностями поиска требуемых сведений среди множества доступных текстов. В настоящее время все большее распространение получают полнотекстовые базы данных. Крупные образовательные центры организуют в Интернете для студентов и сотрудников базы научных статей, авторефератов, многие организации предоставляют доступ к ресурсам электронных библиотек, оргкомитеты конференций публикуют тысячи полных текстов докладов и т.п.
Данная работа исследует проблему и предлагает научно-обоснованную методику создания полнотекстовых баз данных на основе текстовой информации, накопленной в электронном виде. В данной диссертации предполагается рассматривать полнотекстовые базы данных, создаваемые библиотекой, как часть электронного фонда библиотеки, а электронный фонд, по существу, есть часть общего фонда библиотеки со всеми приданными ему характеристиками. В общедоступных библиотеках такой массив текстов документов обычно возникает как результат сканирования текстов по частным заказам пользователей. С возрастанием объемов накопленной информации возникает задача смыслового поиска и экспертного статистического анализа данных с целью предоставить пользователю возможность правильно ориентироваться в среде электронных фондов большого объема, а эксперту - возможность выделять подклассы текстов по заданной тематике (в дальнейшем - естественно-тематические группы текстов).
В настоящее время в мире существуют и активно развиваются системы смыслового поиска в полнотекстовых базах данных, которые поддерживаются ведущими фирмами - производителями серверов баз данных, например, Oracle, Microsoft, IBM и др. Такие системы строятся на основе многомерных хранилищ, из которых данные извлекаются и обрабатываются с помощью алгоритмов для заранее определенных субъект- объектных отношений между ними. Крупные поисковые серверы в Интернете (например, Yahoo, Yandex) поддерживают алгоритмы поиска текстов “схожих” с данным и расчета релевантности найденных документов исходному запросу. Специализированные системы полнотекстового анализа (например, в России это “Следопыт”, ”ТекстАналист”) позволяют проводить автоматическую классификацию и реферирование текстов.
Разработанность проблемы. Исследования в области автоматической обработки текстов в Европе и США привлекают внимание крупнейших частных фирм и государственных организаций самого высокого уровня. Европейский Союз уже несколько лет координирует различные программы в области автоматической обработки текстов (например, проект IST, 1998¬2001 гг.). В США с 1991 по 1998 гг. существовал проект TIPSTER, организованный Департаментом обороны совместно с Национальным институтом стандартов и технологий и Центром военно-воздушных и военно-морских вооружений. В работе консультативного совета этого проекта участвовали также ФБР, Национальный научный фонд и некоторые другие организации. Основной целью проекта было сравнение и оценка результатов работы различных поисковых систем и систем реферирования. По результатам проекта был опубликован подробный обзор и даны рекомендации по использованию этих систем. В США среди систем подобного рода наиболее известной является электронная архивная система “Excalibur RetrievalWare” производства компании Excalibur Technologies. Программные продукты этой компании используются Госдепартаментом, Библиотекой Конгресса, ЦРУ, компаниями Ford Motors, Lockheed, Reynold Electrical & Engineering, Maine Yankee Atomic Power.
Создание систем смыслового анализа текстов до настоящего времени происходит с минимальным участием лингвистов. Это обусловлено использованием для решения этой задачи в основном статистических методов. Области, в которых наиболее сильны позиции профессиональных лингвистов, это в первую очередь лексико-грамматический и синтаксический анализ предложения, нахождение имен собственных в тексте и автоматическое реферирование. Научный и практический опыт лингвистов получил широкое применение в системах автоматического перевода и контекстного анализа, при создании тезаурусов и словарей, и т.д. Наиболее известные лингвистические программные продукты на рынке России:
• “Retrans Vista” - система автоматизированного перевода текстов. Система базируется на технологии фразеологического перевода компании “Виста Текнолоджиз”, образованной специалистами из Всероссийского института научной и технической информации Российской Академии наук (ВИНИТИ РАН), стоящими у истоков создания отечественной компьютерной лингвистики. Группа этих специалистов под руководством профессора Г.Г. Белоногова начала разрабатывать основы технологии машинного перевода более 20 лет назад [11];
• “MediaLingua”, “ABBYY Lingvo” - электронные словари;
• “PROMT” - системы машинного перевода;
• развитые средства контроля орфографии “Microsoft Word”;
• в научно-производственном центре “Интелек Плюс” ведется
разработка информационно-поисковых систем (ИПС),
ориентированных на естественно-языковое общение с
пользователем [92].
Современные системы смыслового анализа текстов, особенностью которых являются: предпочтение скорости обработки текстов точности семантического и морфологического анализа, статистический частотный анализ словоупотреблений, автоматическая классификация текстов, расчет
В России исследования в области информационных систем и информационного поиска были сосредоточены главным образом в сети органов научно-технической информации, которая практически рухнула в результате событий 1990-х гг. [5,6,8] В то же время произошла смена поколений информационных систем: сначала переход с больших ЭВМ на персональные, а затем распространение Интернета. В результате в стране практически исчезли созданные в 1980-х гг. и ранее информационные системы, основанные на известных моделях лингвистического обеспечения. В настоящее время работы по смысловому анализу текстов главным образом ведутся:
• в Институте программных систем РАН. Разработана система “Кластер” для формирования концептуального представления предметной области на основе анализа проблемно-ориентированных естественно-языковых текстов [106];
• в корпорации “Галактика”. Разработана автоматизированная система поиска и аналитической обработки информации “Galaktika-ZOOM”. Это дорогая коммерческая система, имеющая клиентов в рекламном бизнесе, органах управления и средствах массовой информации [74];
• в компании “Гарант-Парк-Интернет”. Разработаны программные продукты для анализа и классификации текстов, автоматического реферирования, морфологического, синтаксического и семантического анализа текста, для навигации по большим массивам текстов [72];
• в Научно-производственном инновационном центре "МикроСистемы".
Разработана система “ТекстАналист”. Система осуществляет построение семантической сети понятий, выделенных в
• в компании “MediaLingua”. Разработана интеллектуальная система “СЛЕДОПЫТ”, служащая для быстрого поиска текстовых фрагментов документов в больших объемах информации. В качестве запроса могут использоваться фразы на естественном языке [166];
• в Московском специализированном Центре новых информационных технологий на базе Московской медицинской академии им. И.М. Сеченова. Разработана система “КЛЮЧИ ОТ ТЕКСТА” - для смыслового поиска и индексирования текстовой информации в электронных библиотеках [78];
• в компании "Yandex". Предлагается набор средств полнотекстовой индексации и поиска в текстовых данных с учетом морфологии русского и английского языков. Средства предназначены для работы с большими объемами русских или английских текстов всех типов в виде файлов различных форматов, полей баз данных и страничек Интернета.
Подробные сведения об этих и других распространяемых программных продуктах содержатся в каталоге, составленном С.В. Логичевым [http://davidsonyuliya.boom.ru/catalog.htm]. Каталог
включает описание программ, связанных с анализом текстов и вычислительной лингвистикой, а также соответствующих ресурсов, доступных в Интернете.
В настоящее время в стране сложилась ситуация, когда системы автоматизации библиотек, как правило, не поддерживают технологии автоматизированного смыслового анализа текстов, а современные системы анализа текстов не адаптированы к работе с системами автоматизации библиотек, при этом стоимости тех и других как коммерческих продуктов
Исходя из этого, в данном диссертационном исследовании была сформулирована цель работы: исследование, разработка и научно-практическое обоснование алгоритмов и методики автоматизированной смысловой обработки текстов и внедрение их в технологию обработки электронных фондов библиотек.
В соответствии с этой целью решались следующие задачи:
• разработка и обоснование методики создания полнотекстовых баз данных;
• разработка и обоснование общей методики смыслового анализа текстов;
• разработка и программная реализация автоматизированной системы эвристического анализа числовых данных;
• разработка и программная реализация алгоритмов классификации текстов;
• адаптация автоматизированной системы смыслового анализа текстов для работы с электронными фондами библиотеки в среде системы автоматизации библиотек ИРБИС.
Данная работа является синтезом нескольких независимых исследований, которые проводились автором. Прежде всего автором, совместно с П.П. Макагоновым, была разработана система визуального эвристического анализа числовых данных, названная Visual HCA [114]. Данная система адресована эксперту, которому необходимо решить слабоформализованную задачу классификации на основе создания и структуризации числовой модели. Автором были исследованы потребности библиотек, и как разработчик систем автоматизации автор поставил цель прикладного применения Visual HCA для создания системы
полнотекстового анализа электронных фондов библиотек. Совместно с П.П. Макагоновым были развиты алгоритмы смыслового анализа текстов на основе идеи естественно-тематической классификации проблемно-ориентированных текстов [115,117,121]. Автор является одним из разработчиков системы автоматизации библиотек ИРБИС, которая создана в ГПНТБ России коллективом специалистов под руководством Я.Л. Шрайберга. В соавторстве с А.И. Бродовским, Н.А. Мазовым и О.Л. Жижимовым были разработаны формат хранения данных и полнофункциональная библиотека доступа к базам данных ИРБИС64, позволяющие создавать базы данных большого объема [125]. Завершающим этапом работы явилось создание системы смыслового анализа текстов и интеграция ее в систему автоматизации библиотек ИРБИС [126].
Научная новизна данной диссертационной работы состоит в том, что исследована проблема и разработан алгоритм классификации текстов и соответствующая методика смыслового анализа текстов. Впервые в качестве метода составления поискового образа текста был определен отбор слов на основе частотного словаря общеупотребительной лексики.
Задача автоматического определения тематической принадлежности текстов решена на основе расчета и эвристического анализа меры близости текстов к словарю предметной области.
Предложена концепция применения ряда независимых эвристических алгоритмов для структуризации числовых данных, что увеличивает достоверность результатов работы системы смыслового анализа.
На защиту выносятся следующие основные положения:
1. Задачи смыслового анализа и тематической классификация текстов относятся к слабоформализованным и должны решаться с помощью эвристических (с участием эксперта) алгоритмов.
2. Смысловой полнотекстовый анализ является необходимой частью современной системы автоматизации библиотек.
3. Разработанные алгоритмы позволяют в условиях библиотеки автоматизировать создание полнотекстовых баз данных (без привлечения сторонних специалистов) и предоставить читателям библиотеки сервис в виде полнотекстового поиска и смыслового поиска текстов, близких к заданному тексту-образцу.
Теоретическая значимость исследования состоит в обобщении имеющегося опыта применения математической статистики для смысловой обработки текстов; в развитии и обогащении научного представления о значимости анализа текстов для информационно-поисковых систем, применяемых в библиотеках.
Практическая значимость состоит в том что, созданы и опубликованы в Интернете на сайте ГПНТБ России полнотекстовые базы данных докладов конференции “Крым 2002-2003” и статей сборника НТБ ГПНТБ России. Общее число текстов в базах 1300. Время, затраченное на создание баз данных и тематическую классификацию текстов по методике, разработанной в диссертационном исследовании, составило один рабочий день, тогда как на создание библиографических описаний этого же объема документов пришлось бы потратить не менее 60 дней.
В результате диссертационного исследования разработана полнофункциональная библиотека доступа к базам данных, которая используется в клиент-серверной версии системы автоматизации библиотек ИРБИС - ИРБИС64.
Разработана система визуального эвристического анализа числовых данных, которая неоднократно применялась на практике при решении экспертных задач в различных областях знаний. При этом на каждую из задач тратилось от 2 часов до 2 дней. Решение тех же задач традиционными методами требовал нескольких месяцев работы и не всегда позволял выявить те же закономерности в предметной области. В рамках расширения возможностей системы визуального эвристического анализа разработана
Апробация результатов исследований состояла в публикации материалов исследований в отечественных и зарубежных периодических изданиях, в выступлениях с докладами на отечественных и зарубежных конференциях и опубликовании текстов этих докладов.
Основные результаты диссертационной работы были представлены на следующих международных конференциях:
• “Крым 2000”, “Крым 2001”, “Крым 20002”, “Крым 2003” “Библиотеки и ассоциации в меняющемся мире: новые технологии и новые формы сотрудничества” (г.Судак, Украина, Автономная республика Крым).
• “ЛИБКОМ 2001”, “ЛИБКОМ 2002”, “ЛИБКОМ 2003”
"Информационные технологии, компьютерные системы и
издательская продукция для библиотек" (Ершово, Московская
область).
• “Иссык-Куль 2003” “Библиотеки и демократизация общества: библиотечно-информационное обслуживание в век информатизации” (г.Чолпан-Ата, Кыргызстан).
Глава 1. Автоматизированная система смысловой обработк

Купить