Аналитический инструментарий поддержки программного продукта на основе методов полнотекстового поиска
|
ВВЕДЕНИЕ 3
1 Теоретико-методологические основы технической поддержки программного
обеспечения 8
1.1 Проблемы технической поддержки программного обеспечения 8
1.2 Процесс обеспечения гарантии качества программных средств 12
1.3 Процесс решения проблем в программных средствах 16
2 Анализ существующих методов и подходов к решению проблемы
инструментария поддержки программных средств 23
2.1 Сравнение современных продуктов работы с данными 24
2.2 Моделирование тестовой среды 27
3 Представление авторского решения поставленной в исследовании проблемы 34
3.1 Проектирование аналитического инструмента 34
3.2 Реализация аналитического инструмента 40
4 Представление экспериментальных и расчетных результатов апробации 52
4.1 Проверка соответствия решения заданным требованиям 52
4.2 Оценка применимости решения в процессе сопровождения 63
ЗАКЛЮЧЕНИЕ 67
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 70
1 Теоретико-методологические основы технической поддержки программного
обеспечения 8
1.1 Проблемы технической поддержки программного обеспечения 8
1.2 Процесс обеспечения гарантии качества программных средств 12
1.3 Процесс решения проблем в программных средствах 16
2 Анализ существующих методов и подходов к решению проблемы
инструментария поддержки программных средств 23
2.1 Сравнение современных продуктов работы с данными 24
2.2 Моделирование тестовой среды 27
3 Представление авторского решения поставленной в исследовании проблемы 34
3.1 Проектирование аналитического инструмента 34
3.2 Реализация аналитического инструмента 40
4 Представление экспериментальных и расчетных результатов апробации 52
4.1 Проверка соответствия решения заданным требованиям 52
4.2 Оценка применимости решения в процессе сопровождения 63
ЗАКЛЮЧЕНИЕ 67
СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ 70
С каждым годом информационные технологии все обширнее охватывают быт человека, проникая в новые сферы, укрепляясь и совершенствуясь в уже достигнутых вершинах. Там, где технологии ранее не использовались - они активно разрабатываются и внедряются. К ярким примерам таких технологий можно отнести:
• SD-печать на принтерах материалами: пластик, металл;
• «умные» дома, «умные» города, - жилая местность, оснащенная
автоматизированными технологиями для поддержания жизнеобеспечивающей инфраструктуры при отсутствии человеческого контроля и управления;
• технология blockchain - развитие крипто-валюты, которая может заменить традиционные товарно-денежные отношения.
В других областях, где, казалось бы, за последние годы развитие уже перешагнуло через все вообразимые границы, технологии тоже продолжают развиваться и внедряться в человеческий быт:
• 5G - новое поколение сетей передачи данных, превышающее в 10 -15 раз предыдущее поколение 4G;
• централизация государственных социальных услуг населению в России в единую систему «ГосУслуги»;
• «андроидизация» услуг: с учетом массовости и доступности
использования смартфонов и мобильных сетей, быстрыми темпами растет количество компаний, имеющих собственные андроид- приложения для предоставления различного вида услуг .
Каждая технология помимо технической составляющей (оборудование) подразумевает также и программную составляющую, которая имеет непрерывный цикл развития и перерождения в течение всего периода конкурентоспособности продукта. Несмотря на развитие способов и методов ведения разработки, проектирования и реализации, любому продукту необходима поддержка и ресурсы, осуществляющие поддержку, выделяются в каждой компании, занимающейся разработкой программного обеспечения. Длительность поддержки программного продукта напрямую зависит от его востребованности. Но даже на продукты с низким уровнем популярности отсутствие либо низкое качество поддержки может сыграть крайне негативную роль: в случае с заказной разработкой компания может лишиться заказчика и получить негативную огласку, а если приложение создано не на заказ, то на конкурентном рынке аналогичных приложений спрос на него упадет.
Важность процесса поддержки программных средств, коммерческая обоснованность качественного предоставления услуг по сопровождению программных продуктов, необходимость в непрерывном совершенствовании организационных процессов жизненного цикла программного обеспечения обусловили выбор темы исследования, определили цель, объект и предмет исследования.
Актуальность диссертационного исследования определила проблема некачественной поддержки программных средств как в России, так и за рубежом.
Объект исследования - процесс сопровождения программных средств.
Предмет исследования - аналитический инструмент поддержки программного продукта.
Цель исследования - теоретическое обоснование и практическая реализация модели аналитического инструмента поддержки программного продукта на основе системы полнотекстового поиска для улучшения процесса работы с централизацией и анализом данных работы продукта, повышения качества услуг сопровождения.
В процессе исследования автором выдвинута рабочая гипотеза о том, что процесс сопровождения программных средств может быть улучшен, если:
• выявлены и сформулированы проблемы осуществления поддержки;
• определены функциональные нужды процесса поддержки и
разработан аналитический инструмент для покрытия недостающего функционала.
Цель исследования и сформулированная рабочая гипотеза обусловили следующие задачи:
1. Исследовать процесс сопровождения программного обеспечения.
2. Смоделировать имитацию процесса с применением доработанного продукта программного обеспечения с открытым исходным кодом в качестве инструмента поддержки программного обеспечения.
3. Протестировать полученный продукт с использованием сгенерированных тестовых данных.
4. Определить оправданность использования продуктов с открытым исходным кодом в качестве инструмента поддержки программного обеспечения.
Теоретической и методологической основой магистерского исследования являются методологические основы сопровождения программных систем М. Аншиной, К.А. Бутузова, П. Джалота, С. Орлик, В.П. Селезнева, В.Л. Хан, Б. Висванатана, П. Дюваля, П.Д. Виндлея; анализ достоинств применения продуктов с открытым исходным кодом Н. Барановой; подходы к оценке деятельности на основе метрических показателей О. Кулагина, В.В. Липаева, Б. Фрэнкса; статистические исследования затрат рабочего времени сотрудников А. Бочкина, Д. Брауна; методологические основы разработки программных средств А.К. Дадыкина, А.А. Ермолаева, Г. Ефимова, Н.Ю. Иванова, В.Г. Маняхиной, В.В. Липаева, В.П. Селезнева, А.А. Смирнова; подходы к проведению исследовательской работы Ю.В. Казаковой; методы мониторинга информационных систем М.Г. Дубровина, И.Н. Глухих, С.А. Славкова; сравнительный анализ полнотекстовых поисковых систем А. Клименко.
В процессе исследования использованы следующие методы:
- теоретические: анализ научно-технической литературы, нормативной документации;
- эмпирические: наблюдение процессов поддержки на основе опыта работы в аналогичной сфере в компании по разработке программного обеспечения, моделирование процесса поддержки.
Научная новизна. Как результат исследования, разработан аналитический инструмент поддержки на основе системы полнотекстового поиска, позволяющий оптимизировать процессы работы специалистов сопровождения программных средств и повысить качество предоставляемых услуг.
Теоретическая значимость диссертационного исследования состоит в развитии информационных технологий в узкой сфере сопровождения программных средств, анализе процессов поддержки с целью улучшения, рассмотрении качества программного продукта на конечном этапе жизненного цикла на практической основе.
Практическая значимость диссертационного исследования состоит в разработке аналитического инструмента для применения в сфере поддержки программного обеспечения, развитии процессов сопровождения продуктов с использованием специализированных средств, функционально подготовленных для использования.
На защиту выносятся:
1. Модель аналитического инструмента поддержки на основе системы полнотекстового поиска.
2. Имплементация аналитического инструмента поддержки, готового к использованию на практике.
3. Апробация разработанного продукта, анализ применимости данного вида решения для улучшения процессов сопровождения программных средств и повышения качества предоставляемых услуг.
Апробация. Тестирование полученного продукта с использованием критериев оценки следующих групп проверки:
- консистентность данных;
- покрытие функциональных требований.
В результате апробации имплементация аналитического инструмента подтвердила правильность реализации и подтвердила возможность применения полученного продукта в сфере поддержки программных средств.
Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа изложена на 75 страницах, содержит 26 рисунков, 5 таблиц.
В первой главе рассматриваются процессы сопровождения программных средств, анализируются нужды инженеров поддержки, конкретизируются проблемы и определяются функциональные требования к аналитическому инструменту.
Во второй главе сравниваются современные популярные системы полнотекстового поиска, осуществляется выбор системы для реализации аналитического инструмента, разрабатывается тестовая среда, структура тестовых данных и методов их генерации, составляется набор тестов для проверки реализации.
В третьей главе проектируется модель инструмента и его компонентов, алгоритмов их работы, выполняется имплементация аналитического инструмента, включающая настройку и конфигурирование, разработку и отладку компонентов.
В четвертой главе выполняется тестирование аналитического инструмента, полученный продукт проверяется на соответствие обозначенным функциональным требованиям, оценивается его применимость.
В заключении подводятся итоги выполненной работы.
• SD-печать на принтерах материалами: пластик, металл;
• «умные» дома, «умные» города, - жилая местность, оснащенная
автоматизированными технологиями для поддержания жизнеобеспечивающей инфраструктуры при отсутствии человеческого контроля и управления;
• технология blockchain - развитие крипто-валюты, которая может заменить традиционные товарно-денежные отношения.
В других областях, где, казалось бы, за последние годы развитие уже перешагнуло через все вообразимые границы, технологии тоже продолжают развиваться и внедряться в человеческий быт:
• 5G - новое поколение сетей передачи данных, превышающее в 10 -15 раз предыдущее поколение 4G;
• централизация государственных социальных услуг населению в России в единую систему «ГосУслуги»;
• «андроидизация» услуг: с учетом массовости и доступности
использования смартфонов и мобильных сетей, быстрыми темпами растет количество компаний, имеющих собственные андроид- приложения для предоставления различного вида услуг .
Каждая технология помимо технической составляющей (оборудование) подразумевает также и программную составляющую, которая имеет непрерывный цикл развития и перерождения в течение всего периода конкурентоспособности продукта. Несмотря на развитие способов и методов ведения разработки, проектирования и реализации, любому продукту необходима поддержка и ресурсы, осуществляющие поддержку, выделяются в каждой компании, занимающейся разработкой программного обеспечения. Длительность поддержки программного продукта напрямую зависит от его востребованности. Но даже на продукты с низким уровнем популярности отсутствие либо низкое качество поддержки может сыграть крайне негативную роль: в случае с заказной разработкой компания может лишиться заказчика и получить негативную огласку, а если приложение создано не на заказ, то на конкурентном рынке аналогичных приложений спрос на него упадет.
Важность процесса поддержки программных средств, коммерческая обоснованность качественного предоставления услуг по сопровождению программных продуктов, необходимость в непрерывном совершенствовании организационных процессов жизненного цикла программного обеспечения обусловили выбор темы исследования, определили цель, объект и предмет исследования.
Актуальность диссертационного исследования определила проблема некачественной поддержки программных средств как в России, так и за рубежом.
Объект исследования - процесс сопровождения программных средств.
Предмет исследования - аналитический инструмент поддержки программного продукта.
Цель исследования - теоретическое обоснование и практическая реализация модели аналитического инструмента поддержки программного продукта на основе системы полнотекстового поиска для улучшения процесса работы с централизацией и анализом данных работы продукта, повышения качества услуг сопровождения.
В процессе исследования автором выдвинута рабочая гипотеза о том, что процесс сопровождения программных средств может быть улучшен, если:
• выявлены и сформулированы проблемы осуществления поддержки;
• определены функциональные нужды процесса поддержки и
разработан аналитический инструмент для покрытия недостающего функционала.
Цель исследования и сформулированная рабочая гипотеза обусловили следующие задачи:
1. Исследовать процесс сопровождения программного обеспечения.
2. Смоделировать имитацию процесса с применением доработанного продукта программного обеспечения с открытым исходным кодом в качестве инструмента поддержки программного обеспечения.
3. Протестировать полученный продукт с использованием сгенерированных тестовых данных.
4. Определить оправданность использования продуктов с открытым исходным кодом в качестве инструмента поддержки программного обеспечения.
Теоретической и методологической основой магистерского исследования являются методологические основы сопровождения программных систем М. Аншиной, К.А. Бутузова, П. Джалота, С. Орлик, В.П. Селезнева, В.Л. Хан, Б. Висванатана, П. Дюваля, П.Д. Виндлея; анализ достоинств применения продуктов с открытым исходным кодом Н. Барановой; подходы к оценке деятельности на основе метрических показателей О. Кулагина, В.В. Липаева, Б. Фрэнкса; статистические исследования затрат рабочего времени сотрудников А. Бочкина, Д. Брауна; методологические основы разработки программных средств А.К. Дадыкина, А.А. Ермолаева, Г. Ефимова, Н.Ю. Иванова, В.Г. Маняхиной, В.В. Липаева, В.П. Селезнева, А.А. Смирнова; подходы к проведению исследовательской работы Ю.В. Казаковой; методы мониторинга информационных систем М.Г. Дубровина, И.Н. Глухих, С.А. Славкова; сравнительный анализ полнотекстовых поисковых систем А. Клименко.
В процессе исследования использованы следующие методы:
- теоретические: анализ научно-технической литературы, нормативной документации;
- эмпирические: наблюдение процессов поддержки на основе опыта работы в аналогичной сфере в компании по разработке программного обеспечения, моделирование процесса поддержки.
Научная новизна. Как результат исследования, разработан аналитический инструмент поддержки на основе системы полнотекстового поиска, позволяющий оптимизировать процессы работы специалистов сопровождения программных средств и повысить качество предоставляемых услуг.
Теоретическая значимость диссертационного исследования состоит в развитии информационных технологий в узкой сфере сопровождения программных средств, анализе процессов поддержки с целью улучшения, рассмотрении качества программного продукта на конечном этапе жизненного цикла на практической основе.
Практическая значимость диссертационного исследования состоит в разработке аналитического инструмента для применения в сфере поддержки программного обеспечения, развитии процессов сопровождения продуктов с использованием специализированных средств, функционально подготовленных для использования.
На защиту выносятся:
1. Модель аналитического инструмента поддержки на основе системы полнотекстового поиска.
2. Имплементация аналитического инструмента поддержки, готового к использованию на практике.
3. Апробация разработанного продукта, анализ применимости данного вида решения для улучшения процессов сопровождения программных средств и повышения качества предоставляемых услуг.
Апробация. Тестирование полученного продукта с использованием критериев оценки следующих групп проверки:
- консистентность данных;
- покрытие функциональных требований.
В результате апробации имплементация аналитического инструмента подтвердила правильность реализации и подтвердила возможность применения полученного продукта в сфере поддержки программных средств.
Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложений. Работа изложена на 75 страницах, содержит 26 рисунков, 5 таблиц.
В первой главе рассматриваются процессы сопровождения программных средств, анализируются нужды инженеров поддержки, конкретизируются проблемы и определяются функциональные требования к аналитическому инструменту.
Во второй главе сравниваются современные популярные системы полнотекстового поиска, осуществляется выбор системы для реализации аналитического инструмента, разрабатывается тестовая среда, структура тестовых данных и методов их генерации, составляется набор тестов для проверки реализации.
В третьей главе проектируется модель инструмента и его компонентов, алгоритмов их работы, выполняется имплементация аналитического инструмента, включающая настройку и конфигурирование, разработку и отладку компонентов.
В четвертой главе выполняется тестирование аналитического инструмента, полученный продукт проверяется на соответствие обозначенным функциональным требованиям, оценивается его применимость.
В заключении подводятся итоги выполненной работы.
Тенденции современного информационного сообщества ведут к повышению ценности информации, особенно если эта информация максимально структурирована и имеет выжимку статистических данных за период времени. Генерируемые объемы данных уже не позволяют обходиться простыми средствами в виде записей на бумаге, либо ведением таблицы в MS Excel, масштабы проектов все больше приходят к решению эксплуатации собственных систем для ведения своевременной аналитики и решения проблем на основе обдуманных и взвешенных решений, обработанных данных и предсказаниях последствий. Это объясняет популярность разработки сторонних систем, появление NoSQL технологий, распространение продуктов свободной лицензии и открытого кода, который можно изменить.
Анализ процессов поддержки показал, что, несмотря на развитие программных технологий, есть проблемы, с которыми ежедневно сталкивается персонал компаний разработки при сопровождении программного обеспечения. Для повышения эффективности работы команды поддержки использование средств аналитической поддержки существенно облегчит работу по поиску нужной информации и снизит до минимума затраты времени на получение структурированной информации, учитывая что некоторую информацию невозможно получить из консольных приложений. Технологии полнотекстового поиска позволяют быстро получать данные из массива неорганизованных и неструктурированных документов, избегать работ по составлению структур и объявлению полей, которые необходимо добавить в существующую структуру индексов, что упрощает эксплуатацию и повышает практическую значимость инструментов, основанных на этой технологии.
В ходе исследовательской работы удалось получить модель аналитического инструмента. Модель включает в себя основные компоненты для работы с поиском данных, создания отчетов, анализа данных, обслуживания работы аналитического инструмента. Тестирование инструмента показало пригодность использования для аналитики в процессах поддержки программных средств. Разработанные утилиты Report Tool, Indices Join Tool, работающие на основе API хранилища данных, могут быть использованы в промышленной эксплуатации в интеграции с Elasticsearch.
Проверка соответствия функциональным требованиям показала, что полученная модель аналитического инструмента позволяет решить проблемы процессов поддержки программных средств, а именно:
• обеспечить проектную команду инструментом централизованного доступа к информации для анализа проблем;
• снизить нефункциональную нагрузку на базы данных в сборе статистики;
• сократить процент времени, затрачиваемый сотрудниками на ведение отчетности.
На основе полученной модели можно сделать вывод о том, что использование программного обеспечения с открытым исходным кодом целесообразно и имеет смысл для выделения ресурсов, даже с учетом необходимости доработки до проектных нужд. Полнотекстовые системы поиска могут использоваться не только по прямому назначению поиска информации, но и для статистических нужд, построению аналитики, ведения мониторинга работы систем.
Полученный опыт в разработке и тестировании модели показал, что к требованиям аналитических инструментов, ввиду специфики сферы применения, следует также отнести (помимо общих требований хранилищ Big Data):
1. Поддержка различных источников данных для сбора информации (в том числе базы данных, текстовые файлы).
2. Минимизация нагрузки на базу данных при репликации данных.
3. Возможности очистки данных по фильтрам.
4. API для работы с хранилищем данных для использования внешними
системами.
5. Поддержка построения агрегированных отчетов.
6. Визуальное представление данных.
7. Возможность планирования запусков расчета показателей (для системы мониторинга и отчетности) с выходом в виде файлов отчета либо почтового сообщения.
Реализованный аналитический инструмент может быть использован в поддержке программных средств.
Анализ процессов поддержки показал, что, несмотря на развитие программных технологий, есть проблемы, с которыми ежедневно сталкивается персонал компаний разработки при сопровождении программного обеспечения. Для повышения эффективности работы команды поддержки использование средств аналитической поддержки существенно облегчит работу по поиску нужной информации и снизит до минимума затраты времени на получение структурированной информации, учитывая что некоторую информацию невозможно получить из консольных приложений. Технологии полнотекстового поиска позволяют быстро получать данные из массива неорганизованных и неструктурированных документов, избегать работ по составлению структур и объявлению полей, которые необходимо добавить в существующую структуру индексов, что упрощает эксплуатацию и повышает практическую значимость инструментов, основанных на этой технологии.
В ходе исследовательской работы удалось получить модель аналитического инструмента. Модель включает в себя основные компоненты для работы с поиском данных, создания отчетов, анализа данных, обслуживания работы аналитического инструмента. Тестирование инструмента показало пригодность использования для аналитики в процессах поддержки программных средств. Разработанные утилиты Report Tool, Indices Join Tool, работающие на основе API хранилища данных, могут быть использованы в промышленной эксплуатации в интеграции с Elasticsearch.
Проверка соответствия функциональным требованиям показала, что полученная модель аналитического инструмента позволяет решить проблемы процессов поддержки программных средств, а именно:
• обеспечить проектную команду инструментом централизованного доступа к информации для анализа проблем;
• снизить нефункциональную нагрузку на базы данных в сборе статистики;
• сократить процент времени, затрачиваемый сотрудниками на ведение отчетности.
На основе полученной модели можно сделать вывод о том, что использование программного обеспечения с открытым исходным кодом целесообразно и имеет смысл для выделения ресурсов, даже с учетом необходимости доработки до проектных нужд. Полнотекстовые системы поиска могут использоваться не только по прямому назначению поиска информации, но и для статистических нужд, построению аналитики, ведения мониторинга работы систем.
Полученный опыт в разработке и тестировании модели показал, что к требованиям аналитических инструментов, ввиду специфики сферы применения, следует также отнести (помимо общих требований хранилищ Big Data):
1. Поддержка различных источников данных для сбора информации (в том числе базы данных, текстовые файлы).
2. Минимизация нагрузки на базу данных при репликации данных.
3. Возможности очистки данных по фильтрам.
4. API для работы с хранилищем данных для использования внешними
системами.
5. Поддержка построения агрегированных отчетов.
6. Визуальное представление данных.
7. Возможность планирования запусков расчета показателей (для системы мониторинга и отчетности) с выходом в виде файлов отчета либо почтового сообщения.
Реализованный аналитический инструмент может быть использован в поддержке программных средств.