Введение 4
1. Постановка задачи 6
2. Обзор 7
2.1. Концепция архетипа и дельт 7
2.2. Проект DocLine и неточные повторы 8
2.3. API-документация 8
2.4. Инструмент Duplicate Finder 9
3. Исследование иерархических связей повторов в документации ПО 11
3.1. Мотивация 11
3.2. Рассмотренные проекты и их документация 12
3.3. Подход к построению иерархических групп 13
3.4. Иерархические группы повторов 16
3.5. Выводы 19
4. Инструмент по визуализации иерархических связей 20
Заключение 23
Список литературы 24
В современном мире во всех сферах жизнедеятельности человеку помогает ПО. Для поддержки и совершенствования ПО необходима качественная документация.
ПО является сложным сплетением составляющих его модулей, и каждому из них соответствует своя часть документации. Модули зависят друг от друга, имеют схожий функционал — всё это находит отражение в документации в виде повторяющих друг друга описаний. Отсутствие контроля за такими повторениями порождает нестыковки, разночтения, опечатки, что ухудшает качество документации и усложняет понимание работы ПО. Исследованию повторов в документации ПО посвящено ряд исследований [2, 7, 11, 21].
При разработке документации её фрагменты могут быть раскопированы и изменены. Таким образом в документации появляются неточные повторы, которые ещё более затрудняют её дальнейшую поддержку. Каждый раз при внесении изменений в раскопированный участок нужно найти и соответственно исправить все его повторы, что непросто для неточных повторов [3]. Поэтому важно автоматически находить и отслеживать неточные повторы в документации.
В рамках проекта DocLine [22] был разработан подход для поиска и анализа повторов в документации ПО. Был реализован алгоритм поиска нечётких повторов на основе поиска клонов в ПО [13]. Был создан прототип алгоритма поиска нечётких повторов на основе N-gram модели [8], а также создан интерактивный подход к анализу нечётких повторов и выделению семантически значимых повторов [3, 17, 20, 21]. Предложенные идеи и алгоритмы были реализованы в программном инструменте Duplicate Finder [18].
Результатом работы инструмента Duplicate Finder является список найденных групп неточных повторов. Каждая группа представляется в «плоском» виде без учёта возможных разветвлённых зависимостей между повторами. Но документация сложно структурирована, и повторы в ней имеют многочисленные зависимости, пересечения, могут образовывать иерархическую структуру. Для эффективной разработки и поддержки документации важно учитывать эту структуру. Однако исследований в области иерархических нечётких повторов не проводилось. Их изучению и посвящена данная работа.
В рамках данной работы были достигнуты следующие результаты.
1. Изучены возможности поиска и представления групп нечётких повторов инструмента Duplicate Finder. В том числе выявлена проблема отображения взаимосвязанных групп.
2. Найдены и проанализированы 9 иерархических групп нечётких повторов в документации проектов Eclipse SWT, Linux Kernel, OpenLDAP. Средняя высота и среднее количество промежуточных узлов построенных деревьев равны 3. Сделан вывод о наличии иерархических групп нечётких повторов в реальной документации. Предложен подход к их построению.
3. Реализован прототипный веб-инструмент, визуализирующий найденные иерархические группы повторов. В него входят построенные деревья, браузер по ним и контекстный модуль.
Инструментарий и разобранные примеры можно найти по ссылке: https://github.com/arthur-akbarov/hierarchical-near-duplicates. git
