На сегодняшний день создано огромное количество программных продуктов, и их количество продолжает расти. На создание, тестирование, сопровождение требуются значительные ресурсы; если проект содержит миллионы строк программного кода, то ресурсов может потребоваться немыслимо много, и даже в таком случае выпустить продукт без дефектов и поддерживать его на должном уровне качества — задача трудновыполнимая [23]. При этом цена на обнаружение и исправление ошибки с течением времени значительно растёт [20], и не обнаруженный вовремя дефект может приводить к миллионным убыткам. Например, ошибка в программном обеспечении Маринера-1 стоила NASA сотни миллионов долларов.
Программисты, даже самые высококвалифицированные, совершают ошибки. Поэтому для повышения качества кода и минимизации количества дефектов конечного продукта необходимо проводить тестирование, начиная с самых ранних этапов разработки. Модульное тестирование — вид тестирования, ориентированный на обнаружение дефектов и программных регрессий в отдельных модулях системы [4]. Однако создание модульных тестов и поддержание их в актуальном состоянии — трудоёмкая деятельность, к тому же часто требующая написания большого количества шаблонного кода. Поэтому актуальна задача по автоматизации этого процесса.
Имеется множество инструментов, решающих данную задачу [9,17, 21], но покрытие кода при их использовании не максимально и может быть улучшено [15]. В текущей работе для повышения покрытия рассматривается идея комбинирования уже существующих инструментов генерации модульных тестов с фаззингом — исполнением программы с передачей на вход неправильных, неожиданных или случайных данных. Также представляет интерес то, каким образом различные виды фаззеров работают с различными алгоритмами генерации тестов, что в дальнейшем может быть использовано для создания собственного инструмента для генерации тестов.
В рамках данной работы будут рассмотрены основные инструменты для генерации модульных тестов и фаззинга, а также создана система, совмещающая эти инструменты, которая должна повысить покрытие тестируемого кода и позволить исследовать совместную работу инструментов.
В рамках данной работы были получены следующие результаты:
• создана система , совмещающая инструменты генерации тестов и фаззинга
— добавлены генераторы Randoop, EvoSuite;
— добавлен фаззер JQF+Zest;
• созданная система интегрирована в плагин к IntelliJ IDEA UTBot и также может быть запущена в инфраструктуре Java Unit Testing Tool Competition;
