Автоматизация тестирования личного кабинета смс-центра
|
Введение 4
1 Анализ задания 7
1.1 Сравнение ручного тестирования и автоматизированного 7
1.2 Проблемы, возникающие при автоматизации тестирования современных
веб приложений 9
1.4 Требования к автоматизированным тестам 10
1.5 Выводы по главе 28
2 Проектирование 29
2.1 Выбор уровня функционального тестирования 29
2.1.1 Модульные тесты 30
2.1.2 Интеграционные тесты 31
2.1.3 Сквозные тесты 32
2.1.4 Конечный выбор 33
2.2 Выбор фреймворка автоматизации 33
2.2.1 Selenium-webdriver 34
2.2.2 Puppeteer 35
2.2.3 Cypress 36
2.2.4 Playwright 40
2.2.5 Конечный выбор 41
2.3 Выбор фреймворка для сервера заглушки 41
2.4 Выбор сервиса для сбора отчетов 42
2.5 Проектирование Gitlab CI конвейера 43
2.6 Выводы по главе 45
3 Программная реализация 46
3.1 Gitlab CI конвейер 46
3.2 Доска отчетов Sorry-cypress 48
3.3 Описание файловой структуры 51
3.3.1 Cypress 51
3.3.2 mocks-server 52
3.4 Тестовые сценарии 52
3.5 Настройка дополнительных плагинов 54
3.5.1 Плагин для сбора лога исполняемых тестовых команд 54
3.5.2 Плагин для сбора лога сетевых запросов 55
3.5.3 Покрытие кода тестами 55
3.6 Документация 57
3.7 Выводы по главе 57
4 Результаты внедрения автоматизации 59
4.1 Время до обнаружения дефекта с момента внесения изменений в код .... 59
4.2 Время выполнения тестов 60
4.3 Сложность тестирования 61
4.4 Вывод по главе 61
Заключение 63
Список использованных источников 65
ПРИЛОЖЕНИЕ А 69
ПРИЛОЖЕНИЕ Б 70
ПРИЛОЖЕНИЕ В 74
1 Анализ задания 7
1.1 Сравнение ручного тестирования и автоматизированного 7
1.2 Проблемы, возникающие при автоматизации тестирования современных
веб приложений 9
1.4 Требования к автоматизированным тестам 10
1.5 Выводы по главе 28
2 Проектирование 29
2.1 Выбор уровня функционального тестирования 29
2.1.1 Модульные тесты 30
2.1.2 Интеграционные тесты 31
2.1.3 Сквозные тесты 32
2.1.4 Конечный выбор 33
2.2 Выбор фреймворка автоматизации 33
2.2.1 Selenium-webdriver 34
2.2.2 Puppeteer 35
2.2.3 Cypress 36
2.2.4 Playwright 40
2.2.5 Конечный выбор 41
2.3 Выбор фреймворка для сервера заглушки 41
2.4 Выбор сервиса для сбора отчетов 42
2.5 Проектирование Gitlab CI конвейера 43
2.6 Выводы по главе 45
3 Программная реализация 46
3.1 Gitlab CI конвейер 46
3.2 Доска отчетов Sorry-cypress 48
3.3 Описание файловой структуры 51
3.3.1 Cypress 51
3.3.2 mocks-server 52
3.4 Тестовые сценарии 52
3.5 Настройка дополнительных плагинов 54
3.5.1 Плагин для сбора лога исполняемых тестовых команд 54
3.5.2 Плагин для сбора лога сетевых запросов 55
3.5.3 Покрытие кода тестами 55
3.6 Документация 57
3.7 Выводы по главе 57
4 Результаты внедрения автоматизации 59
4.1 Время до обнаружения дефекта с момента внесения изменений в код .... 59
4.2 Время выполнения тестов 60
4.3 Сложность тестирования 61
4.4 Вывод по главе 61
Заключение 63
Список использованных источников 65
ПРИЛОЖЕНИЕ А 69
ПРИЛОЖЕНИЕ Б 70
ПРИЛОЖЕНИЕ В 74
Актуальность выбранной темы дипломной работы состоит в том, что тестирование веб приложений является неотъемлемой частью современной веб работки. Несмотря на то, что ручное тестирование является популярным и доступным решением, оно имеет ряд недостатков, когда применяется к крупным и часто изменяющимся проектам. Тестирование веб приложений зачастую состоит из повторяющихся сценариев, исполняемых ручным тестировщиком при добавлении нового функционала или изменении старого.
В целях оптимизации расходов и ускорения разработки компании часто прибегают к попыткам автоматизировать тестирование веб приложений. Однако это не всегда удавалось из-за слишком больших издержек, обусловленных сложностью современных веб приложений и отсутствием проверенных инструментов, прямо специализированных на автоматизации тестирования современных веб приложений с учетом их специфики.
За последние 6 лет данная ситуация значительно улучшилось с выходом таких популярных фреймворков автоматизации тестирования веб приложений как cypress и playwright, пришедшим на замену инструментам автоматизации общего назначения вроде selenium и puppeteer.
Целью исследования является ускорение процесса тестирования и повышение качества разработки личного кабинета смс-центра за счет автоматизации процесса тестирования.
Для достижения цели требуется решить следующие задачи:
• сравнить преимущества и недостатки ручного и автоматизированного тестирования;
• описать проблемы автоматизации тестирования современных веб приложений;
• обозначить требования к реализации автоматизации тестирования;
• проанализировать структуру клиентской части тестируемого веб приложения и обозначить тестовые ситуации подлежащие автоматизации ;
• выбрать подходящие инструменты для автоматизации тестирования веб приложений;
• написать автоматические тестовые сценарии;
• настроить непрерывную интеграцию в Gitlab CI ;
• проанализировать получившийся результат.
Объектом исследования данной работы является автоматизация тестирования веб приложений.
Предметом исследования является автоматизация тестирования личного кабинета смс-центра - продукта компании ООО «Связьком». Личный кабинет смс-центра — это большое современное приложение, состоящее из более чем 40 веб страниц. Полное ручное тестирование данного приложения занимает более недели. Тестовые сценарии состоят преимущественно из базовых действий над данными вроде создания, чтения, изменения и удаления данных посредством пользовательского интерфейса веб приложения.
Теоретическая значимость работы состоит в возможности использования результатов выполнения первой, второй и четвертой глав для выполнения исследований, связанных с автоматизацией тестирования веб приложений.
Практическая значимость дипломной работы заключается в том, что разработанный подход к автоматизации тестирования веб приложения успешно внедрен в компании ООО «Связьком». Внедрение разработанного подхода позволило уменьшить нагрузку на отдел тестирования, уменьшить время обратной связи после внесения правок в существующий код и количество дефектов в приложении. Это позволило уменьшить расходы на разработку и тестирование, а также улучшить качество разрабатываемого приложения.
Структура работы включает в себя следующие основные элементы: введение, основную часть из 4-х глав, заключение, список использованных источников, приложения.
В первой главе производится анализ задания. Сравниваются достоинства и недостатки ручного тестирования против автоматизированного, производится анализ тестируемого веб приложения и определяются требования к автоматизированным тестам.
Во второй главе производится проектирование архитектуры для внедрения автоматизации тестирования веб приложения. Сравниваются различные уровни функционального тестирования и фреймворки для автоматизации тестирования веб приложений. Проектируется интеграция автоматических тестов с системой контроля версий.
В третьей главе описываются примененные в ходе реализации проекта инструменты автоматизации тестирования.
В четвертой главе производится анализ результатов внедрения автоматизации тестирования в личном кабинете смс-центра.
В целях оптимизации расходов и ускорения разработки компании часто прибегают к попыткам автоматизировать тестирование веб приложений. Однако это не всегда удавалось из-за слишком больших издержек, обусловленных сложностью современных веб приложений и отсутствием проверенных инструментов, прямо специализированных на автоматизации тестирования современных веб приложений с учетом их специфики.
За последние 6 лет данная ситуация значительно улучшилось с выходом таких популярных фреймворков автоматизации тестирования веб приложений как cypress и playwright, пришедшим на замену инструментам автоматизации общего назначения вроде selenium и puppeteer.
Целью исследования является ускорение процесса тестирования и повышение качества разработки личного кабинета смс-центра за счет автоматизации процесса тестирования.
Для достижения цели требуется решить следующие задачи:
• сравнить преимущества и недостатки ручного и автоматизированного тестирования;
• описать проблемы автоматизации тестирования современных веб приложений;
• обозначить требования к реализации автоматизации тестирования;
• проанализировать структуру клиентской части тестируемого веб приложения и обозначить тестовые ситуации подлежащие автоматизации ;
• выбрать подходящие инструменты для автоматизации тестирования веб приложений;
• написать автоматические тестовые сценарии;
• настроить непрерывную интеграцию в Gitlab CI ;
• проанализировать получившийся результат.
Объектом исследования данной работы является автоматизация тестирования веб приложений.
Предметом исследования является автоматизация тестирования личного кабинета смс-центра - продукта компании ООО «Связьком». Личный кабинет смс-центра — это большое современное приложение, состоящее из более чем 40 веб страниц. Полное ручное тестирование данного приложения занимает более недели. Тестовые сценарии состоят преимущественно из базовых действий над данными вроде создания, чтения, изменения и удаления данных посредством пользовательского интерфейса веб приложения.
Теоретическая значимость работы состоит в возможности использования результатов выполнения первой, второй и четвертой глав для выполнения исследований, связанных с автоматизацией тестирования веб приложений.
Практическая значимость дипломной работы заключается в том, что разработанный подход к автоматизации тестирования веб приложения успешно внедрен в компании ООО «Связьком». Внедрение разработанного подхода позволило уменьшить нагрузку на отдел тестирования, уменьшить время обратной связи после внесения правок в существующий код и количество дефектов в приложении. Это позволило уменьшить расходы на разработку и тестирование, а также улучшить качество разрабатываемого приложения.
Структура работы включает в себя следующие основные элементы: введение, основную часть из 4-х глав, заключение, список использованных источников, приложения.
В первой главе производится анализ задания. Сравниваются достоинства и недостатки ручного тестирования против автоматизированного, производится анализ тестируемого веб приложения и определяются требования к автоматизированным тестам.
Во второй главе производится проектирование архитектуры для внедрения автоматизации тестирования веб приложения. Сравниваются различные уровни функционального тестирования и фреймворки для автоматизации тестирования веб приложений. Проектируется интеграция автоматических тестов с системой контроля версий.
В третьей главе описываются примененные в ходе реализации проекта инструменты автоматизации тестирования.
В четвертой главе производится анализ результатов внедрения автоматизации тестирования в личном кабинете смс-центра.
Рассмотрим результаты исследования, целью которого являлось ускорение процесса тестирования и повышение качества разработки личного кабинета смс- центра за счет автоматизации процесса тестирования.
Были раскрыты достоинства и недостатки ручного и автоматизированного тестирования, а также проблемы автоматизированного тестирования современных веб приложений. Было установлено, что в современном мире разработки автоматизация тестирования является не заменой ручному тестированию, а необходимым дополнением.
Был произведен анализ тестируемого приложения и установлены требования к автоматизации тестирования.
Был произведен подробный сравнительный анализ различных уровней функционального тестирования. Было установлено, что для автоматизации тестирования личного кабинета смс-центра на текущем этапе больше всего подходят сквозные (end-to-end) тесты т.к. они позволят достичь наиболее надежного и эффективного способа тестирования приложения с наименьшими затратами на разработку и последующее поддержание.
Был произведен подробный сравнительный анализ различных инструментов для автоматизации сквозного тестирования. В процессе анализа было установлено, что при использовании некоторых современных инструментов, специализированных на автоматизации тестирования современных веб приложений, многие ранее известные проблемы стали более не релевантными.
Был спроектирован и реализован оптимальный, масштабируемый Gitlab CI конвейер для автоматического запуска тестов при изменениях в удалённом репозитории с кодом. Подобная архитектура позволит в будущем запускать тысячи тестов и получать отчет в течение часа.
Получившаяся программная реализация отвечает всем установленным требованиям, а также обеспечивает простоту в написании и отладке автоматизированных тестовых сценариев.
В конце были проанализированы результаты внедрения автоматизации тестирования. Было установлено, что автоматизация тестирования личного кабинета смс-центра действительно позволила ускорить процесс тестирования и качество разработки программного продукта за счет многократного сокращения времени от внесения правок до обнаружения дефекта с нескольких дней до 1 часа а, также сократить время необходимое на выполнение тестов на 98%. Однако было установлено, что автоматизация тестирования имеет смысл только для сценариев, которые подразумевается запускать более чем 6 раз для опытного автоматизатора и более чем 10 раз для неопытного.
Результат внедрения оценивается как положительный и принято решение продолжать развивать данный проект. В качестве развития проекта можно привлечь больше людей к написанию автоматических тестов, увеличить количество тестов в личном кабинете смс-центра или внедрить данный подход в других проектах.
Были раскрыты достоинства и недостатки ручного и автоматизированного тестирования, а также проблемы автоматизированного тестирования современных веб приложений. Было установлено, что в современном мире разработки автоматизация тестирования является не заменой ручному тестированию, а необходимым дополнением.
Был произведен анализ тестируемого приложения и установлены требования к автоматизации тестирования.
Был произведен подробный сравнительный анализ различных уровней функционального тестирования. Было установлено, что для автоматизации тестирования личного кабинета смс-центра на текущем этапе больше всего подходят сквозные (end-to-end) тесты т.к. они позволят достичь наиболее надежного и эффективного способа тестирования приложения с наименьшими затратами на разработку и последующее поддержание.
Был произведен подробный сравнительный анализ различных инструментов для автоматизации сквозного тестирования. В процессе анализа было установлено, что при использовании некоторых современных инструментов, специализированных на автоматизации тестирования современных веб приложений, многие ранее известные проблемы стали более не релевантными.
Был спроектирован и реализован оптимальный, масштабируемый Gitlab CI конвейер для автоматического запуска тестов при изменениях в удалённом репозитории с кодом. Подобная архитектура позволит в будущем запускать тысячи тестов и получать отчет в течение часа.
Получившаяся программная реализация отвечает всем установленным требованиям, а также обеспечивает простоту в написании и отладке автоматизированных тестовых сценариев.
В конце были проанализированы результаты внедрения автоматизации тестирования. Было установлено, что автоматизация тестирования личного кабинета смс-центра действительно позволила ускорить процесс тестирования и качество разработки программного продукта за счет многократного сокращения времени от внесения правок до обнаружения дефекта с нескольких дней до 1 часа а, также сократить время необходимое на выполнение тестов на 98%. Однако было установлено, что автоматизация тестирования имеет смысл только для сценариев, которые подразумевается запускать более чем 6 раз для опытного автоматизатора и более чем 10 раз для неопытного.
Результат внедрения оценивается как положительный и принято решение продолжать развивать данный проект. В качестве развития проекта можно привлечь больше людей к написанию автоматических тестов, увеличить количество тестов в личном кабинете смс-центра или внедрить данный подход в других проектах.
