ОПТИМИЗАЦИЯ ПРОЦЕССОВ ПЛАНИРОВАНИЯ И ПРОЕКТИРОВАНИЯ ТЕСТИРОВАНИЯ ПУТЕМ ИДЕНТИФИКАЦИИ И ИССЛЕДОВАНИЯ ПОКАЗАТЕЛЕЙ И МЕТРИК
|
Таблица терминов, определений и сокращений 5
Введение 7
1 Теоретические основы тестирования программного обеспечения 9
1.1 Понятие тестирования 9
1.2 Уровни тестирования 10
1.3 Типы тестирования 14
1.4 Артефакты тестирования 15
1.5 Роль тестирования в процессе разработки 19
1.6 Жизненный цикл тестирования программного обеспечения 21
1.6.1 Необходимость жизненного цикла тестирования программного
обеспечения 21
1.6.2 Фазы жизненного цикла тестирования программного обеспечения .. 22
1.6.3 Планирование тестирования 24
1.6.4 Проектирование тестирования 27
1.6.5 Выполнение тестов 30
1.6.6 Обзор тестирования 33
1.7 Измерения в процессе тестирования. Польза измерений 37
1.7.1 Измерения в области разработки программного обеспечения 38
1.7.2 Польза измерений при тестировании программного обеспечения 41
1.7.3 Измерение процесса 42
1.7.4 Общий процесс прогнозирования 44
2 Выделение показателей этапов планирования тестирования и тестдизайна 45
2.1 Планирование тестирования 45
2.1.1 Показатели, характеризующие прогресс тестирования 46
2.1.2 Показатели, характеризующие стоимость тестирования 47
2.1.3 Показатели, характеризующие качество тестирования 48
2.1.4 Показатели, характеризующие области для дальнейшего тестирования
и ожидаемые дефекты 49
3 Показатели этапа тест-дизайна 51
3.1 Показатели, характеризующие прогресс тестирования 51
3.2 Показатели, характеризующие стоимость тестирования 52
3.2.1 Показатели, характеризующие объем тестирования 52
3.2.2 Показатели, характеризующие стратегию тестирования 53
3.2.3 Показатели, характеризующие качество тестирования 55
4 Метрики для этапа планирования тестирования 57
4.1 Метрики для оценки прогресса тестирования 57
4.1.1 Оценка приостановки тестирования 57
4.1.2 Оценка окончания тестирования 59
4.1.3 Измерение объема тестирования 61
4.1.4 Отслеживание статуса тестирования 64
4.1.5 Производительность персонала 64
4.1.6 Ведение документации 64
4.2 Метрики для оценки стоимости тестирования 66
4.2.1 Измерение ожидаемых затрат на тестирование,
продолжительность тестирования и требования к ресурсам 66
4.2.2 Затраты на обучение и оснащение 79
4.3 Метрики для оценки качества тестирования 79
4.3.1 Измерение тестового покрытия 79
4.3.2 Измерение эффективности дымового тестирования 80
4.3.3 Измерение качества тестового плана 82
4.4 Измерение оценки области для дальнейшего тестирования и ожидаемые дефекты 85
4.4.1 Количество ошибок на этапе документации и ожидаемое
количество ошибок 85
4.4.2 Классификация ошибок 85
5 Метрики для показателей этапа тест-дизайна 88
5.1 Метрики для оценки прогресса тестирования 88
5.1.1 Отслеживание прогресса тестирования и статуса тестирования 88
5.1.2 Отслеживание Бэклога 92
5.1.3 Измерение производительности персонала 93
5.2 Метрики для оценки качества тестирования 98
5.2.1 Измерение эффективности Тест-кейсов 98
5.2.2 Достижение поставленных целей 103
5.2.3 Измерение полноты тестов 104
5.3 Метрики для оценки стоимости тестирования 107
5.3.1 Оценка рентабельности инструментария для автоматизированного
тестирования 107
5.4 Метрики для оценки объема тестирования 110
5.4.1 Оценка Т ест-кейсов 110
5.4.2 Число регрессионных тестов 110
5.4.3 Тесты для автоматизации 114
5.5 Метрики для оценки стратегии тестирования 121
5.5.1 Последовательность Тест-кейсов 122
5.5.2 Определение области для дальнейшего тестирования 124
5.5.3 Измерение комбинаций техник тестирования 127
5.5.4 Оценка адекватности тестовых данных 130
6 Методические рекомендации по применению метрик 132
6.1 Что такое метрики и почему они полезны? 132
6.2 Польза и правила применения метрик в процессе тестирования 133
6.2.1 Мотивация сотрудников 135
6.2.2 Своевременность сбора данных 135
6.2.3 Анализ погрешностей 135
6.2.4 Простота метрик 136
6.2.5 Сочетание с экспертным мнением 136
Заключение 137
Список литературы 139
Приложение 1 144
Приложение 2 160
Приложение 3 163
Приложение 4 165
Введение 7
1 Теоретические основы тестирования программного обеспечения 9
1.1 Понятие тестирования 9
1.2 Уровни тестирования 10
1.3 Типы тестирования 14
1.4 Артефакты тестирования 15
1.5 Роль тестирования в процессе разработки 19
1.6 Жизненный цикл тестирования программного обеспечения 21
1.6.1 Необходимость жизненного цикла тестирования программного
обеспечения 21
1.6.2 Фазы жизненного цикла тестирования программного обеспечения .. 22
1.6.3 Планирование тестирования 24
1.6.4 Проектирование тестирования 27
1.6.5 Выполнение тестов 30
1.6.6 Обзор тестирования 33
1.7 Измерения в процессе тестирования. Польза измерений 37
1.7.1 Измерения в области разработки программного обеспечения 38
1.7.2 Польза измерений при тестировании программного обеспечения 41
1.7.3 Измерение процесса 42
1.7.4 Общий процесс прогнозирования 44
2 Выделение показателей этапов планирования тестирования и тестдизайна 45
2.1 Планирование тестирования 45
2.1.1 Показатели, характеризующие прогресс тестирования 46
2.1.2 Показатели, характеризующие стоимость тестирования 47
2.1.3 Показатели, характеризующие качество тестирования 48
2.1.4 Показатели, характеризующие области для дальнейшего тестирования
и ожидаемые дефекты 49
3 Показатели этапа тест-дизайна 51
3.1 Показатели, характеризующие прогресс тестирования 51
3.2 Показатели, характеризующие стоимость тестирования 52
3.2.1 Показатели, характеризующие объем тестирования 52
3.2.2 Показатели, характеризующие стратегию тестирования 53
3.2.3 Показатели, характеризующие качество тестирования 55
4 Метрики для этапа планирования тестирования 57
4.1 Метрики для оценки прогресса тестирования 57
4.1.1 Оценка приостановки тестирования 57
4.1.2 Оценка окончания тестирования 59
4.1.3 Измерение объема тестирования 61
4.1.4 Отслеживание статуса тестирования 64
4.1.5 Производительность персонала 64
4.1.6 Ведение документации 64
4.2 Метрики для оценки стоимости тестирования 66
4.2.1 Измерение ожидаемых затрат на тестирование,
продолжительность тестирования и требования к ресурсам 66
4.2.2 Затраты на обучение и оснащение 79
4.3 Метрики для оценки качества тестирования 79
4.3.1 Измерение тестового покрытия 79
4.3.2 Измерение эффективности дымового тестирования 80
4.3.3 Измерение качества тестового плана 82
4.4 Измерение оценки области для дальнейшего тестирования и ожидаемые дефекты 85
4.4.1 Количество ошибок на этапе документации и ожидаемое
количество ошибок 85
4.4.2 Классификация ошибок 85
5 Метрики для показателей этапа тест-дизайна 88
5.1 Метрики для оценки прогресса тестирования 88
5.1.1 Отслеживание прогресса тестирования и статуса тестирования 88
5.1.2 Отслеживание Бэклога 92
5.1.3 Измерение производительности персонала 93
5.2 Метрики для оценки качества тестирования 98
5.2.1 Измерение эффективности Тест-кейсов 98
5.2.2 Достижение поставленных целей 103
5.2.3 Измерение полноты тестов 104
5.3 Метрики для оценки стоимости тестирования 107
5.3.1 Оценка рентабельности инструментария для автоматизированного
тестирования 107
5.4 Метрики для оценки объема тестирования 110
5.4.1 Оценка Т ест-кейсов 110
5.4.2 Число регрессионных тестов 110
5.4.3 Тесты для автоматизации 114
5.5 Метрики для оценки стратегии тестирования 121
5.5.1 Последовательность Тест-кейсов 122
5.5.2 Определение области для дальнейшего тестирования 124
5.5.3 Измерение комбинаций техник тестирования 127
5.5.4 Оценка адекватности тестовых данных 130
6 Методические рекомендации по применению метрик 132
6.1 Что такое метрики и почему они полезны? 132
6.2 Польза и правила применения метрик в процессе тестирования 133
6.2.1 Мотивация сотрудников 135
6.2.2 Своевременность сбора данных 135
6.2.3 Анализ погрешностей 135
6.2.4 Простота метрик 136
6.2.5 Сочетание с экспертным мнением 136
Заключение 137
Список литературы 139
Приложение 1 144
Приложение 2 160
Приложение 3 163
Приложение 4 165
Тестирование стало неотъемлемой частью большинства проектов по разработке программного обеспечения. Именно оно является основным способом обеспечения высокого качества продукта. Зачастую на долю тестирования приходит до 40% от общих трудозатрат по проекту.
Существует необходимость разработать процесс тестирования программного обеспечения, который будет экономически эффективным, то есть иметь низкую стоимость, и в то же время будет обеспечивать высокое качество программного продукта. Использование метрик является ключевым условием при разработке данного процесса, так как оно помогает одновременно оценить и стоимость, и качество, и продолжительность тестирования. Измерение прилагаемых усилий играет одну из главных ролей для достижения желаемого результата - получения качественного продукта.
Множество исследований посвящено использованию метрик на этапе выполнения тестов, то есть непосредственного тестирования системы, как-то: метрики по Тестовым случаям, метрики по дефектам. Но крайне редко затрагиваются этапы планирования тестирования и проектирования тестирования. В связи с этим данная работа приобретает весьма актуальный характер.
Целью данной работы является исследование жизненного цикла тестирования, в частности этапов планирования тестирования и проектирования тестирования, путем сравнительного анализа специальной литературы, интернет-ресурсов для выявления важных и необходимых показателей на этих этапах и последующей оценки влияния применения метрик на эффективность процессов тестирования.
Задачами данной работы являются:
1. Составление наиболее полной классификации типов тестирования по уровням;
2. Выявление основных этапов жизненного цикла тестирования программного обеспечения путем сравнительного анализа данных из различных источников;
3. Исследование этапов жизненного цикла тестирования;
4. Выявление показателей исследуемых этапов тестирования;
5. Исследование метрик для измерения выделенных показателей;
6. Разработка методических рекомендаций по применению метрик.
Существует необходимость разработать процесс тестирования программного обеспечения, который будет экономически эффективным, то есть иметь низкую стоимость, и в то же время будет обеспечивать высокое качество программного продукта. Использование метрик является ключевым условием при разработке данного процесса, так как оно помогает одновременно оценить и стоимость, и качество, и продолжительность тестирования. Измерение прилагаемых усилий играет одну из главных ролей для достижения желаемого результата - получения качественного продукта.
Множество исследований посвящено использованию метрик на этапе выполнения тестов, то есть непосредственного тестирования системы, как-то: метрики по Тестовым случаям, метрики по дефектам. Но крайне редко затрагиваются этапы планирования тестирования и проектирования тестирования. В связи с этим данная работа приобретает весьма актуальный характер.
Целью данной работы является исследование жизненного цикла тестирования, в частности этапов планирования тестирования и проектирования тестирования, путем сравнительного анализа специальной литературы, интернет-ресурсов для выявления важных и необходимых показателей на этих этапах и последующей оценки влияния применения метрик на эффективность процессов тестирования.
Задачами данной работы являются:
1. Составление наиболее полной классификации типов тестирования по уровням;
2. Выявление основных этапов жизненного цикла тестирования программного обеспечения путем сравнительного анализа данных из различных источников;
3. Исследование этапов жизненного цикла тестирования;
4. Выявление показателей исследуемых этапов тестирования;
5. Исследование метрик для измерения выделенных показателей;
6. Разработка методических рекомендаций по применению метрик.
Тестирование программного обеспечения широко применяется во всех компаниях по разработке программного обеспечения от самых маленьких до самых крупных корпораций.
Несомненно, каждая компания стремится разработать процесс тестирования программного обеспечения, который будет выгодным, качественным и быстрым.
Сегодня большинство метрик в тестировании программного обеспечения рассматриваются на этапе выполнения тестов и основаны на количестве ошибок, обнаруженных при выполнении тестов. Существует очевидный пробел в области применения метрик для этапа планирования тестирования и проектирования тестов. Данное исследование было призвано закрыть этот пробел.
Измеримые показатели этапа планирования тестирования программного обеспечения и проектирования тестов не упоминаются в литературе в консолидированной форме. Проведенное исследование разделило показатели по категориям: прогресс (6 показателей), стоимость (4 показателя), качество (3 показателя), область тестирования (3 показателя) - для этапа планирования тестирования; прогресс (3 показателя), стоимость (1 показатель), качество (3 показателя), объем (3 показателя), стратегия (4 показателя) - для этапа проектирования тестирования. Такая классификация - хороший шаг к дальнейшим исследованиям внутри каждой категории.
Разработано 19 метрик для показателей для формирования осознанного принятия решений. Представлены способы измерения каждого из показателей. Разработанные методические рекомендации предлагают правила по применению метрик.
В рамках данной работы удалось сделать шаги на пути к решению глобальных задач по оптимизации процессов планирования и проектирования тестирования, а именно:
1. Была составлена полная классификация типов тестирования с их описанием;
2. Выявлены и внимательно исследованы важные этапы жизненного цикла тестирования программного обеспечения;
3. Идентифицированы важные показатели исследуемых этапов тестирования, необходимые для проведения исследования метрик для повышения эффективности процесса тестирования;
4. Исследованы метрики относительно выделенных показателей;
5. Разработаны краткие методические рекомендации по применению метрик.
Несомненно, каждая компания стремится разработать процесс тестирования программного обеспечения, который будет выгодным, качественным и быстрым.
Сегодня большинство метрик в тестировании программного обеспечения рассматриваются на этапе выполнения тестов и основаны на количестве ошибок, обнаруженных при выполнении тестов. Существует очевидный пробел в области применения метрик для этапа планирования тестирования и проектирования тестов. Данное исследование было призвано закрыть этот пробел.
Измеримые показатели этапа планирования тестирования программного обеспечения и проектирования тестов не упоминаются в литературе в консолидированной форме. Проведенное исследование разделило показатели по категориям: прогресс (6 показателей), стоимость (4 показателя), качество (3 показателя), область тестирования (3 показателя) - для этапа планирования тестирования; прогресс (3 показателя), стоимость (1 показатель), качество (3 показателя), объем (3 показателя), стратегия (4 показателя) - для этапа проектирования тестирования. Такая классификация - хороший шаг к дальнейшим исследованиям внутри каждой категории.
Разработано 19 метрик для показателей для формирования осознанного принятия решений. Представлены способы измерения каждого из показателей. Разработанные методические рекомендации предлагают правила по применению метрик.
В рамках данной работы удалось сделать шаги на пути к решению глобальных задач по оптимизации процессов планирования и проектирования тестирования, а именно:
1. Была составлена полная классификация типов тестирования с их описанием;
2. Выявлены и внимательно исследованы важные этапы жизненного цикла тестирования программного обеспечения;
3. Идентифицированы важные показатели исследуемых этапов тестирования, необходимые для проведения исследования метрик для повышения эффективности процесса тестирования;
4. Исследованы метрики относительно выделенных показателей;
5. Разработаны краткие методические рекомендации по применению метрик.