Анализ результатов тестов

Для анализа тестов в Boomq доступны:

• Дашборд «Сравнение запусков тестов». Сопоставление двух запусков тестов с использованием таблиц и графиков в дашборде Grafana. Подробнее см. раздел Сравнение запусков тестов;

• Тренд-отчет. Отчет, который создается по результатам двух и более запусков нагрузочных тестов и позволяет проанализировать тенденцию изменения параметров тестируемой системы. Результаты отображаются в виде таблиц и графиков. Подробнее см. раздел Тренд-отчеты.

Как посмотреть все запуски тестов, подробнее см. в разделе Просмотр проведенных тестов.

См.также

• Визуализация тестирования в Grafana

Просмотр проведенных тестов

Чтобы посмотреть проведенные тесты, откройте раздел Запуски:

Список запусков тестов можно фильтровать по названию теста, статусу запуска теста, лейблу, пользователю, который создал тест.

Чтобы отфильтровать список запусков:

1. Нажмите на один из выпадающих списков, например, Статус запуска:

   

2. В выпадающем списке выберите необходимые значения.

Статусы запуска теста

Для каждого запуска отображается статус:

• Инициализируется. Для запуска теста собирается статистика, создаются профиль и нагрузочный скрипт, распределяются ресурсы;

• В ожидании. Текущий тест поставлен в очередь. Если нет свободных ресурсов, то тест запустится через некоторое время;

• В процессе. Тест запустился. Генераторы нагрузки отправляют запросы;

• Закончен. Тест успешно завершен;

• Прерван. Тест завершен не полностью или прерван из-за проблем на генераторах нагрузки или ошибок в скрипте;

• Отменен. Пользователь отменил тестирование.

Статусы выполнения SLA

Для каждого запуска отображается статус выполнения SLA:

• SLA не задан;

• SLA выполнен. Результаты теста соответствуют SLA;

• SLA не выполнен. Результаты теста не соответствуют SLA.

Сравнение запусков тестов

Boomq позволяет сравнивать результаты двух запусков в одном дашборде Grafana.

Чтобы сравнить запуски тестов:

1. Откройте раздел Запуски.

2. Установите флажки для двух запусков тестов.

3. Нажмите на кнопку Сравнить запуски. Откроется дашборд Grafana:

   

Подробнее о метриках дашборда «Сравнение запусков тестов» см. в разделе Метрики.

Тренд-отчеты

Тренд-отчет – отчет, который создается по результатам двух и более запусков нагрузочных тестов и позволяет проанализировать тенденцию изменения показателей производительности тестируемой системы. Результаты отображаются в виде таблиц и графиков.

Все тренд-отчеты доступны в разделе Тренд:

Чтобы создать тренд-отчет:

1. Воспользуйтесь одним из способов:

   • откройте запуск теста в разделе Запуски и нажмите на кнопку + Тренд;

   • откройте раздел Тренд и нажмите на кнопку + Новый тренд репорт.

2. Выберите тесты для отчета одним из способов:

   • выберите конкретный тест и его запуски:

     

   • задайте условия выборки:

     1. Выберите тест.

     2. Укажите число и период, за который он запускался: последние недели, последние месяцы, или укажите количество последних запусков: последние запуски.

     3. При необходимости выберите лейблы запуска.

     4. Выберите статусы запуска:

     

3. Нажмите на кнопку Далее. Откроется раздел Элементы SLA отчета:

   

4. Нажмите на кнопку Добавить график и в списке выберите SLA. На одном графике можно отображать несколько SLA. График нормируется автоматически.

5. Нажмите на кнопку Добавить таблицу и в списке выберите SLA. В одной таблице можно отображать несколько SLA.

   Примечание

   В тренд-отчет можно добавлять неограниченное количество графиков и таблиц.

6. Для таблицы настройте значения:

   1. Выберите одно из значений в списке:

      • Абсолютные значения. Выберите, чтобы показать абсолютные значения SLA;

      • Сравнение с пред.тестом. Выберите, чтобы сравнить значения SLA с предыдущим запуском теста. Разницу можно показать в абсолютных значениях или в процентах;

      • Сравнение с бейзлайн. Выберите, чтобы сравнить значения SLA с базовым запуском. Разницу можно показать в абсолютных значениях или в процентах.

   2. Установите необходимые флажки для пунктов Сравнение с пред.тестом и Сравнение с бейзлайн.

7. При необходимости нажмите на кнопку Копировать код для вставки. Скопируется HTML-код отчета. Подробнее см. раздел Вставка HTML-кода тренд-отчета на сторонний ресурс.

8. Нажмите на кнопку Сохранить.

Пример таблицы в тренд-отчете:

Пример графика в тренд отчете:

Чтобы отредактировать тренд-отчет, нажмите на кнопку .

Чтобы удалить тренд-отчет, нажмите на кнопку .

Вставка HTML-кода тренд-отчета на сторонний ресурс

1. Откройте тренд-отчет, который необходимо встроить на сторонний ресурс.

2. Нажмите на кнопку Копировать код для вставки для необходимой таблицы или графика. Кнопка доступна, когда изменения тренд-отчета сохранены. Скопируется HTML-код:

   <div id="ID графика или таблицы тренд-отчета">
   <script src="Ссылка на JS-скрипт тренд-отчета"></script>
   <script>
   boomq &&
   typeof boomq.getSlaReportChart === "function" &&
   boomq.getSlaReportChart("Адрес Boomq", "ID SLA", "ID графика или таблицы тренд-отчета", "Язык интерфейса", "API токен")
   </script>
   </div>
   

3. Вставьте HTML-код тренд-отчета на сторонний ресурс, например на страницу Confluence.

Пример HTML-кода для графика

<div id="chart-d4fb16c8-af76-4ac7-889a-0d1d30894e5d">
<script src="https://{BASE_URL}/trending.js"></script>
<script>
boomq &&
typeof boomq.getSlaReportChart === "function" &&
boomq.getSlaReportChart("https://{BASE_URL}", "1", "d4fb16c8-af76-4ac7-889a-0d1d30894e5d", "en", "API токен")
</script>
</div>

Пример HTML-кода для таблицы

<div id="table-d4fb16c8-af76-4ac7-889a-0d1d30894e5d">
<script src="https://{BASE_URL}/trending.js"></script>
<script>
boomq &&
typeof boomq.getSlaReportTable === "function" &&
boomq.getSlaReportTable("https://{BASE_URL}", "1", "d4fb16c8-af76-4ac7-889a-0d1d30894e5d", "en", "API токен")
</script>
</div>