Как вы организуете/размещаете свои тестовые сценарии?

Question

Мне интересно, как другие организуют свои тестовые сценарии, или я видел хорошие тестовые сценарии, организованные везде, где они работали.Кроме того, какой уровень детализации в этих тестовых сценариях.В частности, это относится к тестовым сценариям, созданным для ручного тестирования, а не к сценариям, созданным для целей автоматического тестирования.

Проблема, насколько я понимаю, заключается в том, что тестовые сценарии очень сложны, но при этом не используются принципы, используемые при организации сложной или большой базы кода.Вы должны иметь возможность указать, что должен делать фрагмент кода, но при этом не утомлять кого-либо до смерти, пока он его читает.

Кроме того, как вы составляете тестовые сценарии? Я не заинтересован в создании полностью определенных сценариев, подходящих для запуска типами ввода данных, поскольку у нас нет такой команды, и накладные расходы на их поддержку кажутся слишком высокими.Кроме того, мне кажется, что столь подробное описание процесса снимает ответственность с человека, который фактически проводит тестирование качества продукта.Указывают ли люди каждое нажатие кнопки и вводимое значение?Если нет, то какой уровень детализации указан.

Answer 1

Тесты, выполняемые людьми, должны находиться на очень высоком уровне абстракции.

Например.тестовый пример для регистрации stackoverflow:

Хороший:

Посетитель сайта с существующей открытой учетной записью регистрируется в качестве пользователя Stackoverflow и публикует ответ.

Плохой:

1) Перейдите к http://stackoverflow.com 2) Нажмите на вход в систему 3) и т. Д. ...

Это важно по нескольким причинам:

а) он обеспечивает удобство сопровождения тестов.Таким образом, вам не нужно обновлять тестовый скрипт каждый раз, когда элементы навигации переименовываются (например,«логин» меняется на «войти»).

б) это спасает ваших тестировщиков от безумия от скуки мельчайших деталей.

в) написание подробных сценариев ручного тестирования — это нерациональное использование ваших ограниченных ресурсов тестирования.
Подробные сценарии ручного тестирования отвлекут ваших тестировщиков от написания ошибок при незначительных проблемах с документацией.Вы хотите использовать свое время для поиска реальных ошибок, которые повлияют на клиентов.

Answer 2

Тесты можно группировать по приоритету.BVT/дымовые тесты могут иметь наивысший приоритет, тогда как функциональные, интеграционные, регрессионные, локализационные, стрессовые и производительные тесты имеют более низкие приоритеты.В зависимости от вашего прохождения теста вы должны выбрать приоритет и запустить все тесты с этим или более высоким приоритетом.Все, что вам нужно сделать, это определить, какой приоритет имеет тот или иной тест.

Answer 3

Я стараюсь, чтобы ручные тесты вписывались в автоматизированную структуру — вы можете использовать и то, и другое.

Организационные схемы, используемые автоматическими тестами (например, Frameworks Xunit), работают для меня.Фактически, их можно использовать для полуавтоматизации тестов, останавливая и вызывая запуск ручного теста, ввод вводимых данных или проверку графического пользовательского интерфейса.Схема обычно заключается в зеркальном отображении структуры каталогов рабочего кода или включении тестов в рабочий код, иногда в виде внутренних классов.Тесты выше уровня модуля часто можно разместить в каталогах более высокого уровня (при условии, что у вас достаточно глубокое дерево каталогов).Эти тесты более высокого уровня могут проходить в (зеркальных) каталогах, которые не имеют производственного кода, но существуют для организационных целей.

Уровень детализации... ну, это зависит, правда?

Answer 4

Мэтт Андресен дал хороший ответ в общем случае, но бывают ситуации, когда вы не можете сделать это таким образом.Например, когда вы работаете над проверенными заявками, которые должны соответствовать правилам других сторон, таких как FDA, и проходят очень интенсивный аудит, проверку и подписание, тогда требуется 2 ответа на ваш пример.Хотя в данном случае я бы предпочел перейти на автоматизацию с помощью HP QuickTestPro или IBM RationaRobot.

Может быть, вам стоит попробовать какой-нибудь репозиторий тестов?Есть еще инструменты HP QualityCenter и продукты IBM, но они могут оказаться дорогими.Вы можете найти более дешевый вариант, который позволит вам организовать их в древовидные структуры по требованиям/функциям, назначить им приоритеты, сгруппировать их в комплекты тестов для выпусков, сгруппировать их в комплекты регрессионного тестирования и т. д.