Как вы обеспечиваете соблюдение или поддержание качества отчетов об ошибках в вашем багтрекере?

Question

Высококачественные отчеты об ошибках необходимы для эффективного отслеживания ошибок - в идеальном мире все отчеты об ошибках содержали бы важную информацию, например, о том, на какую версию программного обеспечения они влияют, и пошаговое описание того, как воспроизвести ошибку.

Однако на самом деле сообщения об ошибках могут сильно различаться по качеству.Это могут быть ссылки ("функция X не работает, исправьте это!"), запросы функций, PEBKACs или неразборчивые.

Как вы обеспечиваете соблюдение или поддержание качества отчетов об ошибках в вашем багтрекере, чтобы оставаться эффективными?

Answer 1

Я согласен с Джоном Лимджапом - ваш персонал по контролю качества должен быть достаточно компетентен, чтобы публиковать соответствующие отчеты об ошибках, получив правильное базовое обучение и рекомендации.Тем не менее, существуют способы обеспечения соблюдения и поощрения улучшения отчетов об ошибках:

• В большинстве программ для отслеживания ошибок есть способ пометить некоторые поля отчета об ошибке как обязательные, так что репортер должен фактически выбрать соответствующее значение, чтобы успешно создать ошибку
• Обычно существует возможность включить базовый шаблон для отчета об ошибке, что-то в строках

Сценарий:

Ожидаемые результаты:

Фактические результаты:

Замечания:

• Вы можете (и должны) предоставить инструмент для создания отчетов об ошибках, который будет запущен на проблемном компьютере, соберет соответствующую информацию и упакует ее в архивный файл (и, возможно, разместит его на рабочем столе).Затем вы инструктируете своих сотрудников запускать его всякий раз, когда они обнаруживают ошибку, о которой хотят сообщить, и прикрепляете архив к ошибке.Этот инструмент должен быть простым в использовании (просто запускать исполняемый файл), чтобы они могли прикреплять диагностическую информацию к любой ошибке, не задумываясь, релевантна она или нет.Этот инструмент, как правило, также очень полезен для клиентов.
• И последнее, но не менее важное - "образование, образование, еще раз образование".Люди извлекают лучшее из опыта - просто убедитесь, что всякий раз, когда кто-то открывает ошибку без соответствующей информации, человек, обрабатывающий ошибку, пойдет и поговорит с тем, кто открыл ошибку, и объяснит, чего не хватает и почему это важно.

Это методы, которые мы довольно успешно применяем на моем нынешнем рабочем месте, и я считаю их достаточно универсальными, чтобы соответствовать большинству условий работы.

Answer 2

Раньше я думал, что качество отчета об ошибке равносильно нулю.Я все еще так думаю...ошибки, о которых я сообщаю, содержат гораздо больше полезной информации, чем те, которые были введены QA или Operations.Тем не менее, я пришел в восхищение от модели FogBugz.Ввести ошибку чрезвычайно просто.Полезно просто знать, что существует условие ошибки, даже если вспомогательной информации не так много.Кроме того, пользователи чувствуют, что что-то делается.

Answer 3

Напишите хорошее, но не слишком длинное руководство по использованию трекера и тому, что требуется для каждого поля.Создайте справочный пример общего назначения, который другие могут использовать, если они застрянут.

У меня есть справочная копия для редактирования страниц руководства Docbook, и, используя ее неоднократно, я уже знаю большую часть синтаксиса наизусть.

Answer 4

Это зависит от того, говорите ли вы о закрытом тестировании качества и публичной бета-версии.

Если это публичная бета-версия, не рекомендуется разрешать пользователям напрямую редактировать ваш список ошибок.Кому-то должно быть поручено собирать комментарии пользователей и отчеты и определять, какие из них являются реальными ошибками, а какие дубликатами и которые дают какую-то подсказку о том, как их воспроизвести.

Однако, если это сообщение об ошибке, размещенное вашим законным персоналом по контролю качества, у вас возникли проблемы с компетентностью ваших сотрудников.Должны быть установлены надлежащие рекомендации относительно того, как сообщать об ошибках, особенно при четком выполнении этапов репликации.

Answer 5

Сложный вопрос.Я бы попробовал посмотреть, есть ли в системе какой-либо способ обеспечить ввод определенных полей, которые вам требуются, попробуйте каким-то образом обнаружить критические ошибки (электронная почта, rss), чтобы вы могли быстро реагировать, но главное, чтобы ваша команда знала о стандарте качества и придерживалась его, рекомендации публиковались и были общедоступны, такого рода вещи.

Предполагая, что это ваша команда:Если у вас может быть определенная структура, которая используется каждый раз в поле комментариев, того, что ожидается при ее вводе, то это тоже было бы хорошо - еще лучше, если в вашем программном обеспечении есть схема заметок по умолчанию, где вы можете определить эту структуру в пустой форме.

Однако в какой-то степени это зависит от каждого отдельного человека, они должны осознавать, что это часть стандартов общения, это ожидается как требование работы, и что они несут ответственность перед каждым другим членом команды - потому что другие люди не должны выслеживать их, чтобы узнать какие-либо дополнительные детали, если этого можно избежать.

Тем более, что время на исправление ошибок в элементах с более низким приоритетом может занять некоторое время, и люди неизбежно будут забывать о деталях.

Предполагая, что это пользователи:Вы не можете в высокой степени, но я бы постарался, если возможно, задавать вопросы в любой форме так, чтобы люди могли понять.

Не совсем по этой теме, но в духе "как вы задаете вопросы", этот пост в блоге 37 Signals - текст ссылки

Даже если вам нужна другая форма, задающая вопросы, видимые вашим пользователям, которая передает в основном данные только в программу для устранения ошибок, я бы сделал это просто для того, чтобы задавать правильные вопросы.

Какой продукт?Какая версия (на картинках показано, как ее найти)?Было бы полезно включить дамп экрана, если бы они могли открыть программу и нажать кнопку для автоматической отправки файла журнала, независимо от того, помешало ли это им выполнять дальнейшую работу, были ли потеряны их изменения и т.д.

Для пользователей, вероятно, это больше связано с тем, как вы задаете вопросы и даете им понять, что вам нужны ответы на определенные вопросы или какие из них вы сочли бы более полезными, тогда вы, вероятно, получите лучшие ответы.

Answer 6

Используйте что-то вроде Пользовательский голос чтобы конечные пользователи сообщали об ошибках и запросах функций.Записи багтрекера действительно должны быть внутренними - они слишком техничны для конечных пользователей, а также, ИМХО, раскрывают слишком много внутренней работы.