결과 품질이 크게 주관적인 위치 테스트를 자동화하는 방법

Question

API의 라이센스 비용이 좋은 투자 수익을 창출하는지 확인하기 위해 일련의 빠른 프로토 타입을 통해 자동화 및 통계 생성 프로그램을 발전해 왔습니다. 제한된 기간과 제한된 경험으로 인해 자동화 된 품질 또는 정확성 테스트 및 메트릭이없는 유용한 도구가 생겼습니다.

이 프로그램은 PDF 문서의 현지화 프로세스를 처리합니다. 특히 파일의 일부 내용 (대략 단어 수, 이미지 수 등)에 대한 보고서를 생성하고 일부 컨텐츠 추출 및 처리 기능이 있습니다. 주로 PDF 현지화 프로젝트의 비용을 평가하는 시간과 비용을 줄이는 데 사용됩니다.

이 응용 프로그램은 이제 버그 추적 시스템 요청 및 예비 테스트, 릴리스 및 피드백주기를 포함하여보다 공식적인 개발 프로세스를 위해 승인되었습니다.

문제는 이런 종류의 응용 프로그램에서 QA에 대해 어떻게 가고 테스트 하는가? 숫자가 분명히 미쳤을 때 보고서에 경고를 추가 할 계획이지만 품질을 보장하기 위해 무엇을 할 수 있습니까?

지금까지 내가 가진 가장 정교한 솔루션은 빌드 환경에서 어설 션 테스트를 통해 일부 도우미 방법의 결과를 보장하고 기존의 사용자 테스트 사례를 많이 작성하는 것입니다 (피하기를 선호하는).

주관적인 품질 측정을 어떻게 테스트합니까?

나는 C#에서 일하고 있지만, 일반적인 모범 사례에 대한 대답을 선호합니다.

Answer 1

귀하가 응용 프로그램이 무엇을하고 있는지 정확히 알지 못하지만 일반적인 질문에 답하십시오. 입력 범위를 나타내는 테스트 케이스 모음을 구축하고 올바르게 판단 할 수 있는지 확인하십시오. 실제 입력 문서를 실제로 테스트 할 수는 없습니다.

그런 다음 자동 테스트로 달성 할 수있는 것에 제한이 있다는 점을 받아 들여야 할 지점이 있습니다. 예를 들어 상황이 실제로 주관적인 미학이나 유용성을 얻을 때 유용한 판단을 얻으려면 실제 인간이 필요합니다.

더 도움이되는 답변을 줄 수 있기를 바랍니다.

Answer 2

노력하다 승인 테스트.