如何进行自动化测试，其中结果的质量在很大程度上是主观的

Question

我一直在通过一系列快速原型的演变自动化和统计生成程序，以查看是否有API的许可费产生了良好的投资回报。在有限的时间帧，并且我自己的有限的经验已导致与没有自动质量或正确性测试和指标的有用工具。

在程序与PDF文档本地化过程涉及。具体而言，它产生于某些文件的内容的报告（约字计数，图像数等）和具有一定的内容的提取和处理特征。它主要用于减少时间和评估一个PDF本地化项目的成本的成本。

中的应用已被现在批准了更正规的开发过程中，包括用于错误跟踪系统的请求和预备试验，释放和反馈周期。

接下来的问题，是你将如何去QA和测试在这种应用中，其中数字往往基于一些启发和处理后的输出最佳猜测并不总是有用的，由于源的可怕建设文件？我打算警告添加到报告时的数字显然疯了，但还有什么可以做，以保证质量？

到目前为止，最先进的解决方案，我已经是通过构建环境中断言测试和写作一堆传统的用户测试案例（我宁愿避免），以保证一些辅助方法的结果。

你如何为主观质量的措施测试？

我在C＃中的工作，但我喜欢一个通用的最佳实践回答了什么太具体的框架。

Answer 1

我不知道究竟你在做什么应用程序在做，但回答一般问题： 建立测试用例代表你的输入范围，看它是否能够正确判断的一个集合。你不能真正得到解决实际测试的输入文档。

然后，还有一个地步，你必须接受，有什么可以用自动化测试来完成的限制。当事情变得很主观的美学或可用性，例如），你会需要一个实际的人得到一个有用的判断。

我希望我可以给一个更加有用的答案。

Answer 2

尝试认可试验。