性能检测

Question

我们正在发展自动回归测试使用VMWare和呢？我们已经分测试的进步，现在我想看到每一个步骤是审查用于性能的回归。只是时间的试验，作为关，似乎并不可靠。我们想在接受因素的约15%，但是我们的步骤可以有所不同，有时超过了35%。在这样的资源依赖测试环境中是否有任何一致的方式的性能测试?是一个"智能"的定时系统的我的唯一的选择?

Answer 1

这样的性能测试，没有这样的东西作为一个系统，该系统将给你一个简单的通过/不通过结果。在现实生活中，改变你的系统是有可能做一些事情更快和一些其他的东西慢的，所以它通常不是一种选择之间的"更好的"和"不好"，这是一个选择之间的不同种类的更好。(当然，你想要避免的情况下，它严格变得更糟。)

我做了什么为这在过去只是保持统计数据。你每次运行测试，降的结果，SQL数据库中的修订数量和测试的时间安排。然后你可以曲线图，他们无论何时无论你想要(理想的是在一个小网的小程序，使每个人在团队可以审查)，并看到如果你的表现趋势的上升或下降，或者，如果性能已经吸取自特定修订。

关键在这里，但是，它需要一个 曲线图.这样，人类的眼睛看看它并且找到趋势。你可以花一周在试图拿出一个艾算法来分析数据的数值，但它从未击败人类的模式识别能力。

Answer 2

你可能找到可用的功能与一个工具，例如蚂蚁分析器，因为它不给法执行/运行时间，但是我不确定它所提供的条款进行重复检验。

Answer 3

对性能测试我一直很怀疑使用vmware或其他虚拟化的进程。我们的方式处理这在过去是有一部分建立安装最新版本一个静态的机和运行测试。你应该看到更加一致的结果以外的虚拟化。