如何跟踪的性能测试

Question

目前，我正在做性能和负载检测的一个复杂的多层系统的调查的效果的不同而改变，但我有问题跟踪的一切：

• 有许多份不同的组件
  • Orignally发布的集会
  • 正式公布的修复程序
  • 组件，我已经建立包含进一步的额外修复了
  • 组件，我已经建立包含其他的诊断记录和追踪
• 有许多数据库的补丁, ，上述某些组件取决于一定数据库增补程序正在应用
• 许多不同的记录水平存在, 在不同的层级(应用程序记录、应用程序的业绩统计数据，SQL server分析)
• 有许多不同的方案, ，有时候这是有用的测试只有1种情况下，其他时候，我需要测试的组合不同的情况。
• 载荷可能被分割为多个机器 或者只有一个单一的机器
• 数据存在该数据库可以改变, 例如一些测试可能用产生的数据，然后用数据取自动系统。
• 有大量的潜在性能的数据收集后，每一个测试, 例如：
  • 许多不同类型的应用程序的具体记录
  • SQL分析器的痕迹
  • 活动日志
  • Dmv
  • 性能计数器
• 该数据库(s)几个Gb 那么，我将不用的备份来恢复到以前的状态，我倾向于更改应用于任何数据库是本最后的测试，造成了我要快速的事情。

我收集尽可能多的信息，我可以对每一个测试我做的(对方案进行测试，其增补程序应用的数据在数据库)，但我仍然发现自己具有重复试验，因为不一致的结果。例如，我只是做了一个测试我认为是一个完全重复的一个测试我跑几个月前，但是与更新数据库中的数据。我知道一个事实，即新的数据应导致性能degregation，但结果显示相反的！

同时我发现自己sepdning不成比例的大量的时间记录这些所有这些细节。

一件事情我认为是使用脚本到实现自动化的收集业绩数据等等，但我不确定这是个好主意-这不仅是它花费的时间开发脚本，而不是测试，但是虫子在我的脚本可能引起我的事，甚至更快。

我之后的一些建议/提示如何更好地管理的测试环境，特别是如何取得平衡之间的收集 的一切 实际上得到一些测试完成的风险，缺少一些重要的事情？

Answer 1

脚本收集的测试参数+环境是一个非常好的主意要退房。如果你测试的几天里，以及脚本需要一天，这是值得花时间。如果后一天，你看到它不会很快完成，重新评估和可能的停止追求这个方向。

但你应该为自己尝试。

Answer 2

我会倾向于同意@orip、脚本中的至少一部分的你的工作量可能会节省你的时间。你可能会考虑一个时刻，要问什么任务是最耗费时间的劳动力和如何适合他们自动化？脚本是特别擅长收集和汇总的数据更好的人,通常.如果性能数据，需要很多的解释你的一部分，你可能有问题。

一个优势的脚本中的一些这些任务，然后你可以检查他们在沿边源/补/分支，你可以找到你从中受益的组织结构的系统的复杂性，而不是在努力追它你现在要做的。

Answer 3

如果你可以得到测试，仅对少数设置配置将保持管理简单。它还可以使它更容易把一个在每个虚拟的机器可以迅速重新部署得到干净的基线。

如果你真的需要你描述的复杂性，我建议建立一个简单的数据库，以允许你来查询的多元结果。有一个列于每个重要因素将一个能让你来查询的问题，如"什么测试配置有最低差异的延迟？"和"其中测试数据库允许筹资的最大的错误?".我用sqlite3(可能通过Python包装或Firefox插件)用于这种轻质的收集，因为它不断维修开销相对较低，并可以避免扰动该系统在测试的太远，甚至如果你需要运行在相同的框。

脚本的试验将使他们更快地执行和许可证结果将收集在一个已经有序的方式，但它听起来像是你的系统可能太复杂，以使这个容易做到的。