休息API和UI的黑色/灰色盒式测试

Question

我们正在选择用于自动验收测试的系统，以便在我们公司中开始使用（交换机）。 目前，大多数后端测试用例是由我们的前测试仪在Python中写的，并且对于新的测试人员来说很难使用和维护它;对于UI，我们使用机器人框架。

我想使用一些标准，以便新的“来自街道的典型测试人员”可以开始使用，但它应该非常灵活。

在我以前的职位上的测试人员使用Soapui甚至是Apache Jmeter，而我当前公司的某种原因不喜欢它。

我们正在考虑 fitnesse 或机器人框架。

要求：

• 它应该用于后端（REST API，一些DB检查）和UI测试
它应该使用简单的语言，所以即使是非程序员/测试人员也可以理解测试用例（产品所有者应该能够看到所有接受标准是否覆盖）
• 它应该支持与Jenkins
的集成
• 它应该支持测试用例的版本控制，以便为特定产品版本提供检查相关的测试用例 现在我们使用Testrail（测试案例管理SW）;如果它与它集成（至少可以将其编程到那里）或完全替换它

我只是用Fitnesse和我一起玩耍，表格看起来很丑陋。同时也是DOC不大（我没有找到可能的“命令”，例如断言，一些循环）和文档。 reasfixture甚至更差（无）。

我也没有看到DB检查的任何夹具。因此，最终，开发人员需要参与编程并维护一些自定义夹具，这对我来说看起来更糟，以便使用我们的家庭种植的Python测试套件。

任何想法，经验？

谢谢， Radek

ps：我也在QA论坛上问这个问题，但它比stackoverflow要少得多，所以抱歉这个重复。

Answer 1

我无法与fitnesse的使用说话，但机器人框架遇到您要求的所有事情更多的。我为我的项目选择了它，原因如下：

1. 您可以使用单个工具（因此单个报告格式）for soap - 和休息基于服务，数据库验证，基于web的UI测试，甚至桌面应用程序测试。它也可用于集成和单元测试，但通常有更好的工具为该作业。
2. 您可以使用机器人测试使用对话框库或自定义来实现手动测试图书馆。当他们在机器人中编写的手动测试时，我在测试仪吞吐量中看到了大量加速，而不是在Microsoft Word中编写的类似测试时。遗憾的是，网上没有多少关于这个强大的功能，但您可以获得同样的报告，版本控制，标记等。所有验收测试的功能，都是手动和自动化的。
3. 如果您投入创建一个好关键词库的时间，则通过非测试仪
可以轻松读取（和可写的！）测试
4. 有一个 jenkins 使浏览的机器人插件测试结果Easy
5. 机器人框架测试套件是纯文本文件，所以它们可以与代码一起版本化。
6. 测试输出是一个非常简单的理解和解析XML文件。它也可以生成 xunit式输出用于集成其他工具。机器人还配备了将此XML转换为人类友好日志和报告的工具。 侦听器接口使其易于捕获或流动测试结果。
7. 越来越多的工具和编辑器插件与机器人一起使用，所以您的团队成员可以使用它们最舒适的工具。
8. 机器人是非常可扩展 - 关键字库可以是在Python中几乎任何语言编写 - 如果您使用icthon运行，则在Python以及Java，如果使用IronPython运行。与远程库界面，您可以在任何内写关键字可以打开套接字并充当服务器的语言。

对于DB测试的夹具，存在一般的基于java的数据库库，和泛型基于数据库库 mongodb 。

与您对版本控制的问题相关，机器人有一个非常强大的标记机制您可能会发现有用。例如，您可以使用它们与其一起使用的产品版本标记所有测试。然后，您只需查看所有内容，才能使用机器人命令行选项< / a>仅选择标记为特定版本的测试。作为标记的侧面好处，报告按标记打破了通过/失败统计信息。

机器人不是一个完美的测试系统，但这是一个非常好的。我争辩说有许多同样好的测试框架，但我不确定有任何客观性更好。当然，对于您列出的东西对您很重要，机器人框架就是您所需要的一切。

Answer 2

我早些时候是几乎类似的场景。我们不得不在RF，Fitnesse和IBM的STAF / Stax之间做出决定

我们选择了机器人框架，它运作良好。

它应该用于后端（REST API，一些DB检查）和UI 测试 - 休息，rf的请求图书馆以及各种db库可以一起使用。
1. 它应该使用简单的语言，所以即使是非程序员/测试人员也可以 了解测试用例（产品所有者应该能够看到 是否覆盖了所有验收标准） - 射频旨在确切地说。
它应该支持与jenkins的集成 - rf有一个 jenkins 插件
2. 它应该支持测试用例的版本控制，以便为特定的 产品版本我们还可以查看相关的测试用例，现在 - rf's 标签功能将适用于此

存在一个机器人框架 api ，所以它的相当可编程整合要求。