是否可以按页面而不是个人进行A/B测试？

Question

可以说，我有一个简单的电子商务网站，销售100个不同的T恤设计。我想进行一些A/B测试以优化我的销售。假设我想测试两个不同的“购买”按钮。通常，我会使用AB测试随机分配每个访问者以查看按钮A或按钮B（并尝试通过将该分配存储在会话，cookie等中来确保用户体验保持一致）。

是否可以采用其他方法，而是随机分配我的100个设计中的每一个以使用按钮A或B，并将转换速率评估为 （设计n的销售量） /（设计n的pageviews）

这种方法似乎有一些优势。我不必担心保持用户体验一致 - 给定页面（例如www.example.com/viewdesign?id=6）总是会返回相同的html。如果我要测试不同的价格，那么用户看不到与不同价格的价格不同的价格要比不同的价格的不同。 相同的 在不同计算机上的设计。我也想知道SEO是否会更好 - 我怀疑Google会“更喜欢”它在爬行页面时总是看到相同的HTML。

显然，这种方法仅适用于有限数量的站点。我只是想知道是否有人尝试过？

Answer 1

您的直觉是正确的。从理论上讲，按页面随机化可以正常工作。两个治疗组的预期都将具有平衡的特征。

但是，样本量很小，因此您需要小心。简单的随机化可能会偶然造成不平衡。标准解决方案是 堵塞 关于衬衫的预处理特征。最重要的特征是您的预处理结果，我认为这是转化率。

有很多方法可以创建“平衡”的随机设计。例如，您可以使用 最佳匹配, ，并在对内随机分组。可以通过在上一周/月的转换率对其进行排名，然后创建成对的邻居来找到更粗糙的比赛。或者，您可以将被阻塞的随机化结合在亚伦的建议中：在成对内随机化，然后每周翻转处理。

第二个问题，有些无关，是 治疗之间的相互作用. 。这可能更有问题。如果用户在一个页面上看到一个按钮，然后在另一页上看到另一个按钮，则新按钮将具有特别大的效果。也就是说，您真的可以将治疗方法视为独立吗？一页上的按钮是否会影响另一页转换的可能性？不幸的是，它可能确实如此，特别是因为如果您在一页上购买T恤，那么您可能不太可能在另一页上购买T恤。我比随机化更担心这一点。标准方法 - 由唯一用户随机化 - 更好地模仿您的最终设计。

您总是可以运行一个实验，以查看是否使用这两种方法获得相同的结果，然后如果这样做，请继续使用更简单的结果。

Answer 2

你不能。

让50个T恤有按钮A，其余50个具有ButtonB。测试后，您意识到带有按钮A的T恤的转换率更高。

现在 - 由于按钮A的转换是更好的，还是因为T恤设计真的很酷并且人们喜欢它们，所以转换更好？

您无法客观地回答该问题，因此您不能以这种方式进行A/B测试。

Answer 3

您的方法的麻烦在于，您正在同时测试两件事。

说，设计X使用按钮a。设计Y使用按钮b。设计Y获得了更多的销售和更多的转化。

这是因为按钮B比按钮A提供了更好的转换率，还是因为设计Y比设计X提供了更好的转换率？

如果您的设计量很高，您的用户量很低，并且您的转换在设计中均匀分布，我可以看到您的方法比普通的时尚更好 - 因为“良好”设计的风险将“良好”设计在一起。偏向您的结果将小于“好”用户的风险。但是，在这种情况下，您不会有特别大的转化样本量来得出结论 - 首先，您需要足够高的用户来进行AB测试。

Answer 4

与其更改某些页面的销售按钮，不如用按钮A运行所有页面一周，然后再更改为B butt，再过一周。这应该为您提供足够的数据，以查看两个按钮之间的销售量是否发生显着变化。

一个星期应该足够短，以至于不应适用季节性/天气效果。