個人ではなくページごとにA/Bテストを行うことは可能ですか？

Question

100の異なるTシャツのデザインを販売するシンプルなeコマースサイトがあるとしましょう。販売を最適化するために、A/Bテストをいくつか行いたいです。 2つの異なる「購入」ボタンをテストしたいとしましょう。通常、ABテストを使用して、各訪問者をランダムに割り当ててボタンAまたはボタンBを表示します（およびセッション、Cookieなどにその割り当てを保存することで、ユーザーエクスペリエンスが一貫していることを確認してください）。

別のアプローチを取って、代わりに100のデザインをランダムに割り当ててボタンAまたはBを使用し、変換速度を次のように測定することが可能ですか （デザインnの売上数） /（デザインnのページビュー）

このアプローチにはいくつかの利点があるように思われます。ユーザーエクスペリエンスの一貫性を維持することを心配する必要はありません - 特定のページ（www.example.com/viewdesign?id=6など）は常に同じHTMLを返します。私が異なる価格をテストする場合、ユーザーにとっては、異なる価格の異なる設計の価格を見るのははるかに苦痛になります。 同じ さまざまなコンピューターにデザインします。また、SEOにとってより良いのではないかと思います。私の疑いは、Googleがページをrawったときに常に同じHTMLを見ることを「好む」ということです。

明らかに、このアプローチは限られた数のサイトにのみ適しています。誰かがそれを試したかどうか疑問に思っていましたか？

Answer 1

あなたの直感は正しいです。理論的には、ページごとにランダム化は正常に機能します。両方の治療グループは、期待されるバランスのとれた特性を持っています。

ただし、サンプルサイズは非常に小さいため、注意する必要があります。単純なランダム化は、偶然に不均衡を引き起こす可能性があります。標準的なソリューションは次のとおりです ブロック シャツの治療前の特性について。最も重要な特徴は、治療前の結果であり、これは変換率だと思います。

「バランスのとれた」ランダム化された設計を作成する方法はたくさんあります。たとえば、使用してペアを作成できます 最適なマッチング, 、およびペア内でランダム化します。前の週/月の変換率でページをランキングしてから、隣人のペアを作成することで、より粗い一致が見つかります。または、Aaronの提案内でブロックされたランダム化を組み合わせることもできます。ペア内でランダム化してから、毎週治療を反転させます。

やや無関係の2番目の懸念はそうです 治療間の相互作用. 。これはもっと問題があるかもしれません。ユーザーが1ページに1つのボタンを表示し、別のページに別のボタンを表示した場合、その新しいボタンは特に大きな効果がある可能性があります。つまり、あなたは本当に治療を独立と見なすことができますか？あるページのボタンは、別のページの変換の可能性に影響しますか？残念ながら、特に1つのページでTシャツを購入する場合、おそらく他のページでTシャツを購入する可能性は非常に低いためです。私はこれをランダム化よりも心配しています。標準的なアプローチ - ユニークなユーザーによるランダム化 - は、最終的なデザインをより模倣します。

これらの2つの方法を使用して同じ結果を得るかどうかを確認するために、常に実験を実行し、そうすればよりシンプルな方法を進めることができます。

Answer 2

できません。

50個のTシャツにボタンAと残りの50個のボタンBがあります。テスト後、ボタンAのTシャツがより良い変換率を持っていることに気付きます。

さて - ボタンAのために変換が良かったのですか、それともTシャツのデザインが本当にクールで、人々がそれらを気に入ったので、それはより良かったのですか？

その質問に客観的に答えることはできないので、この方法でA/Bテストを行うことはできません。

Answer 3

あなたのアプローチの問題は、2つのことを同時にテストしていることです。

たとえば、デザインXはボタンaを使用しています。設計yはボタンbを使用しています。 Design Yは、より多くの売り上げとより多くのコンバージョンを得ることができます。

それは、ボタンBがボタンAよりも良い変換率を与えるためですか、それとも設計yが設計xよりも良い変換速度を与えるためですか？

デザインの量が非常に高い場合、ユーザーの量が非常に低く、コンバージョンがデザインの中に均等に分散されている場合、「良い」デザインが一緒に塊になるリスクがあるため、あなたのアプローチは通常のファッションよりも優れていることがわかります。そして、あなたの結果は、「良い」ユーザーが行うリスクよりも小さくなります。ただし、その場合、結論を引き出すための特に大きなサンプルサイズの変換がありません。そもそも価値のあるABテストのために十分に大量のユーザーが必要です。

Answer 4

一部のページの販売ボタンを変更する代わりに、すべてのページを1週間ボタンAで実行し、さらに1週間ボタンBに変更します。これにより、2つのボタン間で販売数が大幅に変化するかどうかを確認するのに十分なデータが提供されるはずです。

季節/気象の効果が適用されないように、1週間は十分に短いはずです。