هل من الممكن إجراء اختبار A/B حسب الصفحة بدلاً من الفرد؟

Question

دعنا نقول أن لدي موقع التجارة الإلكترونية البسيط الذي يبيع 100 تصميمات مختلفة تي شيرت. أريد إجراء بعض الاختبارات A/B لتحسين مبيعاتي. دعنا نقول أنني أريد اختبار أزرار "شراء" مختلفان. عادة ، أود استخدام اختبار AB لتعيين كل زائر بشكل عشوائي لمعرفة الزر A أو زر B (وأحاول التأكد من أن تجربة المستخدم متسقة عن طريق تخزين هذه المهمة في الجلسة ، ملفات تعريف الارتباط ، إلخ).

هل سيكون من الممكن اتباع نهج مختلف ، وبدلاً من ذلك ، قم بتعيين كل من التصميمات المائة العشوائية لاستخدام الزر A أو B ، وقياس معدل التحويل كـ (عدد مبيعات التصميم n) / (وجهات نظر page of design n)

يبدو أن هذا النهج لديه بعض المزايا ؛ لا داعي للقلق بشأن الحفاظ على تجربة المستخدم ثابتة - على سبيل المثال www.example.com/ViewDesign؟id=6) ستعيد دائمًا نفس HTML. إذا أردت اختبار أسعار مختلفة ، فسيكون الأمر أقل إثارة للقلق للمستخدم لرؤية أسعار مختلفة لتصميمات مختلفة عن الأسعار المختلفة ل نفس تصميم على أجهزة الكمبيوتر المختلفة. أتساءل أيضًا ما إذا كان من الأفضل لكبار المسئولين الاقتصاديين - شكوكي هو أن Google "تفضل" أن ترى دائمًا نفس HTML عند زحف الصفحة.

من الواضح أن هذا النهج سيكون مناسبًا لعدد محدود من المواقع ؛ كنت أتساءل فقط عما إذا كان أي شخص قد جربها؟

Answer 1

حدسك صحيح. من الناحية النظرية ، سوف يعمل العشوائية حسب الصفحة بشكل جيد. سيكون لكل من مجموعات العلاج خصائص متوازنة في التوقع.

ومع ذلك ، فإن حجم العينة صغير جدًا ، لذا عليك أن تكون حذراً. التوزيع العشوائي البسيط قد يخلق اختلال التوازن عن طريق الصدفة. الحل القياسي هو الكتلة على خصائص ما قبل المعالجة من القمصان. أهم خاصية هي نتيجة ما قبل المعالجة ، والتي أفترض أنها معدل التحويل.

هناك العديد من الطرق لإنشاء تصميمات عشوائية "متوازنة". على سبيل المثال ، يمكنك إنشاء أزواج باستخدام المطابقة الأمثل, ، و Ramilize داخل أزواج. يمكن العثور على مباراة أكثر قسوة من خلال تصنيف الصفحات حسب معدل التحويل في الأسبوع السابق/الشهر ثم إنشاء أزواج من الجيران. أو يمكنك الجمع بين التوزيع العشوائي المحظور ضمن اقتراح هارون: عشوائيًا داخل أزواج ثم اقلب العلاج كل أسبوع.

القلق الثاني ، غير ذي صلة إلى حد ما ، هو التفاعل بين العلاجات. قد يكون هذا أكثر إشكالية. من الممكن أنه إذا رأى المستخدم زرًا واحدًا في صفحة واحدة ثم زر مختلف في صفحة مختلفة ، فسيكون لهذا الزر الجديد تأثير كبير بشكل خاص. هذا هو ، هل يمكنك حقًا رؤية العلاجات على أنها مستقلة؟ هل يؤثر الزر الموجود في صفحة على احتمال التحويل على آخر؟ لسوء الحظ ، من المحتمل أن يكون الأمر كذلك ، خاصةً لأنه إذا اشتريت قميصًا على صفحة واحدة ، فمن المحتمل جدًا أن تشتري قميصًا على الصفحة الأخرى. كنت قلقًا بشأن هذا أكثر من العشوائية. النهج القياسي - العشوائية من قبل المستخدم الفريد - يحاكي أفضل تصميمك النهائي.

يمكنك دائمًا تشغيل تجربة لمعرفة ما إذا كنت قد حصلت على نفس النتائج باستخدام هاتين الطريقتين ، ثم تابع تجربة أبسط إذا قمت بذلك.

Answer 2

لا يمكنك.

يتيح لنا 50 تي شيرتات الزر A والزر 50 المتبقي BAN B. بعد الاختبار الخاص بك ، تدرك القمصان مع الزر A لها معدل تحويل أفضل.

الآن - هل كان التحويل أفضل بسبب الزر أ ، أم أنه كان أفضل لأن تصميمات القمصان كانت رائعة حقًا وأحب الناس لهم؟

لا يمكنك الإجابة على هذا السؤال بموضوعية ، لذلك لا يمكنك إجراء اختبار A/B بهذه الطريقة.

Answer 3

المشكلة في نهجك هي أنك تختبر شيئين في نفس الوقت.

قل ، التصميم X يستخدم الزر أ. التصميم y يستخدم الزر ب. التصميم Y يحصل على المزيد من المبيعات ، والمزيد من التحويلات.

هل هذا لأن الزر B يعطي معدل تحويل أفضل من الزر A ، أم أن هذا هو أن التصميم Y يعطي معدل تحويل أفضل من التصميم X؟

إذا كان حجم التصميمات الخاص بك مرتفعًا جدًا ، فإن حجم المستخدمين الخاص بك منخفض للغاية ، ويتم توزيع تحويلاتك بالتساوي بين تصاميمك ، فقد أرى أن نهجك أفضل من الأزياء العادية - لأن المخاطر التي تتكتلها التصميمات "الجيدة" معًا وتشويه أن نتيجتك ستكون أصغر من خطر أن يقوم المستخدمون "الجيدون". ومع ذلك ، في هذه الحالة ، لن يكون لديك حجم عينة كبير بشكل خاص من التحويلات لاستخلاص استنتاجات من - تحتاج إلى حجم كبير بما فيه الكفاية من المستخدمين لاختبار AB ليكون جديرة بالاهتمام في المقام الأول.

Answer 4

بدلاً من تغيير زر البيع لبعض الصفحات ، قم بتشغيل جميع الصفحات باستخدام الزر A لمدة أسبوع ثم قم بالتغيير إلى الزر B لمدة أسبوع آخر. يجب أن يمنحك ذلك بيانات كافية لمعرفة ما إذا كان عدد المبيعات يتغير بشكل كبير بين الزرين.

يجب أن يكون الأسبوع قصيرًا بدرجة كافية بحيث لا ينطبق التأثير الموسمي/الطقس.