Возможно ли проводить A / B тестирование по страницам, а не по отдельным лицам?

Question

Допустим, у меня есть простой сайт электронной коммерции, который продает 100 различных дизайнов футболок.Я хочу провести небольшое a / b тестирование, чтобы оптимизировать свои продажи.Допустим, я хочу протестировать две разные кнопки "купить".Обычно я бы использовал AB-тестирование, чтобы случайным образом назначить каждому посетителю просмотр кнопки A или кнопки B (и попытаться обеспечить согласованность пользовательского опыта, сохранив это назначение в сеансе, файлах cookie и т.д.).

Можно ли было бы применить другой подход и вместо этого случайным образом назначить каждому из моих 100 дизайнов использование кнопки A или B и измерить коэффициент конверсии следующим образом (количество продаж дизайна n) / (количество просмотров страниц дизайна n)

Казалось бы, у такого подхода есть некоторые преимущества;Мне не пришлось бы беспокоиться о сохранении согласованности пользовательского интерфейса - данной страницы (напримерwww.example.com/viewdesign?id=6 ) всегда возвращал бы один и тот же html-код.Если бы я тестировал разные цены, для пользователя было бы гораздо менее неприятно видеть разные цены на разные дизайны, чем разные цены на то же самое дизайн на разных компьютерах.Я также задаюсь вопросом, может ли это быть лучше для SEO - я подозреваю, что Google "предпочел бы", чтобы он всегда видел один и тот же html-код при обходе страницы.

Очевидно, что такой подход был бы пригоден только для ограниченного числа сайтов;Мне просто интересно, пробовал ли кто-нибудь это?

Answer 1

Ваша интуиция верна.Теоретически рандомизация по страницам будет работать нормально.Обе группы лечения будут иметь сбалансированные характеристики в ожидаемом плане.

Однако размер выборки довольно мал, поэтому вам нужно быть осторожным.Простая рандомизация может случайно создать дисбаланс.Стандартное решение заключается в том, чтобы блок о характеристиках предварительной обработки рубашек.Наиболее важной характеристикой является результат вашего предварительного лечения, которым, я полагаю, является коэффициент конверсии.

Существует множество способов создания "сбалансированных" рандомизированных дизайнов.Например, вы могли бы создавать пары, используя оптимальное соответствие, и рандомизировать внутри пар.Более грубое соответствие можно найти, оценив страницы по коэффициенту конверсии за предыдущую неделю / месяц, а затем создав пары соседей.Или вы могли бы объединить заблокированную рандомизацию с предложением Аарона:рандомизируйте в парах, а затем меняйте курс лечения каждую неделю.

Вторая проблема, несколько не связанная с этим, заключается в взаимодействие между методами лечения.Это может оказаться более проблематичным.Вполне возможно, что если пользователь увидит одну кнопку на одной странице, а затем другую кнопку на другой странице, эта новая кнопка будет иметь особенно большой эффект.То есть, можете ли вы действительно рассматривать лечение как независимое?Влияет ли кнопка на одной странице на вероятность конверсии на другой?К сожалению, это, вероятно, так и есть, особенно потому, что если вы покупаете футболку на одной странице, то вряд ли купите футболку на другой.Я бы беспокоился об этом больше, чем о рандомизации.Стандартный подход - рандомизация уникальным пользователем - лучше имитирует ваш окончательный дизайн.

Вы всегда можете провести эксперимент, чтобы посмотреть, получите ли вы одинаковые результаты, используя эти два метода, а затем перейти к более простому, если у вас получится.

Answer 2

Вы не можете.

Давайте 50 футболок имеют кнопку A и остальные 50 имеют кнопку B. После вашего теста вы реализуете футболки с кнопкой A, имеют лучшую скорость преобразования.

Сейчас - была преобразование лучше из-за кнопки A, или было лучше, потому что дизайн футболки был действительно крутой, и им нравились люди?

Вы не можете ответить на этот вопрос объективно, поэтому вы не можете сделать тестирование в / б таким образом.

Answer 3

Беда с вашим подходом состоит в том, что вы тестируете две вещи одновременно.

Скажем, дизайн X использует кнопку A. Дизайн y использует кнопку b. Дизайн Y получает больше продаж и более конверсий.

Это потому, что кнопка B дает лучшую скорость преобразования, чем кнопка A, или в том, что для дизайна Y дает лучшую скорость преобразования, чем дизайн X?

Если ваш объем конструкций очень высок, ваш объем пользователей очень низкий, и ваши преобразования распределяются равномерно среди ваших конструкций, я мог бы увидеть ваш подход лучше, чем обычная мода - потому что риск того, что «хорошие» разрабатывает связь вместе и перекоснуть ваш результат будет меньше риска, который делает «хорошие» пользователи. Однако в этом случае у вас не будет особенно большого размера выборки образец, чтобы сделать выводы - вам нужен достаточно большой объем пользователей для тестирования AB, чтобы быть стоящим в первую очередь.

Answer 4

Вместо того, чтобы изменить кнопку продажи для некоторых страниц, запустите все страницы с помощью кнопки A на неделю, а затем измените кнопку B в течение другой недели. Это должно дать вам достаточно данных, чтобы увидеть, значительно ли количество продаж изменяется между двумя кнопками.

Неделя должна быть достаточно короткая, чтобы эффект сезонного / погоды не должен применяться.