konvr
интерактивное многофакторное тестирование лендингов с большим числом вариантов raise@konvr.ru
контакты
логин
пароль
регистрация, напомнить



Для всех:

Кейсы увеличения конверсии на модели посетителя


26 июля 2014 Почему "наивное" предположение в MVT о независимости факторов не работает
26 июля 2014 Роботный трафик, очень слабая зависимость CR (*1.2), 1 тест на 3^15 лендингах
25 июля 2014 Роботный трафик, слабая зависимость CR (*1.333), 10 тестов на 3^12 лендингах
23 июля 2014 Роботный трафик, средняя зависимость CR (*1.5), 100 тестов на 9^4 лендингах
13 июля 2014 Роботный трафик, средняя зависимость CR (*1.5), 100 тестов на 3^9 лендингах
2 июля 2014 Роботный трафик, очень слабая зависимость CR (*1.2), 100 тестов на 6^6 лендингах
25 июня 2014 Роботный трафик, слабая зависимость CR (*1.333), 100 тестов на 6^6 лендингах
23 июня 2014 Роботный трафик, средняя зависимость CR (*1.5), 100 тестов на 6^6 лендингах
22 июня 2014 Роботный трафик, сильная зависимость CR (*2), 100 тестов на 6^6 лендингах
4 февраля 2014 Роботный трафик, сильная зависимость CR (*2), 10 тестов на 6^9 лендингах
4 февраля 2014 Описание работы с роботным трафиком и моделями поведения

Роботный трафик, слабая зависимость CR (*1.333), 10 тестов на 3^12 лендингах

Отличие этого эксперимента в еще бОльшем числе параметров - 12 изменяемых факторов против 9 ранее, число значений то же - 3. Большее число факторов. Проведено меньшее число экспериментов, т.к. работа с 12 факторами стала очень сильно нагружать систему.

Параметры модели пользователя:

  • Используется 12 факторов по 3 вариантов значений у каждого = 3^12=531441 уникальных лендингов.
  • Максимальная конверсия 50% у любой из "лучших" комбинаций, всего их 3 непересекающихся (000000000000, 111111111111, 222222222222) - для усложнения задачи
  • При каждой ошибке относительно одной из "лучших" комбинаций конверсия падает в 1.333 раза.
  • При частичном совпадении комбинации значений с несколькими "лучшими" - используется максимальная конверсия.
  • Запускается 10 экспериментов в одинаковых условиях.

Варианты конверсии для разных частичных совпадений выглядят так:

0,0,0,0,0,0,0,0,0,0,0,0 CR=50.00% - одна из набора "лучших" комбинаций
0,0,0,0,0,0,0,0,0,0,0,* CR=37.51% - один не угадали - в 1.333 раза хуже предыдущей
0,0,0,0,0,0,0,0,0,0,*,* CR=28.14% - два не угадали - еще в 1.333 раза хуже предыдущей, т.д.
0,0,0,0,0,0,0,0,0,*,*,* CR=21.11%
0,0,0,0,0,0,0,0,*,*,*,* CR=15.84%
0,0,0,0,0,0,0,*,*,*,*,* CR=11.88%
0,0,0,0,0,0,*,*,*,*,*,* CR=8.91%
0,0,0,0,0,*,*,*,*,*,*,* CR=6.69%
0,0,0,0,*,*,*,*,*,*,*,* CR=5.02%
0,0,0,*,*,*,*,*,*,*,*,* CR=3.76%
0,0,*,*,*,*,*,*,*,*,*,* CR=2.82%
0,*,*,*,*,*,*,*,*,*,*,* CR=2.12%

Т.к. мы иcпользуем не очень большое число значений, при случайном розыгрыше значений средняя конверсия будет 8.7% за счет случайного выпадения пятерок, шестерок т.д. Наша цель - угадать одну из самых лучших комбинаций.

Задача с одной лучшей комбинацией может быть решена и наивным методом в предположении о независимости факторов - при случайном розыгрыше значений совпадения с нулем будут давать плюс в конверсию, если не совпало - конверсия ниже. Такая задача слишком проста. Поэтому для усложения модели возьмем 3 старших комбинации, которые не пересекаются (три раза одинаковые значения: 0,1,2), вероятность берется максимальной по всем сравнениям со всеми старшими комбинациями - эту задачу не решить наивным методом.

Запускается десять одинаковых экспериментов.

Конверсия, которая соответствует предложенным системой лендингам, в ходе тестирования увеличивается так:

Здесь представлено среднее по всем экспериментам, данные по отдельным экспериментам выглядят так:

Однако, все показанные системой лендинги включают в себя и обучение, которое обязано пробовать не только самые лучшие варианты, но захватывать и плохие. Конверсия же самого лучшего варианта, без обучения, показана здесь (среднее по всем экспериментам):

Конверсии самых лучших вариантов по отдельным экспериментам выглядят так:

Т.к. скрипт, моделирующий действия пользователя, знает набор "лучших" лендингов, мы можем изобразить процесс угадывания их. Каждая точка соответствует угадыванию лучшего лендинга в одном эксперименте:

В итоге за ~ 4800 просмотров найдено 9 из 10 лучших комбинаций факторов, медиана по всем экспериментам ~ 2000 просмотров для нахождения оптимального лендинга.

Задача решена в 9 случаях из 10 за ~ 4800 просмотров. В одном случае система не успела угадать 2 фактора из 12, остальные нашла правильно.

konvr
интерактивное многофакторное тестирование лендингов с большим числом вариантов raise@konvr.ru
контакты