Кейсы увеличения конверсии на модели посетителя

Роботный трафик, очень слабая зависимость CR (*1.2), 1 тест на 3^15 лендингах

Отличие этого эксперимента в еще бОльшем числе параметров - 15 изменяемых факторов против 12 ранее, число значений то же - 3. Большее число факторов. Проведен только один эксперимент, т.к. работа с 15 факторами еще сильнее нагружала систему.

Параметры модели пользователя:

• Используется 15 факторов по 3 вариантов значений у каждого = 3^15=14348907 уникальных лендингов.
• Максимальная конверсия 50% у любой из "лучших" комбинаций, всего их 3 непересекающихся (000000000000000, 111111111111111, 222222222222222) - для усложнения задачи
• При каждой ошибке относительно одной из "лучших" комбинаций конверсия падает в 1.2 раза.
• При частичном совпадении комбинации значений с несколькими "лучшими" - используется максимальная конверсия.
• Запускается 1 эксперимент.

Варианты конверсии для разных частичных совпадений выглядят так:

0,0,0,0,0,0,0,0,0,0,0,0,0,0,0 CR=50.00% - одна из набора "лучших" комбинаций
0,0,0,0,0,0,0,0,0,0,0,0,0,0,* CR=41.67% - один не угадали - в 1.2 раза хуже предыдущей
0,0,0,0,0,0,0,0,0,0,0,0,0,*,* CR=34.72% - два не угадали - еще в 1.2 раза хуже предыдущей, т.д.
0,0,0,0,0,0,0,0,0,0,0,0,*,*,* CR=28.94%
0,0,0,0,0,0,0,0,0,0,0,*,*,*,* CR=24.11%
0,0,0,0,0,0,0,0,0,0,*,*,*,*,* CR=20.09%
0,0,0,0,0,0,0,0,0,*,*,*,*,*,* CR=16.74%
0,0,0,0,0,0,0,0,*,*,*,*,*,*,* CR=13.95%
0,0,0,0,0,0,0,*,*,*,*,*,*,*,* CR=11.63%
0,0,0,0,0,0,*,*,*,*,*,*,*,*,* CR=9.69%
0,0,0,0,0,*,*,*,*,*,*,*,*,*,* CR=8.08%
0,0,0,0,*,*,*,*,*,*,*,*,*,*,* CR=6.73%
0,0,0,*,*,*,*,*,*,*,*,*,*,*,* CR=5.61%
0,0,*,*,*,*,*,*,*,*,*,*,*,*,* CR=4.67%
0,*,*,*,*,*,*,*,*,*,*,*,*,*,* CR=3.89%

Т.к. мы иcпользуем не очень большое число значений, при случайном розыгрыше значений средняя конверсия будет 13% за счет случайного выпадения комбинаций более высокого ранга. Наша цель - угадать одну из самых лучших комбинаций.

Задача с одной лучшей комбинацией может быть решена и наивным методом в предположении о независимости факторов - при случайном розыгрыше значений совпадения с нулем будут давать плюс в конверсию, если не совпало - конверсия ниже. Такая задача слишком проста. Поэтому для усложения модели возьмем 3 старших комбинации, которые не пересекаются (три раза одинаковые значения: 0,1,2), вероятность берется максимальной по всем сравнениям со всеми старшими комбинациями - эту задачу не решить наивным методом.

Запускается одни эксперимент.

Конверсия, которая соответствует предложенным системой лендингам, в ходе тестирования увеличивается так:

Однако, все показанные системой лендинги включают в себя и обучение, которое обязано пробовать не только самые лучшие варианты, но захватывать и плохие. Конверсия же самого лучшего варианта, без обучения, показана здесь:

Задача решена за ~ 7700 просмотров.