Кейсы увеличения конверсии на модели посетителя

Описание работы с роботным трафиком и моделями поведения

Изначально кейсы на живом собственном трафике предполагалось использовать для уточнения модели, подбора ее оптимальных параметров. Однако живой трафик неудобен - это дорого и долго.

Вместо этого для тюнинга алгоритмов можно использовать скрипт, который моделирует действия пользователя: получив от АПИ комбинацию параметров на просмотр, по внутренней модели вычисляет вероятность конверсии, разыгрывает случайное число и "реагирует" либо нет. Система оптимизации пытается увеличить конверсию, ничего не зная о модели поведения.

Здесь и далее: фактор - изменяемый параметр страницы (заголовок, картинка, кнопка, т.д.), значение - один из вариантов фактора, который показывается пользователю, комбинация - полный набор значений по всем факторам, который полностью определяет индивидуальный лендинг.

Тут не учитываются "внешние" параметры пользователя и перехода - их просто нет. Поэтому есть возможность тестировать отдельные комбинации факторов.

Система оптимизации конверсии ("угадывалка", доступная по АПИ) имеет несколько вариантов использования трафика: рандом, обучение, проверка. Рандом показывает случайную страницу на начальном этапе и в небольшой части далее, чтобы подлить свежей крови в модель. Обучение создает и показывает множество разнообразных комбинаций, редко когда пересекающихся. Проверка имеет очередь кандидатов в лучшие комбинации, последовательно тестируемых (на проверку и на рандом отправляются фиксированные % трафика).

Обучение разделено на стадии. В обучении нет заранее определенных полных комбинаций, но можно посчитать средний CR по каждой стадии. В проверке, наоборот, есть полные комбинации, по каждой из которых рассчитывается некий внутренний показатель качества, на тестирование поступает самая "лучшая" кобминация.

Скрипт-пользователь ("кликер") может и оценить любую полученную комбинацию (посчитать вероятность конверсии) по своей модели, и знает полный перечень "самых лучших комбинаций". Поэтому он может залезть в базу к "проверке", упорядочить ее по убыванию качества, и посмотреть, на каком месте найдется любая из самых лучших комбинаций. В тот момент, когда это место становится равным 1 - значит, алгоритм угадывалки поймал правильную комбинацию и оценивает ее как самую лучшую.

Кликер пишет в файл полные данные по обмену, в том числе и конверсию каждой полученной комбинации, и порядковый номер действительно лучшей комбинации. Чем больше вероятность - тем лучшие варианты предлагает угадывалка, чем меньше порядковый номер - тем ближе мы к определению лучшей комбинации.

Это можно использовать для самостоятельного тестирования системы без покупки дорогого трафика. Скачиваете кликер, программируете его как хотите, запускаете из шелла на сервере, потом смотрим на результаты в файле.