Эх, помню еще когда A/B тесты были уделом избранных, а не вот это вот все, что сейчас. Сейчас любой может на коленке какую-то гипотезу проверить, а потом удивляется, почему сайт упал. В моём время, чтобы такое запустить, надо было реально команду из аналитиков, программистов и маркетологов собрать, и все равно рисковали.

Короче, тут, как мне кажется, главное – это не только цифры смотреть, но и за контекстом следить. А контекст – это ведь вся история попыток продвижения сайтов, и не только через контекстную рекламу. SEO, например, оно работает на долгосрочную перспективу, и его влияние на главную страницу может быть неочевидным в краткосрочной перспективе A/B теста. Это такая игра, знаете ли.

Мы когда-то так же заморачивались с одной главной страницей, хотели все переделать под мобилки. В итоге, оказалось, что десктопные пользователи, которые приносили больше денег, просто перестали понимать, куда идти. Вот тебе и "оптимизация".