Сервисы отправки email-рассылок помогают без особых технических сложностей проводить любые А/В-тесты писем. И экспериментировать можно не только с заголовками и временем отправки. Что еще протестировать и как это сделать без распространенных ошибок, расскажем в статье.
Краткая инструкция
Напомним, что представляет собой А/В-тестирование. В случае с электронной почтой схема такая:
- выдвигается гипотеза об изменениях, которые могут повлиять на эффективность рассылки (заголовок, объем и стилистика текста, кнопки CTA и т. д.);
- база адресов или ее часть делится на две равные группы;
- каждой группе отправляется свой вариант письма;
- замеряется и анализируется эффект каждого варианта;
- письмо с лучшими показателями подтверждает или опровергает гипотезу.
Такие тесты несложно проводить в сервисах для автоматизации рассылок. Многие из них даже могут самостоятельно выбрать лучший вариант и разослать его по базе, не включенной в тестирование. Нужно только уделить внимание настройкам продолжительности теста, чтобы результат был репрезентативным.
Стоит отметить, что не каждое тестирование показательно. Нередко случается, что проверяемое изменение не играет особой роли. В таком случае показатели Open rate, CTR или конверсии будут примерно одинаковыми. Но это не всегда говорит о том, что рассылка идеальна. Возможно, тестируется не то, что способно повлиять на результат.
К слову, А/В-тесты полезны не только для писем, но и для других уведомлений: сообщений в соцсетях и мессенджерах, push-уведомлений, sms. Главное, корректно разделить базу подписчиков.
Что тестировать, кроме текста?
Ясно, что эффективной рассылке нужен интригующий информативный заголовок, понятный и приятный для чтения текст, заметная кнопка призыва к действию с ясным посылом. Тесты этих элементов писем необходимы. Кроме них, можно проверить:
- Оформление. Дизайн письма важен, поэтому к нему стоит отнестись со всем вниманием. Если говорить о небальных решениях, можно протестировать черный фон или «темную тему» для мобильных, «карусели» фотографий товара и поворот изображений на 360 градусов прямо в письме. И, конечно, любые идеи по расположению и количеству фотографий, анимации, gif и кнопок. Главное, чтобы это было уместно и не вызывало сложностей с загрузкой письма на стороне получателя.
- Интерактив. Продолжая экспериментировать с оформлением, стоит изучить возможности для встраивания интерактивных элементов. И не только сам факт добавления интерактива, но и варианты его оформления. Например, найти наиболее удачную форму для регистрации через письмо. Или попробовать последний тренд рассылок — мини-сайт в письме, на котором можно выбрать товары и оформить заказ без перехода на сайт.
- Конверсия без рассылки. Еще один интересный вариант — проверка эффективности рассылки как таковой. Если есть вероятность, что активная часть аудитории вернется за покупками без рассылки, стоит проверить, так ли это. Метод прост: конвертирующая рассылка отправляется 90-95% подписчиков, после чего проверяется конверсия среди них и среди тех, кто не получал письма. Чтобы рассчитать, сколько подписчиков нужно оставить без письма для получения репрезентативной выборки, можно воспользоваться специальным онлайн-калькуляторами для расчета выборки.
В любом случае важно грамотно провести тестирование. Идей может возникнуть много, но правила и возможные ошибки едины практически для всех.
Правила А/В-тестирования
Чтобы получить достоверные результаты, нужно следовать следующим правилам:
- Одна гипотеза. Если проверять сразу несколько изменений, будет неясно, какое из них повлияло на результат. Но гипотезой может быть и кардинальное изменение дизайна.
- Репрезентативная выборка. Когда тестирование проводится для части подписчиков, нужно выделить значимое количество адресов из нужного сегмента. Например, 20% активных покупателей или 100% «уснувших». Группа делится пополам.
- Продолжительность. Важно знать, с какой скоростью получатели обычно открывают письма и сколько времени в среднем проходит от рассылки до покупки. По этим данным определяется, как долго нужно ждать результат тестирования, от нескольких часов до 1-2 недель.
- Выбор метрики. Нужно замерять те показатели, которые актуальны для проверяемого изменения. Для заголовков — открываемость, для содержания — кликабельность, для продающих писем — конверсия.
Напомним: чтобы проверить, будет ли выборка репрезентативной, удобно проверить ее онлайн-калькулятором. Остальные важные данные, такие как скорость отклика, конверсия до рассылки и другие бизнес-метрики, стоит заранее посмотреть в отчетах о предыдущих рассылках, в CRM, Google Analytics или Яндекс.Метрике.
Частые ошибки
Если игнорировать правила или следовать им небрежно, есть риск допустить ошибки, которые сведут на нет все тестирование:
- «Грязная» база. Если в базе окажутся неактуальные адреса или получатели, давно и упорно пропускающие рассылки, результат будет неверным. Поэтому перед запуском тестирования необходимо привести базу в порядок.
- Неслучайная выборка. Адреса должны выбираться только рандомно. Иначе в одну группу может попасть, к примеру, больше мобильных пользователей, чем в другую. Или при выборе первых N получателей по списку в группе для тестирования окажется больше лояльных и давно покупающих людей. И результат будет сомнительным.
- Без предварительной статистики. Как уже упоминалось, при проверке отклика нужно знать предыдущие показатели. Иначе неясно, с чем сравнивать и как интерпретировать результаты.
- Неочевидная причина победы. Эта проблема возникает, когда одновременно тестируется несколько небольших изменений. В такой ситуации может быть неясно, что именно повлияло на эффективность: новые фотографии, другой цвет кнопки или простое попадание в интересы аудитории. Но, напомним, в этом случае речь идет о проверке гипотез без глобальных изменений всего шаблона.
- Досрочная остановка теста. Чтобы избежать этой ошибки, нужно знать среднее время прочитывания или перехода к покупкам. Если важно измерить конверсию, необходимо использовать данные из CRM и аналитические отчеты по сайту для понимания пути получателей рассылки к оформлению заказа. Если остановить тест слишком рано, результат будет недостоверным.
- Незначительные изменения. Наконец, получатели могут просто не заметить изменения и отреагировать на рассылку как обычно. На это может указать сохранение тех же показателей CTR или конверсии, что и в предыдущие периоды у той же группы получателей.
Итак, важно рандомно выбрать адреса для тестовых групп, проверить показатели активности этих подписчиков за другие периоды и определить, сколько времени нужно выждать для получения достоверного результата. Последнее во многом зависит от цели изменений: так, открываемость видно почти сразу, а конверсию, как правило, нужно ждать.
В заключение
А/В-тестирование рассылок полезно для понимания эффективности этого инструмента в сравнении с другими каналами коммуникации и для повышения результативности email-маркетинга. Достаточно соблюдать сравнительно несложные правила тестирования и проверять даже те изменения, которые кажутся абсолютно логичными. Результаты могут оказаться весьма интересными.
