A/B-тесты объявлений: как проверять гипотезы в Яндекс Директе

От идеи нового текста до решения по данным: что сравнивать, когда подводить итоги и где нужна настройка эксперимента.

11 сентября 2026 · LidFly

У одного объявления CTR выше. Значит ли это, что его нужно оставить, а второе выключить? Не сразу: вариант мог получать другие показы, приводить больше любопытных посетителей или просто удачно стартовать. A/B-тесты объявлений нужны, чтобы заранее сформулировать гипотезу, сравнить варианты в сопоставимых условиях и не принять случайный всплеск за рост эффективности.

В LidFly можно поручить ИИ прочитать объявления, расходы, поисковые запросы и конверсии, предложить проверяемую гипотезу и подготовить варианты без новых неподтверждённых обещаний. Затем он помогает разобрать результаты с учётом выбранной цели. Само распределение аудитории и запуск нативного A/B-эксперимента в описанном маршруте настраиваются в интерфейсе Директа.

Что считается A/B-тестом в рекламе

A/B-тест сравнивает контрольный вариант A и изменённый вариант B на случайно распределённых группах аудитории. До запуска выбирают, что меняют, какую метрику считают главной и какое решение примут после анализа. Для объявления это может быть проверка одного смыслового акцента: например, понятных условий доставки вместо общего обещания широкого ассортимента.

Обычное сравнение статистики тоже полезно, но качество вывода зависит от того, как получены данные. Разделяйте три ситуации:

• Несколько объявлений в группе. Вы видите, как они отработали при фактической выдаче показов. Это материал для поиска гипотез, но не доказательство равных условий.
• Текст до и после редактирования. Между периодами могли измениться спрос, конкуренция или работа сайта. Отличие результата нельзя уверенно приписать одному заголовку.
• Контролируемый эксперимент. Есть заданное распределение аудитории, варианты, общая методика измерения и правило подведения итогов.

Само наличие двух объявлений не гарантирует равномерной ротации: Яндекс описывал механизм, при котором накопленная статистика влияет на частоту показов вариантов. Поэтому строка с большим CTR ещё не отвечает на вопрос, сработал ли текст сам по себе. Пояснение Яндекса о группах объявлений.

Как выбрать гипотезу, которую имеет смысл проверять

Начните с сомнения покупателя. Человеку может быть непонятна стоимость выезда, срок получения товара или состав услуги. Хорошая гипотеза связывает изменение текста с этим сомнением, ожидаемым действием и метрикой, по которой вы признаете результат полезным.

Слабая формулировка: «Новый заголовок будет лучше». Рабочая: «Если в объявлении заранее указать платный выезд, станет меньше обращений от людей, ожидающих бесплатную диагностику, а стоимость квалифицированной заявки снизится без критичного падения их объёма». У такой проверки есть механизм, критерий успеха и ограничение. Рост CTR ей вообще не обязателен.

До генерации вариантов прочитайте текущие объявления, страницу и поисковые запросы. Возможно, обещание уже есть в тексте, но теряется на посадочной. Или аудитория ищет услугу, которой вы не оказываете. В таком случае косметическая перестановка слов не проверит главную причину проблемы.

Меняйте один осмысленный фактор. Если в варианте B одновременно новый оффер, другая страница, другой регион и другая стратегия, вы проверяете весь пакет. Это допустимая бизнес-задача, но вывод будет относиться к пакету, а не к заголовку. Такой тест лучше честно назвать сравнением двух подходов к запуску.

Какую метрику выбрать: CTR, конверсию или цену заявки

Основная метрика должна отвечать на бизнес-вопрос. Если нужны обращения, которые подходят отделу продаж, выбирайте стоимость квалифицированной заявки при заданном объёме. Если оплата происходит быстро и надёжно измеряется, можно смотреть на оплаченные заказы. CTR оставьте диагностикой интереса к объявлению, а не финальным судьёй.

Проверочные показатели помогают заметить неприемлемую цену улучшения. Условно, заявка подешевела, но их стало настолько мало, что отдел продаж простаивает. Или форм стало больше, но доля подходящих обращений снизилась. Запишите такие ограничения до старта: минимальный объём заявок, допустимый CPA, качество лидов, задержку оплат.

Не смешивайте знаменатели. CTR — клики, делённые на показы. Конверсия из визита в заявку — целевые визиты, делённые на визиты. CPA — расход, делённый на выбранные конверсии. По агрегату «все цели» нельзя судить о стоимости заявки: туда могут попасть другие действия.

Разницу удобно показывать и в исходных величинах, и в процентах. Например, переход с 2% до 3% — это плюс 1 процентный пункт и плюс 50% относительно исходного уровня. Это арифметический пример, не результат кампании; сама разница ещё не доказывает эффект.

Если продажи возникают через недели после заявки, их нужно дождаться и одинаково учесть в обоих вариантах. Подготовку данных разбирает статья о сквозной аналитике рекламы.

Составьте паспорт теста до запуска

Этот короткий документ удерживает проверку от незаметной смены цели. Его можно подготовить в чате, согласовать с коллегой и сохранить рядом с результатами. Главное — написать его до запуска, а не после того, как один из вариантов уже выглядит привлекательнее.

1. Гипотеза: какое сомнение снимаем, что меняем и какого результата ожидаем.
2. Варианты: точный текст A и B, ID кампаний и объявлений, ссылка на посадочную. Всё, что должно совпадать, перечислите явно.
3. Измерение: счётчик, ID основной цели, модель атрибуции, источник квалификации или оплаты, проверочные показатели.
4. Аудитория: способ распределения, доли, география и условия показов. Проверьте, нет ли других экспериментов, меняющих условия.
5. Ресурсы: согласованный расход, период, ожидаемый поток данных и задержка конверсий.
6. Решение: когда анализируем, какой эффект полезен бизнесу, каким методом оцениваем неопределённость и что делаем при отсутствии ясного результата.

Тест должен иметь шанс обнаружить практически важную разницу. Если за доступный бюджет оба варианта получат лишь единичные продажи, сложная таблица не добавит информации. Можно выбрать более частое, но осмысленное событие, увеличить горизонт или отложить эксперимент. Подменять оплату любым кликом ради «достаточной статистики» не стоит: вы получите уверенный ответ не на тот вопрос.

Как запустить A/B-эксперимент в Яндекс Директе

В актуальной справке Яндекса A/B-эксперименты доступны для ЕПК с продвижением сайтов и приложений, кроме показов в мессенджерах, а также для медийных кампаний. Настройка находится в разделе «Библиотека» → «A/B-эксперименты». Там задают варианты кампаний, доли аудитории, цель и плановый срок анализа. Инструкция по A/B-экспериментам.

Подготовьте кампании, которые отличаются проверяемым фактором. Для сравнения текста сохраняйте одинаковыми посадочную, географию, стратегию и остальные условия. По рекомендации Яндекса доли аудитории стоит сделать равными, а бюджеты — пропорциональными долям.

Запишите фактические ID вариантов и момент начала. Проверьте, что выбранная цель относится именно к нужному событию, варианты доступны для показов и их состояние соответствует паспорту. Без этой проверки последующая статистика может описывать совсем другой запуск.

Сколько должен длиться тест и когда можно сделать вывод

Универсального числа кликов нет. Длительность зависит от частоты целевого действия, разброса результатов, размера полезного эффекта, обучения кампаний и задержки продаж. В справке Яндекс советует учитывать полные бюджетные интервалы и обучение; календарная неделя сама по себе не гарантирует достаточных данных.

Для обычного теста с заранее фиксированным сроком не выбирайте день остановки по первому красивому результату. Многократное подведение статистического итога повышает риск ложного вывода. Microsoft в рекомендациях по экспериментам отдельно разбирает эту проблему и советует учитывать досрочные просмотры в методе анализа. Рекомендации Microsoft Research.

Контролировать расход, доступность сайта и ошибки измерения можно и нужно во время теста. Аварийная остановка из-за сломанной формы — защита бизнеса, но не доказательство превосходства одного текста.

На финальной проверке учитывайте размер эффекта и его неопределённость, а не только цвет ячейки. Для статистической оценки нужен метод, подходящий выбранной метрике и единице распределения. Клики одного человека не всегда независимы, а CPA нельзя бездумно подставить в калькулятор разницы двух долей.

«Разница не подтверждена» означает, что по этим данным вы не получили убедительного ответа. Это не доказательство равенства вариантов. Вернуться к контролю, оставить текущую версию по удобству или запланировать другой тест — нормальные решения, если их не выдавать за установленный рост эффективности.

Как подготовить и разобрать тест через LidFly

Начните с чтения текущей рекламы в выбранном проекте. Если кабинетов несколько, укажите нужный кабинет и кампанию. Готовая команда:

Подготовь гипотезу теста объявлений для выбранного проекта.
Сначала покажи кабинет, кампанию и группу, которые анализируешь.
Прочитай объявления, поисковые запросы и статистику за последний
полный месяц. Получи цели Метрики и согласуй основную цель со мной.
Сравни тексты, расход и конверсии по этой цели, укажи атрибуцию.
Если условия показов не были случайно распределены, назови это
наблюдением, а не доказанным A/B-тестом.
Предложи одну гипотезу и два варианта текста без новых обещаний.
Составь паспорт теста, критерий решения и список настроек для Директа.
Ничего не создавай и не запускай до согласования.

LidFly читает статистику по объявлениям вместе с их текстами, поисковые запросы и цели Метрики. ИИ соединяет эти данные в предметное предложение: какой текст проверять, почему именно его и какой показатель будет отвечать на вопрос. Это сокращает ручное сопоставление ID, объявлений и конверсий, но не заменяет план эксперимента.

Если затем вы поручаете создать или изменить поддерживаемое объявление, согласуйте точные поля и объекты. После выполнения перечитайте объявление, проверьте текст, ссылку и статус. Сам факт записи ещё не означает прохождения модерации или запуска экспериментального распределения. При недоступном типе объявления правку выполняют в кабинете, а в LidFly сохраняют план и последующую проверку.

После теста дайте ИИ период, ID вариантов, выбранную цель и данные нативного отчёта эксперимента. Обычный отчёт по объявлениям помогает сверить расход и содержание вариантов; он сам не подтверждает корректность распределения аудитории и статистическую значимость. Хороший итоговый отчёт отделяет решение от наблюдения: что меняем сейчас, что оставляем под вопросом и какую следующую гипотезу проверяем.

Сценарий: больше кликов на ремонт, но хуже заявки

Учебный сценарий, не реальный кейс. Сервис ремонта использует общий текст о быстром выезде. Люди нажимают на объявление, но часть отказывается, узнав стоимость диагностики. Цена известна, условия подтверждены бизнесом.

Для группы ремонта подготовь вариант объявления с явным условием
о платной диагностике. Используй только стоимость и условия,
которые я подтвержу. Остальное предложение сохрани.
Основная задача теста — стоимость квалифицированной заявки,
проверочный показатель — их объём. Покажи, есть ли в Метрике
такая цель. Если нет, сначала составь план её измерения.

ИИ читает объявления и цели. Если квалификация не измеряется, итог первого шага — конкретное задание на данные, а не вымышленный расчёт качества. Если данные есть, он готовит текст, паспорт теста и список условий, которые нельзя менять во время проверки. Пользователь утверждает вариант, настройку эксперимента и допустимый расход, затем запускает проверку через кабинет.

В конце LidFly сопоставляет согласованные варианты и показатели. Более низкий CTR сам по себе не повод отвергать новый текст: он мог отсечь обращения, которым не подходят условия. Решение принимают по квалифицированным заявкам, их объёму и достаточности данных. Неподтверждённую разницу так и записывают, без выбора победителя по привычке.

Сценарий: магазину предлагают сразу несколько новых обещаний

Учебный сценарий. Магазин хочет заменить нейтральный текст на объявление со скидкой, быстрым получением и расширенной гарантией. Часть условий ещё не подтверждена. Если выпустить всё сразу, даже успешная кампания не покажет, какой аргумент сработал.

Прочитай текущие объявления выбранной товарной группы.
Из подтверждённых условий выбери один аргумент для теста:
условия получения товара. Не добавляй скидку или гарантию.
Подготовь контроль и вариант, сохрани страницу и остальные условия.
Составь план сравнения по оплаченной покупке, если она измеряется;
иначе явно покажи, какого события не хватает.

LidFly возвращает два текста с одним смысловым отличием и список параметров, которые должны совпадать. Для комбинаторного объявления отдельно проверяют остальные заголовки и тексты: несколько фраз внутри одного объявления могут дать разные сочетания. В таком случае тест сравнивает наборы, если вы не обеспечили более узкое различие.

Если вариант B подготовлен как комбинаторное объявление в остановленной тестовой кампании, до настройки эксперимента можно поручить LidFly точечную правку. ИИ читает текущее объявление и показывает полный состав заголовков и текстов после изменения. Пользователь подтверждает: «Примени этот согласованный набор к указанному объявлению B, сохрани ссылку и изображения». LidFly выполняет доступную правку и перечитывает объявление, сверяя наборы, ссылку и статус. Запуск эксперимента остаётся отдельным действием в Директе.

После согласованной правки пользователь сверяет фактическое содержание объявления. По окончании эксперимента ИИ проверяет, что сравниваются нужные варианты, а покупки учтены за одинаковый период с одинаковой методикой. Результат — решение по одному аргументу в проверенной группе. Перенос на другую аудиторию остаётся новой гипотезой, которую эти данные сами по себе не подтверждают. Подготовить исходные варианты поможет статья о текстах объявлений с ИИ.

Что делать с результатом

Если данные поддерживают полезный эффект и проверочные показатели приемлемы, согласуйте применение изменения и проверьте запись. Затем наблюдайте, сохраняется ли результат в обычной работе: после завершения эксперимента условия уже могут отличаться от контролируемых. При отрицательном эффекте сохраните вывод вместе с условиями теста: эта гипотеза не сработала для данной аудитории и предложения.

Если ответ не получен, не награждайте случайного лидера. Запишите, чего не хватило: объёма, времени до оплат, качества измерения или действительно заметного различия. Сначала исправьте это ограничение, затем выбирайте следующую гипотезу. Проверку состояния кампании удобно начать с аудита Яндекс Директа.

Частые вопросы

Два объявления в одной группе — это A/B-тест?

Не обязательно. Без контролируемого распределения аудитории это сравнение фактических результатов, полезное для поиска гипотез. Оно не доказывает, что разницу вызвал именно текст.

Сколько кликов нужно для A/B-теста объявлений?

Универсального числа нет. Нужный объём зависит от метрики, её исходного уровня, размера полезного эффекта, способа распределения и метода оценки. Если ожидается мало конверсий, ещё до запуска выберите достаточный срок или более частое значимое событие. Если завершённый тест не дал ответа, зафиксируйте недостаток данных и спланируйте следующую проверку.

Можно ли выбрать победителя по CTR?

Если цель — заявки или продажи, одного CTR недостаточно. Победителя выбирают по заранее заданной бизнес-метрике, проверочным ограничениям и оценке неопределённости результата.

Может ли LidFly сам запустить нативный A/B-эксперимент?

В описанном маршруте нативный эксперимент настраивают в интерфейсе Директа. LidFly помогает прочитать данные, подготовить гипотезу, варианты и отчёт, а поддерживаемые изменения объявлений выполняет только после согласования.