Карта методов
экспериментирования

A/B-тест — эксперимент, в котором пользователи случайно делятся на две группы: A (контроль) и B (тест). Разница в метриках — оценка эффекта.
Пример: Booking.com показывает группе B новый дизайн карточки отеля. Через 2 недели сравнивают конверсию: A = 3,1 %, B = 3,4 % → прирост +0,3 п. п.

РКИ (рандомизированное контролируемое испытание) — золотой стандарт причинного вывода: участники случайно распределяются между условиями.
Пример: 100 разработчиков, 50 случайно получают Copilot, 50 — без. Через неделю сравнивают скорость задач.

Рандомизация — случайное распределение участников между условиями. Устраняет систематические различия между группами.
Пример: хеш user_id % 2 определяет группу. Опытные и новые пользователи попадают в обе группы примерно поровну без ручного вмешательства.

Контрольная группа — группа, не получающая изменения. Точка отсчёта для сравнения.
Пример: в тесте нового алгоритма рекомендаций контрольная видит старый алгоритм. Её метрики — baseline.

Тестовая (экспериментальная) группа — группа, получающая новый вариант или изменение.
Пример: 10 % пользователей Яндекс.Музыки получают новый алгоритм плейлиста «Микс дня».

Единица воздействия — на кого действует изменение. Единица рандомизации — кого случайно распределяют между условиями. Единица анализа — уровень расчёта метрики и стандартной ошибки.
Пример: для маркетплейса воздействие — на весь рынок, рандомизация — по времени, анализ — по часовому окну.

Кластер — группа связанных наблюдений (запросы пользователя, пользователи команды, жители города). Внутри кластера наблюдения не независимы.
Пример: один активный пользователь сделал 800 запросов, другой — 3. Если считать каждый запрос отдельным наблюдением, первый «заглушит» второго. Кластер = пользователь.

Спилловер (утечка воздействия) — изменение в тестовой группе влияет на контрольную или наоборот, нарушая независимость групп.
Пример: тестовые водители такси с новым алгоритмом маршрутов забирают заказы, которые иначе достались бы контрольной группе. Метрики контроля ухудшаются из-за спилловера, а не отсутствия фичи.

SUTVA (допущение устойчивости единичного воздействия) — исход каждого участника зависит только от его собственного назначения. Нарушается при спилловере или скрытых вариантах условия.
Пример: в соцсети пользователь из контрольной группы видит репосты контента, сгенерированного фичей тестовой группы — SUTVA нарушена.

Контрфакт — гипотетический сценарий «что было бы, если бы вмешательства не произошло». Разница между фактом и контрфактом — причинный эффект.
Пример: после запуска Copilot продуктивность = 120. Модельный контрфакт без Copilot = 105. Причинный эффект = 15.

Триангуляция — проверка одного эффекта несколькими независимыми методами. Совпадение выводов повышает уверенность, расхождение — сигнал к расследованию.
Пример: A/B показал +12 %, лаба +15 %, DiD +9 %, дневники «экономлю 30–40 минут в день» — четыре источника сходятся.

Внутренняя валидность — корректность причинного вывода внутри условий исследования. Внешняя валидность — переносимость результата на реальную среду.
Пример: лаба с 50 участниками и строгим контролем — высокая внутренняя, средняя внешняя. Продакшен A/B на миллионах — высокая обе.

ATE (средний эффект воздействия) — средний эффект по всей популяции. Главный estimand классического A/B.
Пример: новая кнопка «Купить» увеличила конверсию в среднем на +0,5 п. п. — это ATE.

ATT (средний эффект для получивших воздействие) — средний эффект только для тех, кто фактически получил изменение. Типичный estimand DiD.
Пример: Copilot внедрили в отдел продаж, не в маркетинг. DiD оценивает эффект для отдела продаж, не для всей компании.

LATE (локальный средний эффект) — эффект для комплаеров: тех, чьё поведение изменил инструмент. Estimand IV и RDD (у порога).
Пример: email-приглашение попробовать Copilot. LATE = эффект для тех, кто начал использовать инструмент именно благодаря приглашению.

CACE (средний причинный эффект для комплаеров) — синоним LATE.
Пример: тот же — эффект для тех, кто стал использовать инструмент именно потому, что был приглашён.

Estimand — целевая величина, которую пытается оценить эксперимент (ATE, ATT, LATE и др.). Разные методы оценивают разные estimand-ы.
Пример: A/B → ATE; DiD → ATT; IV → LATE. Один продуктовый вопрос — три разных ответа в зависимости от метода.

Estimator (оценщик) — алгоритм оценки estimand-а по данным. Один estimand может оцениваться разными estimator-ами (для ATT в DiD: TWFE-регрессия vs Callaway–Sant'Anna).
Пример: для ATT — стандартный TWFE даёт смещённую оценку при гетерогенных эффектах, Callaway–Sant'Anna — нет.

MDE (минимально обнаружимый эффект) — наименьший размер эффекта, который эксперимент способен зафиксировать при заданной мощности и α.
Пример: 10 000 пользователей на группу при baseline 5 % → MDE ≈ 0,4 п. п. Реальный эффект +0,2 п. п. тест не увидит.

Мощность (1 − β) — вероятность обнаружить реально существующий эффект. Стандарт — 80 %.
Пример: мощность 40 % → тест пропустит реальный эффект в 6 из 10 запусков. Команда решит, что фича не работает, хотя на самом деле не хватило данных.

Ошибка I рода (α, ложноположительный результат) — ложное обнаружение эффекта, которого нет. Стандарт — 5 %.
Пример: p = 0,03 → запустили фичу. Эффекта не было — просто шум. Это ошибка I рода.

Ошибка II рода (β, ложноотрицательный результат) — пропуск реально существующего эффекта. β = 1 − мощность.
Пример: реальный эффект +2 % к выручке, но тест на маленькой выборке показал p = 0,15 → команда не запустила фичу. Потеря 2 млн ₽/год.

CI (доверительный интервал) — диапазон, в который с заданной вероятностью попадает истинный эффект.
Пример: эффект = +3,2 %, CI 95 % = [+1,1 %; +5,3 %]. Эффект положителен, но может быть и +1 %, и +5 %.

p-value — вероятность получить наблюдаемую (или более экстремальную) разницу при условии, что истинного эффекта нет. Не равна вероятности того, что гипотеза верна.
Пример: p = 0,02 → «если бы эффекта не было, шанс увидеть такую разницу — 2 %», а не «вероятность отсутствия эффекта = 2 %».

Дисперсия — мера разброса метрики. Чем выше дисперсия, тем больше нужна выборка для обнаружения эффекта.
Пример: «число заказов» имеет σ = 2,3, «выручка» — σ = 450. Для того же MDE по выручке нужно в 40 раз больше пользователей.

ICC (внутрикластерная корреляция) — доля общей дисперсии, объяснимая принадлежностью к кластеру. Высокий ICC → меньше эффективный N в кластерном эксперименте.
Пример: ICC = 0,05, 20 команд по 50 человек (1000 человек) дают эффективный N ≈ 130, а не 1000.

Statistical inference (статистический вывод) — заключения о популяции по выборке: оценка параметра, CI, тестирование гипотез.
Пример: получили оценку +3,2 % с CI [1,1 %; 5,3 %] и p = 0,02 → делаем вывод о наличии положительного эффекта в популяции.

Дельта-метод — оценка дисперсии ratio-метрик (revenue / sessions). Применяется при A/B на уровне сессий.
Пример: метрика = выручка / число сессий. Нельзя просто поделить средние — нужно учесть ковариацию числителя и знаменателя. Дельта-метод даёт корректный CI.

Доля побед (winrate) — доля случаев, когда вариант A выиграл у B (или наоборот). Естественная метрика interleaving.
Пример: в interleaving алгоритм A получил клики в 1500 сессиях, B — в 1200. Winrate A = 1500/2700 ≈ 0,56.

DiD (разность разностей) — квазиэкспериментальный метод: сравнивается изменение метрики «до/после» в группе с воздействием и в контрольной. Ключевое допущение — параллельные тренды.
Пример: Copilot в Москве (treated), Питер — без. «До»: 100 и 95. «После»: 120 и 110. DiD-эффект = (120−100) − (110−95) = 5.

Параллельность трендов — допущение DiD: без вмешательства тренды в обеих группах развивались бы параллельно. Проверяется на доэкспериментальной части.
Пример: за 6 месяцев до внедрения Москва и Питер росли на +2 ед./мес. → DiD применим. Если +5 и +1 → нарушение.

Поэтапное DiD (staggered DiD) — вариант DiD для поэтапного раската: разные группы получают воздействие в разное время.
Пример: Copilot раскатывается: январь — отдел A, март — B, июнь — C. Стандартная регрессия даёт смещённую оценку — нужны Callaway–Sant'Anna.

TWFE (двусторонние фиксированные эффекты) — стандартная регрессия для панельных данных. При гетерогенных эффектах в staggered DiD даёт смещённые оценки (парадокс отрицательных весов).
Пример: ранние когорты дают +30 %, поздние +5 %. TWFE усредняет с неверными весами; оценка может даже сменить знак.

Событийный анализ (event-study график) — визуализация эффекта по времени относительно момента вмешательства. Проверяет pre-trends и динамику эффекта.
Пример: ось X — месяцы до/после внедрения. До t = 0 — около нуля (pre-trends ок). После — рост до +15 % к месяцу 3.

Доэкспериментальные тренды (pre-trends) — тренды метрики до вмешательства. Обязательная валидация DiD: значимые pre-trends → нарушение параллельности.
Пример: коэффициенты за 6 месяцев до внедрения колеблются вокруг нуля → pre-trends ок → DiD применим.

Упреждающий эффект (anticipation effect) — изменение поведения в ожидании вмешательства ещё до его начала. Нарушает DiD.
Пример: объявили, что через месяц отдел получит Copilot. Сотрудники откладывают сложные задачи «до появления ИИ» → продуктивность падает ещё до treatment.

Синтетический контроль — метод для одной единицы: контрфакт строится как взвешенная комбинация аналогов из пула доноров.
Пример: «синтетический Сан-Франциско» = 0,3 × Лос-Анджелес + 0,2 × Сиэтл + 0,5 × Портленд. Разница реал − синт = эффект запуска.

Пул доноров — набор единиц, не затронутых вмешательством, из которых строится синтетическая копия.
Пример: для антитабачного закона в Калифорнии пул — 38 штатов без закона.

MSPE (средняя квадратичная ошибка прогноза) — качество доэкспериментальной подгонки синтетического контроля.
Пример: MSPE = 2,3 для Калифорнии и 45,0 для плацебо-штата. Калифорния воспроизведена хорошо — доверяем оценке.

Прерванный временной ряд (ITS) — оценка эффекта по изменению уровня и/или тренда ряда в момент вмешательства.
Пример: акция запущена 1 марта. До — +100 ед./нед., после — скачок +500 ед. и рост +150 ед./нед.

CausalImpact — библиотека Google для байесовского анализа прерванных рядов через BSTS с ковариатами.
Пример: оценка эффекта рекламной кампании на продажи; продажи в регионах без рекламы — ковариаты для прогноза контрфакта.

BSTS (байесовская структурная модель ряда) — основа CausalImpact: компоненты тренда, сезонности и регрессии на ковариаты.
Пример: модель раскладывает ряд на медленный рост + декабрьский пик + влияние ковариат + остаток. Прогноз после — контрфакт.

RDD (регрессионный разрыв) — квазиэксперимент с жёстким порогом: единицы чуть выше и чуть ниже порога квазислучайны.
Пример: кредит одобряют при скоринге ≥ 650. Заёмщик с 649 ≈ заёмщик с 651. Сравнение дают эффект кредита у порога.

Бегущая переменная — непрерывная переменная, определяющая попадание в группу по пороговому правилу в RDD.
Пример: балл ЕГЭ, доход, скоринговый балл.

Ширина окна (bandwidth) — в RDD: диапазон значений бегущей переменной около порога, используемый для оценки. Узкое окно — точнее, меньше данных.
Пример: порог 650, окно ±30 → анализ 620–680 баллов. Окно ±10 → 640–660: чище, но в 5 раз меньше наблюдений.

IV (инструментальные переменные) — метод, использующий «инструмент» — переменную, которая влияет на участие, но не на исход напрямую. Оценивает LATE.
Пример: расстояние до колледжа как инструмент для «обучение → зарплата». Живущие ближе чаще учатся, но расстояние не влияет на зарплату напрямую.

Условие исключения (exclusion restriction) — ключевое допущение IV: инструмент влияет на исход только через изменение статуса участия.
Пример: email-приглашение Copilot → участие → продуктивность. Если email сам мотивирует работать усерднее (даже без Copilot) — условие нарушено.

Связь с участием (relevance) — инструмент должен значимо влиять на участие. Современный порог: F > 104,7 (Lee et al., 2022); старый порог F > 10 устарел.
Пример: приглашение увеличивает использование Copilot с 10 % до 45 %, F-статистика = 85 — инструмент сильный по старому стандарту, но не дотягивает до нового.

Монотонность (monotonicity) — допущение IV: инструмент влияет на участие в одну сторону для всех (нет «дефаэров», которые делают наоборот).
Пример: для большинства людей приглашение увеличивает шанс попробовать продукт. Если для какой-то группы оно его уменьшает (раздражение от спама) — монотонность нарушена.

Комплаер — участник, выполняющий назначение: использует продукт, если приглашён; не использует, если нет. LATE — эффект именно для них.
Пример: из 1000 приглашённых 350 стали использовать Copilot. LATE — эффект для этих 350.

Compliance (соблюдение назначения) — степень, в которой участники следуют экспериментальному назначению.
Пример: 100 человек назначены «использовать Copilot», 40 ни разу не открыли. Compliance = 60 %.

DML (двойное машинное обучение) — современный метод для наблюдательных данных: две ML-модели (treatment и outcome), перекрёстная подгонка, оценка эффекта по остаткам.
Пример: модель 1 предсказывает, кто начнёт использовать Copilot, модель 2 — продуктивность. Соотношение остатков → чистый эффект.

PSM (мэтчинг по индексу склонности) — подбор пар «лечение/контроль» по вероятности попадания в группу. Критикуется (King & Nielsen, 2019) за рост дисперсии и дисбаланса.
Пример: для каждого пользователя Copilot находим «близнеца» без Copilot со схожим propensity score. После мэтчинга баланс ковариат может ухудшиться.

Перекрёстная подгонка (cross-fitting) — приём в DML: данные делятся на части, модели обучаются на одной части, предсказания делаются на другой. Предотвращает переобучение.
Пример: 5 фолдов; для каждого модели обучаются на 4 других. Итог — честные остатки без переобучения.

Область пересечения (common support) — диапазон значений ковариат, где присутствуют и treated, и control. За пределами — оценка ненадёжна.
Пример: Copilot используют только senior-разработчики. Для junior нет ни одного пользователя → за пределами common support.

Конфаундер (смешивающий фактор) — переменная, влияющая и на попадание в группу, и на исход. Создаёт ложную связь. Бывает наблюдаемым и ненаблюдаемым.
Пример: senior-разработчики чаще берут Copilot и пишут лучший код. Без коррекции эффект Copilot = эффект сениорности + реальный эффект Copilot.

Ковариата — переменная-характеристика участника (пол, регион, предыстория). Используется для коррекции, стратификации, снижения дисперсии.
Пример: в CUPED — число коммитов за прошлую неделю; в стратификации — платформа; в DML — десятки переменных.

Свитчбэк (switchback) — эксперимент, в котором вся система периодически переключается между условиями A и B. Применяется при глобальном перетекании.
Пример: DoorDash каждый час переключает алгоритм распределения курьеров. 200 переключений за 2 недели → достаточно для оценки.

Carryover-эффект (остаточный эффект) — влияние предыдущего экспериментального условия на последующее. Критичен для внутрисубъектных и свитчбэк-дизайнов.
Пример: после часа с новым алгоритмом курьеры ещё 15 минут едут по старым маршрутам. Данные следующего периода загрязнены.

Период очистки (washout) — пауза между условиями для затухания carryover.
Пример: между неделями с/без Copilot — 3 дня перерыва, чтобы участник «забыл» паттерны. Но если навык необратим — washout бесполезен.

Эффект обучения (learning effect) — необратимое изменение навыков или поведения после работы с инструментом. Делает невалидным внутрисубъектный дизайн.
Пример: разработчик неделю писал код с Copilot и научился формулировать промпты. Когда инструмент убрали, он пишет код иначе, чем до эксперимента.

Интерливинг (interleaving) — сравнение ранжировщиков перемешиванием результатов в единой выдаче. Чувствительнее A/B, но не измеряет абсолютный эффект.
Пример: позиция 1 — от A, 2 — от B, 3 — от A. Пользователь кликнул 1 и 4 (обе A) → A получает +2 победы в этой сессии.

Смещение по позиции (position bias) — склонность кликать на верхние позиции вне зависимости от релевантности.
Пример: в поиске первый результат получает CTR 35 %, десятый — 1 %. Даже нерелевантный на первой позиции собирает клики.

Многорукий бандит (MAB) — алгоритм адаптивного распределения: направляет трафик к лучшему варианту по мере накопления данных. Оптимизирует упущенную выгоду, но даёт смещённые оценки эффекта.
Пример: 4 баннера, через 2 дня 60 % трафика на лучший, 15 % на второй, по 12,5 % на худшие.

Выборка Томпсона (Thompson Sampling) — вариант бандита: для каждого варианта сэмплируется отклик из апостериорного распределения; трафик идёт к варианту с максимальным сэмплом.
Пример: априорно CTR ~ Beta(1,1). После 100 показов с 12 кликами — Beta(13,89). Сэмплируем → выбираем максимум.

Упущенная выгода (regret) — суммарная разница между откликом оптимальной стратегии и фактически полученным. Минимизируется бандитами.
Пример: если бы знали лучший вариант заранее, получили бы 100 откликов; бандит дал 92 → regret = 8.

Отложенный отклик (delayed feedback) — ситуация, когда отклик наступает с задержкой (дни, недели). Ломает обновление бандита.
Пример: бандит оптимизирует подписку. Клик сегодня, оформление через 5 дней. Бандит 5 дней считает клик «без конверсии» и снижает трафик на хороший вариант.

Off-policy evaluation — оценка эффекта политики, отличной от той, что использовалась при сборе данных. Важна для пост-анализа бандитов.
Пример: бандит распределял трафик неравномерно. Off-policy evaluation позволяет оценить, что было бы при равномерном распределении.

Причинный лес (causal forest) — метод для оценки гетерогенности эффекта (HTE): обнаруживает подгруппы со значимо различающимся эффектом.
Пример: средний эффект +5 %; causal forest нашёл, что у новичков +18 %, у опытных +1 %.

Гетерогенные эффекты (HTE) — эффект различается для разных подгрупп.
Пример: Copilot ускоряет новичков на +55 %, опытных — только на +5 %. Средний +26 % маскирует разницу.

Основная метрика (primary) — единственный заранее выбранный показатель, по которому принимается решение.
Пример: для теста корзины primary = конверсия в покупку. Не средний чек, не глубина каталога.

Вторичные метрики (secondary) — дополнительные показатели для объяснения механизма. Не основание для решения.
Пример: primary = конверсия; secondary = средний чек, глубина каталога, время до покупки.

Защитная метрика (guardrail) — метрика-ограничитель, которая не должна ухудшиться (латентность, ошибки, SLO).
Пример: алгоритм поиска поднял CTR на +5 %, но latency P99 выросла с 200 ms до 900 ms → guardrail сработал.

SLO (целевой уровень качества сервиса) — целевой уровень качества (например, 99,9 % аптайм). Часто — guardrail-метрика.
Пример: SLO «99,95 % запросов отвечают за < 200 ms». Нарушение → блокирует запуск, даже если основная метрика выросла.

Подтверждающий анализ (confirmatory) — анализ заранее заданных гипотез и метрик. Имеет статистическую силу. Результат — основание для решения.
Пример: до запуска зафиксировано: «конверсия в B на ≥ 0,3 п. п. выше». Результат +0,5 п. п., p = 0,01 → решение подтверждено.

Разведочный анализ (exploratory) — анализ за пределами протокола. Находки — гипотезы для следующего эксперимента, не выводы текущего.
Пример: после теста аналитик нашёл сильный эффект у пользователей Android из Казани. Это гипотеза, а не результат.

Резервная группа (holdout) — доля пользователей, навсегда оставшаяся без изменения после масштабного раската. Используется для оценки долгосрочного эффекта.
Пример: фичу раскатили на 95 %, 5 % остаются на старой версии навсегда. Через 6 месяцев сравнивают retention.

Эффект новизны (novelty effect) — временный всплеск метрик из-за новизны изменения. Затухает за дни-недели.
Пример: новый виджет рекомендаций CTR 12 % в первую неделю, к четвёртой — 4 %.

Возврат к среднему (regression to the mean) — статистический эффект: экстремальные значения при повторном измерении смещаются к среднему. Имитирует эффект вмешательства.
Пример: выбрали 50 худших продавцов и отправили на тренинг. Через месяц +15 %, но это было бы и без тренинга.

Псевдорепликация — ошибка, при которой зависимые наблюдения считаются независимыми, что занижает SE и создаёт ложную значимость.
Пример: 100 пользователей сделали 50 000 запросов. Аналитик считает N = 50 000 → p = 0,0001. Эффективный N ≈ 100 → p = 0,35.

ITT (intent-to-treat) — анализ по назначению, независимо от соблюдения протокола. Сохраняет рандомизацию, даёт нижнюю границу.
Пример: 100 назначены «использовать Copilot», 40 не открыли. ITT считает всех 100 как «обработанных» → эффект занижен.

PP (per-protocol) — анализ только тех, кто выполнил протокол. Может быть смещён (compliers не случайны).
Пример: только 60 % реально использовали Copilot. PP-анализ считает только их — но они систематически другие, чем те 40 %, что не использовали.

CUPED — снижение дисперсии метрики через вычитание предсказуемой по предыстории части. Ковариата строго до начала эксперимента.
Пример: для «число заказов за неделю» берём число заказов за прошлую неделю как ковариату. При ρ = 0,7 дисперсия падает вдвое.

Стратификация — разделение выборки на страты по ключевому признаку и рандомизация внутри каждой. Гарантирует баланс по важным переменным.
Пример: страты «новые» и «старожилы». Без стратификации в B случайно попало 60 % старожилов; со стратификацией — ровно 50/50 в каждой страте.

Последовательное тестирование — методы, позволяющие многократно проверять результаты без раздувания α.
Пример: с mSPRT можно смотреть результаты ежедневно и досрочно остановить, если эффект очевиден.

Расходование α (alpha spending) — стратегия распределения допустимой α по промежуточным проверкам. O'Brien–Fleming — экономно в начале, щедрее в конце.
Пример: 4 проверки. O'Brien–Fleming: α₁ = 0,0001, α₂ = 0,004, α₃ = 0,019, α₄ = 0,043; суммарно 0,05.

mSPRT (смешанный последовательный критерий) — реализация sequential testing у Optimizely. Позволяет останавливать тест в любой момент с контролем α.
Пример: на 5-й день mSPRT показывает always valid p = 0,02 → останавливаем досрочно.

Всегда корректные p-значения (always valid) — p-значения, корректные при любом моменте остановки. Альтернатива классическим.
Пример: классический p = 0,03 на 7-й день, но если бы посмотрели на 5-й — 0,01, на 10-й — 0,08. Always valid p — корректное при любом моменте.

Поправка на множественность — корректировка p-value при проверке многих метрик/сегментов. Бонферрони (строже), Бенджамини–Хохберг (FDR).
Пример: 20 метрик с α = 0,05. Ожидаемое число ложноположительных = 1. Найдено 2 значимых — вероятно одно ложное.

FDR (доля ложных открытий) — доля ложных открытий среди объявленных значимыми. Контролируется поправкой Бенджамини–Хохберга.
Пример: 5 из 20 показали p < 0,05. После BH-поправки осталось 2 значимых; остальные 3 — вероятные ложные.

Усечение (winsorization) — замена экстремальных значений пороговым (например, 99-м перцентилем).
Пример: 99-й перцентиль выручки = 500. Пользователь с 15 000 получает 500. Среднее перестаёт зависеть от одного «кита».

Обрезание (trimming) — удаление наблюдений с экстремальными значениями. Теряет данные, в отличие от winsorization.
Пример: удаляем 1 % VIP-клиентов. Дисперсия падает, но теряем информацию о тех, кто даёт 30 % выручки.

Кластерно-устойчивые SE — стандартные ошибки, учитывающие корреляцию внутри кластеров. Не лечат спилловер, но честно показывают неопределённость.
Пример: рандомизация по пользователям, анализ по запросам. Без кластерных SE p = 0,001 (иллюзия), с ними p = 0,12 (реальность).

Wild cluster bootstrap — метод бутстрепа для оценки p-value при малом числе кластеров (10–40), когда стандартные кластерные SE ненадёжны.
Пример: 15 городов. Стандартные SE дают p = 0,04; wild cluster bootstrap — p = 0,09. Вывод меняется.

Контрбалансирование — приём для внутрисубъектных дизайнов: половина участников проходит AB, половина — BA. Защищает от эффекта порядка.
Пример: 40 разработчиков; 20 идут «без → с», 20 — «с → без». Эффект порядка усредняется.

Снижение смещения (debiasing) — общее название для приёмов уменьшения систематической ошибки оценки: cross-fitting в DML, поправки в IV, sensitivity-анализ.
Пример: cross-fitting в DML снижает смещение из-за переобучения ML-моделей; sensitivity-анализ корректирует на ненаблюдаемые конфаундеры.

Анализ чувствительности — оценка, насколько сильным должен быть ненаблюдаемый фактор, чтобы обнулить эффект.
Пример: DML показал +15 %. Чтобы обнулить, нужен ненаблюдаемый конфаундер с R² > 0,4 по обеим моделям. Маловероятно → результат устойчив.

SRM (нарушение соотношения групп) — несовпадение фактического распределения трафика с ожидаемым. Сигнал сломанной рандомизации; эксперимент не интерпретируется до выяснения причины.
Пример: ожидали 50/50, получили 47,3/52,7; χ² даёт p < 0,001. Расследование: баг в SDK не логировал часть iOS-пользователей в A. Все результаты невалидны.

A/A-тест — эксперимент, где обе группы получают одинаковое условие. Должен давать незначимые результаты. Используется для валидации платформы.
Пример: A/A на новой платформе показал значимость по 5 из 20 метрик (ожидание — 1 из 20) → баг в системе сплитования.

Баланс ковариат — проверка статистической одинаковости предэкспериментальных метрик между группами. Нарушение — рандомизация сломана.
Пример: средний возраст в A = 28, в B = 35 → серьёзный дисбаланс, рандомизация требует расследования.

Плацебо-тест — применение метода к единицам, заведомо не получавшим воздействия. «Эффект» там → метод невалиден в данных условиях.
Пример: для синтетического контроля Калифорнии повторяем процедуру на 38 штатах без закона. Если у 10 «эффект» больше — оценка ненадёжна.

Предрегистрация — фиксация гипотезы, метрик, дизайна и плана анализа до запуска. Защищает от подгонки p-значений и HARKing.
Пример: в Confluence до старта записано: «primary = конверсия; MDE = 0,3 п. п.; длительность = 14 дней; winsorization 99-й перцентиль; mSPRT».

Дневник эксперимента — журнал важных событий и аномалий во время эксперимента (сбои логирования, релизы конкурирующих фич, маркетинговые акции). Контекст для интерпретации.
Пример: записано «14 марта — авария в датацентре, исключаем эту дату из анализа».

Теневой режим (shadow mode) — запуск новой версии без воздействия на пользователя: считаются все метрики, но решение принимается старой версией. Проверка технической корректности перед A/B.
Пример: новый ML-скоринг гоняется параллельно со старым; пользователю выдаётся ответ старого; разница в предсказаниях логируется. Не пугая клиентов, проверяем поведение модели.

Подгонка p-значений (p-hacking) — манипулирование анализом (выбор метрик, порогов, подгрупп) после просмотра данных для получения значимого p.
Пример: тест незначим по конверсии. Аналитик попробовал 12 сегментов, нашёл p = 0,04 для «мужчин 25–34 на Android» и презентует как открытие.

HARKing — формулирование гипотезы после получения результатов и выдача её за изначальную.
Пример: тест незначим по конверсии. Аналитик нашёл рост времени сессии и пишет «гипотеза была про вовлечённость» — как будто это была цель.

Инфляция α — увеличение реальной вероятности ложноположительного результата выше номинального уровня. От подглядывания или множественности.
Пример: ежедневный просмотр 14 дней с обычным t-тестом → реальная α = 25–30 % при номинальной 5 %.

Эффект Хоторна — изменение поведения участников из-за самого факта наблюдения.
Пример: сотрудники, знающие об исследовании продуктивности с Copilot, работают усерднее обычного. +20 % — мотивация «быть на виду», а не ценность инструмента.

Смещение из-за постэкспериментальной переменной (post-treatment bias) — смещение, возникающее при использовании переменной, затронутой экспериментом, в качестве ковариаты.
Пример: CUPED-ковариата захватила период эксперимента → вычтена часть самого эффекта; оценка занижена.

Winner's curse — смещение точечной оценки при раннем остановлении: значимый эффект на момент остановки систематически завышен.
Пример: sequential остановил тест на +15 %. Истинный эффект ближе к +8 %; разница — артефакт «удачи» в момент остановки.

Множественные сравнения — проблема: при многих метриках/сегментах вероятность ложноположительного растёт. Поправки: Бонферрони, FDR.
Пример: 20 метрик с α = 0,05 → ожидаемое число случайных значимостей = 1.

Различная длина диалогов — частая проблема в A/B на диалогах: разное среднее число запросов в диалогах двух групп искажает агрегированные метрики.
Пример: в группе B диалоги в среднем длиннее на 2 запроса → агрегаты «удовлетворённость на диалог» несравнимы без корректировки.

Социально желательные ответы — респонденты дают ответы, которые считают «правильными» с точки зрения исследователя или нормы, а не реальные.
Пример: в опросе про Copilot 90 % разработчиков отвечают «использую регулярно», логи показывают — только 35 %.

Парадокс отрицательных весов — в стандартной TWFE-регрессии для staggered DiD «ранние» когорты используются как контроль для «поздних» с отрицательными весами, что искажает оценку.
Пример: ранние +30 %, поздние +5 %. TWFE даёт средневзвешенную оценку с возможной сменой знака на отрицательную.