SEO живе в середовищі, де одночасно змінюються сайт, конкуренти, попит і Google. Саме тому “ми змінили X, через два тижні трафік виріс” — слабкий доказ причинності.
Стан даних і джерел: 14 вересня 2026 року
У SEO мало ідеальних рандомізованих експериментів, але це не виправдання для розповідей лише про стан «до» й «після». Доказовість можна посилити за допомогою контрольних груп, підібраних зіставних сторінок, поетапного впровадження, методу різниці різниць, синтетичних контрольних груп і байєсівських моделей часових рядів.
Мета експерименту — не отримати зелену стрілку на графіку. Мета — зменшити невизначеність настільки, щоб обґрунтованіше вирішити, чи варто масштабувати зміну. Негативний або нульовий результат теж заощаджує бюджет.
35.1. Гіпотеза до даних
Я записую гіпотезу до запуску: зміну, цільову метрику, очікуваний напрям, одиницю аналізу, період, правила виключення й умову зупинки. Це зменшує HARKing — формулювання гіпотези після того, як результати вже відомі.
Наприклад: «Додавання контекстних посилань із вузлових сторінок на майже ізольовані товарні сторінки збільшить кількість показів на придатний до показу URL за 28 днів порівняно з підібраною контрольною групою, без зростання сканування сторінок зі статусом 404 і редиректів». Це значно краще за «тестуємо внутрішні посилання».
35.2. Одиниця експерименту
Сторінка, шаблон, категорія, домен і ринок — різні одиниці експерименту. Якщо ви змінюєте навігацію всього сайту, контроль на рівні окремих сторінок практично неможливий, бо зміна впливає на весь граф посилань. Якщо змінюєте title 500 товарів, можна випадково розподілити зіставні URL між групами.
Потрібно враховувати взаємний вплив: зміна однієї сторінки може впливати на іншу через внутрішні посилання або канібалізацію. Класичне припущення A/B-тесту про незалежність спостережень часто порушується.
35.3. Рандомізація
Рандомізовані контрольовані експерименти вважаються золотим стандартом оцінки причинності, бо випадковий розподіл у середньому врівноважує відомі й невідомі сторонні фактори. Microsoft описує контрольовані експерименти як спосіб науково встановлювати причинність у вебпродуктах.[1]
У SEO рандомізація можлива не завжди, але для великих наборів однотипних сторінок — іноді так. Якщо вибірка мала, головне — не розподіляти випадково URL, які принципово відрізняються за попитом, віком або категорією.
35.4. Підібрані контрольні групи
Коли рандомізація неможлива, я підбираю контрольну групу за показниками до експерименту: показами, кліками, середньою позицією, типом і віком сторінки, країною та класом запитів. Потім перевіряю, чи були тенденції груп паралельними до внесення зміни.
Контрольна група не повинна «виглядати схожою» лише за URL. Якщо експериментальна група сезонна, а контрольна — ні, різниця після запуску нічого не доведе.
35.5. Метод різниці різниць
Логіка проста: оцінюємо зміну експериментальної групи між періодами до й після втручання та віднімаємо зміну контрольної групи. Якщо експериментальна група зросла на +20%, а контрольна — на +15%, оцінений додатковий приріст близький до +5%, а не до +20%.
Це все одно залежить від припущень, зокрема про паралельність тенденцій. Але вже переконливіше, ніж назвати весь +20% ефектом SEO-зміни.
35.6. CausalImpact і синтетичний контроль
Google Research опублікував підхід на основі байєсівських структурних часових рядів для оцінки причинного ефекту втручання, коли рандомізований експеримент неможливий.[2] Модель будує часовий ряд для сценарію без втручання на основі контрольних предикторів і порівнює спостереження після втручання з очікуваними значеннями.
Це не магічна кнопка. Якщо контрольні змінні самі зазнали впливу втручання, структурний злам збігся з оновленням Google або період до втручання був коротким, модель може виглядати переконливо й водночас помилятися.
35.7. Сезонність і оновлення Google
Перед запуском фіксую дані Search Status Dashboard, відомі оновлення, свята, акції й запуски продуктів. Якщо основне оновлення алгоритмів почалося посеред тесту, я не «коригую» дані в Excel. Або продовжую тест до стабілізації, або визнаю, що сторонній фактор заважає відокремити ефект зміни.
Google рекомендує чекати щонайменше повний тиждень після завершення основного оновлення алгоритмів перед аналізом у Search Console.[3] Це корисна дисципліна і для експериментів: не робити причинний висновок під час розгортання оновлення.
35.8. Розмір вибірки й мінімальний ефект, який можна виявити
Мала вибірка може не дозволити відрізнити +5% від шуму. Я визначаю мінімальний ефект, який узагалі має сенс для бізнесу, і відповідно планую вибірку та період. Якщо для виявлення +3% CTR потрібні мільйони показів, а сайт має 20k, не треба обіцяти точність, якої дані не дадуть.
У SEO часто краще аналізувати однорідну групу сторінок сукупно, ніж тестувати одну сторінку. Але агрегація не повинна змішувати різні наміри й сезонність.
35.9. Множинне тестування
Якщо протестувати 100 змін із p<0.05 і вибрати лише «переможців», частина результатів буде випадковою. SEO-команди рідко враховують множинні порівняння, бо багато тестів неформальні. Мінімальна вимога — вести реєстр усіх тестів, включно з нульовими результатами.
Я не сприймаю статистичну значущість як магічний перемикач «так/ні». Дивлюся на величину ефекту, довірчий або байєсівський інтервал, цінність для бізнесу, сталість результату й правдоподібність механізму.
35.10. Основна метрика й захисні показники
Основна метрика має відповідати гіпотезі: частка проіндексованих сторінок, кліки, конверсії чи дохід. Захисні показники — те, що не повинно погіршитися: частка 404, помилки сканування, конверсія, швидкість сторінок, повернення товарів.
Наприклад, тест title може підвищити CTR, але знизити конверсію через завищені обіцянки. Перемога за CTR не обов’язково означає перемогу для бізнесу.
КОД 35.1. Базовий розрахунок методом різниці різниць.
# Простий difference-in-differences на агрегованих даних.
# CSV: group (treatment/control), period (pre/post), metric
import pandas as pd
df = pd.read_csv("seo_test.csv")
p = df.groupby(["group","period"])["metric"].mean().unstack()
treat_change = p.loc["treatment","post"] - p.loc["treatment","pre"]
control_change = p.loc["control","post"] - p.loc["control","pre"]
did = treat_change - control_change
print(p)
print("Treatment change:", treat_change)
print("Control change:", control_change)
print("Difference-in-differences:", did)35.11. Масштабування зміни після тесту
Зміна, що перемогла на 10% сторінок, не гарантує такого самого ефекту на 100%. Інші категорії, розподіл попиту й граф посилань можуть змінити результат. Я впроваджую зміну поетапно й залишаю групу без змін, якщо бізнес це дозволяє.
Після впровадження відстежую стійкість ефекту через 7, 28 і 90 днів. Пошукова система може переоцінити сторінки не одразу.
35.12. Культура негативних результатів
Якщо команда публікує лише успішні приклади, вона навчається неправильно. Я зберігаю невдалі й нейтральні тести разом із гіпотезою та контекстом. Це формує внутрішню доказову базу й зменшує кількість повторних перевірок тих самих ідей.
Іноді найцінніший результат звучить так: «Ми думали, що X дає +15%, але контроль показав 0–2%; більше не витрачаємо на це спринт».
| Поле | Що записати |
|---|---|
| Гіпотеза | зміна → механізм → метрика → напрям |
| Одиниця аналізу | URL / шаблон / категорія / ринок |
| Втручання | точний перелік змін |
| Контрольна група | як підібрана або рандомізована |
| Період до втручання | тривалість і паралельність тенденцій |
| Період після втручання | тривалість, затримка ефекту |
| Основна метрика | одна основна |
| Захисні показники | що не має погіршитися |
| Сторонні фактори | оновлення Google, сезонність, випуски змін |
| Результат | величина ефекту й невизначеність |
| Рішення | масштабувати / повторити / відхилити |
Джерела до Глави 35
1. Microsoft Research. Online Experimentation at Microsoft. https://www.microsoft.com/en-us/research/publication/online-experimentation-at-microsoft/ — Контрольовані експерименти й причинність.
2. Google Research. Inferring causal impact using Bayesian structural time-series models. https://research.google/pubs/inferring-causal-impact-using-bayesian-structural-time-series-models/ — Квазіекспериментальна оцінка втручання.
3. Google Search Central. Core updates. https://developers.google.com/search/docs/appearance/core-updates — Час аналізу після розгортання оновлення.
4. Microsoft Research. Benefits of Controlled Experimentation at Scale. https://www.microsoft.com/en-us/research/publication/the-benefits-of-controlled-experimentation-at-scale/ — Практична культура експериментів.