На сайті з сотнями тисяч або мільйонами URL SEO перестає бути набором перевірок сторінок. Одиницею керування стає тип сторінки, шаблон, сегмент набору URL і потік змін.
Стан даних і джерел: 14 вересня 2026 року
Великий сайт ламається не тому, що в нього “занадто багато сторінок”. Він ламається, коли команда не знає, які URL існують, навіщо вони існують, хто їх створює, як вони зв’язані, які з них має обробляти Google і як швидко можна помітити масову регресію. На 300-сторінковому сайті можна відкрити сторінку руками. На 30-мільйонному — потрібні системи.
Моя базова одиниця аналізу — тип сторінки: товар, категорія, фільтр, бренд, стаття, місце, профіль, сторінка результатів, знятий із продажу товар, пагінація. Для кожного типу я хочу знати кількість і склад URL, поведінку сканування, індексацію, видимість, конверсію й відповідального. Якщо панель не може відповісти на це за 5 хвилин, сайтом ще не керують як великим.
28.1. Інвентаризація URL
Перший робочий матеріал великого сайту — не експорт сканування, а реєстр URL. Я збираю всі джерела: внутрішнє сканування, sitemap, CMS і базу даних, Search Console, серверні логи, аналітику, редиректи. Потім нормалізую URL і класифікую за типом сторінки та бізнес-статусом.
Це дає категорії, яких не видно з одного джерела: URL існує в базі, але не має внутрішніх посилань; URL відвідує Googlebot, але його вже немає в sitemap; сторінка отримує трафік, але CMS вважає товар знятим із продажу; редирект живе роками, хоча жодне внутрішнє посилання на нього вже не веде.
28.2. Тип сторінки як контракт
Для кожного шаблону я документую контракт: який статус HTTP очікуємо; чи можна індексувати сторінку; canonical; директиви robots; включення до sitemap; структуровані дані; джерела внутрішніх посилань; очікувані компоненти контенту; цільова країна й мова; основна подія конверсії. Це дозволяє автоматично тестувати не «сайт», а правила.
Якщо сторінка товару раптом починає віддавати `noindex` через помилку релізу, 200 випадкових URL під час перевірки якості можуть не виявити регресію. Контрактний тест на репрезентативній вибірці кожного шаблону виявляє її до масштабування.
| Поле | Категорія | Товар | Фільтр без попиту |
|---|---|---|---|
| HTTP | 200 | 200 | 200 або відсутній URL |
| Придатність до індексації | так | так | ні |
| canonical | На себе | На себе | на категорію або URL не створюється |
| Sitemap | так | так | ні |
| Внутрішні посилання | Меню/батьківська сторінка | Категорія/бренд | Не створюємо шлях для сканування |
| Розмітка | за потреби | Product | зазвичай ні |
28.3. Фасетна навігація
На великих сайтах електронної комерції й маркетплейсах найтиповіша причина вибухового зростання кількості URL — фільтри. Google прямо називає фасетну навігацію найпоширенішим джерелом скарг на надмірне сканування, які бачить команда пошуку.[1] Проблема не у фільтрах як засобі взаємодії, а в тому, що кожна комбінація може стати доступним для сканування URL.
Я ділю фасети на три групи: посадкові сторінки з доведеним попитом, придатні до індексації; технічні стани, доступні для сканування, але не для індексації, якщо вони потрібні продукту; і стани, які взагалі не повинні створювати окремий URL для пошукового робота. Головна помилка — дозволити клієнтській частині генерувати повний комбінаторний граф, а потім намагатися «виправити SEO» тегами canonical.
28.4. Поділ sitemap на сегменти
На великих сайтах sitemap треба використовувати як вимірювальні сегменти. Я розділяю файли за типом сторінки, країною, мовою, іноді за життєвим циклом. Тоді звіт «Page indexing», API й власні засоби моніторингу можна зіставляти з конкретним набором URL.
Sitemap-файли не повинні ставати архівом усіх URL, які колись існували. Вони мають описувати поточний канонічний набір URL, який команда хоче бачити в пошуку. Інакше метрика поданих URL змішує активні сторінки з редиректами, noindex і 404.
28.5. Логи: фактичне сканування
Звіт «Crawl Stats» у Search Console дає корисні зведені дані, але логи відповідають на питання на рівні URL: що саме запитував робот, коли, з яким статусом, скільки байтів передано і як довго відповідав сервер. На великому сайті це єдиний спосіб побачити, наприклад, що Googlebot витрачає 35% запитів на параметричні URL, які команда не вважає важливими.
Не можна сліпо довіряти User-Agent. Для серйозного аналізу треба перевіряти належність роботів згідно з рекомендаціями Google, а потім уже рахувати частоту сканування. Інакше «Googlebot» у логах може бути стороннім збирачем даних.
28.6. Індексні сегменти
Мене цікавить не «у Google 2,3 млн сторінок», а частка придатних до індексації URL за типом. 90% індексації для товарів і 15% для посадкових сторінок категорій — зовсім інша проблема, ніж рівномірні 60% для всього сайту.
Я будую воронку: набір URL → придатні до індексації → виявлені → проскановані → проіндексовані → покази. Якщо просідання між виявленням і скануванням, дивлюся попит на сканування й архітектуру. Якщо між скануванням та індексацією, дивлюся canonical, дублювання, якість і soft 404. Якщо між індексацією та показами, проблема вже в доборі результатів, релевантності й конкуренції, а не в «індексації».
28.7. Моніторинг регресій шаблону
Великі сайти часто втрачають SEO не через «оновлення Google», а через реліз. Компонент React прибрав `<a href>`, CMS додала noindex, canonical почав вести на тестовий домен, JSON-LD перестав містити price, hreflang генерує 404. Одне розгортання може торкнутися мільйонів URL.
Тому я тримаю синтетичні SEO-тести у CI/CD або хоча б щогодинному моніторингу репрезентативних URL. Мінімум: статус, robots, canonical, hreflang, title, H1, наявність основного тексту, ключові властивості структурованих даних, внутрішні посилання, результат відмальовування. У робочій системі додаю сповіщення тільки про зміни, які мають масштаб.
28.8. Очищення набору URL
Великий сайт природно накопичує товари, зняті з продажу, порожні категорії, старі кампанії, профілі без контенту, сторінки запитів, дублікати. Але масове очищення без карти залежностей може знести сторінки, які передають внутрішню вагу, мають зворотні посилання або сезонний попит.
Я приймаю рішення за класами. Якщо товар знято назавжди й немає еквівалента — 404/410 може бути правильним. Якщо є чіткий наступник — редирект. Якщо категорія тимчасово порожня, рішення залежить від імовірності повернення асортименту й користі сторінки. Якщо URL не має попиту, даних, посилань і ролі в навігації — часто краще не підтримувати його.
28.9. Продуктивність команди
На великому сайті ручний SEO-аудит — це вибіркова перевірка. Він потрібен, але не є системою контролю. Я автоматизую те, що детерміноване: витягання даних, класифікацію, порівняння, контрактні тести, виявлення аномалій. Людина залишається для діагностики, пріоритизації й рішень із неоднозначними компромісами.
Ключова метрика SEO-команди на такому сайті — не кількість знайдених «проблем», а час від регресії до виявлення і від виявлення до виправлення. Інцидент, який 10 хвилин торкався 2 млн URL, майже завжди дешевший за «невелику помилку canonical», що жила шість тижнів.
28.10. Дані як сховище аналітики, а не набір CSV
Після певного масштабу Excel перестає бути джерелом істини. Я зводжу масовий експорт Search Console, аналітику, логи, реєстр URL і результати сканування у сховище аналітичних даних. Google прямо рекомендує експорт у BigQuery для детального спільного аналізу Search Console і GA, коли потрібна максимальна деталізація й мінімум розбіжностей.[2]
Не потрібно будувати платформу даних «бо це модно». Поріг простий: якщо одна й та сама таблиця збирається вручну щотижня, якщо історія втрачається, якщо різні люди рахують метрику по-різному — пора формалізувати послідовність обробки.
Джерела до Глави 28
1. Google Search Central Blog. Crawling December: Faceted navigation. https://developers.google.com/search/blog/2024/12/crawling-december-faceted-nav — Ризик комбінаторного простору URL і надмірного сканування.
2. Google Search Central. Using Search Console and Google Analytics data for SEO. https://developers.google.com/search/docs/monitor-debug/google-analytics-search-console — Спільний аналіз і експорт у BigQuery.
3. Google Search Central. Ecommerce site structure. https://developers.google.com/search/docs/specialty/ecommerce/help-google-understand-your-ecommerce-site-structure — Граф внутрішніх посилань.
4. Google Search Central. Ecommerce URL structure. https://developers.google.com/search/docs/specialty/ecommerce/designing-a-url-structure-for-ecommerce-sites — URL, canonical, фільтри, пагінація.