Перейти до змісту
SEO2026

Частина VI · МАСШТАБ

Великі сайти: сканування, індексація, шаблони та очищення

Глава 28 / 43 · 1 170 слів · ~6 хв читання

Матеріал опубліковано за книгою «SEO 2026: Пошук в еру AI» Михайла Оплаканця (Werter). Офіційна авторська публікація.

Read in English

На сайті з сотнями тисяч або мільйонами URL SEO перестає бути набором перевірок сторінок. Одиницею керування стає тип сторінки, шаблон, сегмент набору URL і потік змін.

Стан даних і джерел: 14 вересня 2026 року

Великий сайт ламається не тому, що в нього “занадто багато сторінок”. Він ламається, коли команда не знає, які URL існують, навіщо вони існують, хто їх створює, як вони зв’язані, які з них має обробляти Google і як швидко можна помітити масову регресію. На 300-сторінковому сайті можна відкрити сторінку руками. На 30-мільйонному — потрібні системи.

Моя базова одиниця аналізу — тип сторінки: товар, категорія, фільтр, бренд, стаття, місце, профіль, сторінка результатів, знятий із продажу товар, пагінація. Для кожного типу я хочу знати кількість і склад URL, поведінку сканування, індексацію, видимість, конверсію й відповідального. Якщо панель не може відповісти на це за 5 хвилин, сайтом ще не керують як великим.

Рис. 28.1. Операційна модель великого сайту: кожний рівень вимірюється за типами сторінок.
Рис. 28.1. Операційна модель великого сайту: кожний рівень вимірюється за типами сторінок.

28.1. Інвентаризація URL

Перший робочий матеріал великого сайту — не експорт сканування, а реєстр URL. Я збираю всі джерела: внутрішнє сканування, sitemap, CMS і базу даних, Search Console, серверні логи, аналітику, редиректи. Потім нормалізую URL і класифікую за типом сторінки та бізнес-статусом.

Це дає категорії, яких не видно з одного джерела: URL існує в базі, але не має внутрішніх посилань; URL відвідує Googlebot, але його вже немає в sitemap; сторінка отримує трафік, але CMS вважає товар знятим із продажу; редирект живе роками, хоча жодне внутрішнє посилання на нього вже не веде.

28.2. Тип сторінки як контракт

Для кожного шаблону я документую контракт: який статус HTTP очікуємо; чи можна індексувати сторінку; canonical; директиви robots; включення до sitemap; структуровані дані; джерела внутрішніх посилань; очікувані компоненти контенту; цільова країна й мова; основна подія конверсії. Це дозволяє автоматично тестувати не «сайт», а правила.

Якщо сторінка товару раптом починає віддавати `noindex` через помилку релізу, 200 випадкових URL під час перевірки якості можуть не виявити регресію. Контрактний тест на репрезентативній вибірці кожного шаблону виявляє її до масштабування.

Таблиця 28.1. Приклад контракту шаблону.
ПолеКатегоріяТоварФільтр без попиту
HTTP200200200 або відсутній URL
Придатність до індексаціїтактакні
canonicalНа себеНа себена категорію або URL не створюється
Sitemapтактакні
Внутрішні посиланняМеню/батьківська сторінкаКатегорія/брендНе створюємо шлях для сканування
Розмітказа потребиProductзазвичай ні

28.3. Фасетна навігація

На великих сайтах електронної комерції й маркетплейсах найтиповіша причина вибухового зростання кількості URL — фільтри. Google прямо називає фасетну навігацію найпоширенішим джерелом скарг на надмірне сканування, які бачить команда пошуку.[1] Проблема не у фільтрах як засобі взаємодії, а в тому, що кожна комбінація може стати доступним для сканування URL.

Я ділю фасети на три групи: посадкові сторінки з доведеним попитом, придатні до індексації; технічні стани, доступні для сканування, але не для індексації, якщо вони потрібні продукту; і стани, які взагалі не повинні створювати окремий URL для пошукового робота. Головна помилка — дозволити клієнтській частині генерувати повний комбінаторний граф, а потім намагатися «виправити SEO» тегами canonical.

28.4. Поділ sitemap на сегменти

На великих сайтах sitemap треба використовувати як вимірювальні сегменти. Я розділяю файли за типом сторінки, країною, мовою, іноді за життєвим циклом. Тоді звіт «Page indexing», API й власні засоби моніторингу можна зіставляти з конкретним набором URL.

Sitemap-файли не повинні ставати архівом усіх URL, які колись існували. Вони мають описувати поточний канонічний набір URL, який команда хоче бачити в пошуку. Інакше метрика поданих URL змішує активні сторінки з редиректами, noindex і 404.

28.5. Логи: фактичне сканування

Звіт «Crawl Stats» у Search Console дає корисні зведені дані, але логи відповідають на питання на рівні URL: що саме запитував робот, коли, з яким статусом, скільки байтів передано і як довго відповідав сервер. На великому сайті це єдиний спосіб побачити, наприклад, що Googlebot витрачає 35% запитів на параметричні URL, які команда не вважає важливими.

Не можна сліпо довіряти User-Agent. Для серйозного аналізу треба перевіряти належність роботів згідно з рекомендаціями Google, а потім уже рахувати частоту сканування. Інакше «Googlebot» у логах може бути стороннім збирачем даних.

28.6. Індексні сегменти

Мене цікавить не «у Google 2,3 млн сторінок», а частка придатних до індексації URL за типом. 90% індексації для товарів і 15% для посадкових сторінок категорій — зовсім інша проблема, ніж рівномірні 60% для всього сайту.

Я будую воронку: набір URL → придатні до індексації → виявлені → проскановані → проіндексовані → покази. Якщо просідання між виявленням і скануванням, дивлюся попит на сканування й архітектуру. Якщо між скануванням та індексацією, дивлюся canonical, дублювання, якість і soft 404. Якщо між індексацією та показами, проблема вже в доборі результатів, релевантності й конкуренції, а не в «індексації».

28.7. Моніторинг регресій шаблону

Великі сайти часто втрачають SEO не через «оновлення Google», а через реліз. Компонент React прибрав `<a href>`, CMS додала noindex, canonical почав вести на тестовий домен, JSON-LD перестав містити price, hreflang генерує 404. Одне розгортання може торкнутися мільйонів URL.

Тому я тримаю синтетичні SEO-тести у CI/CD або хоча б щогодинному моніторингу репрезентативних URL. Мінімум: статус, robots, canonical, hreflang, title, H1, наявність основного тексту, ключові властивості структурованих даних, внутрішні посилання, результат відмальовування. У робочій системі додаю сповіщення тільки про зміни, які мають масштаб.

28.8. Очищення набору URL

Великий сайт природно накопичує товари, зняті з продажу, порожні категорії, старі кампанії, профілі без контенту, сторінки запитів, дублікати. Але масове очищення без карти залежностей може знести сторінки, які передають внутрішню вагу, мають зворотні посилання або сезонний попит.

Я приймаю рішення за класами. Якщо товар знято назавжди й немає еквівалента — 404/410 може бути правильним. Якщо є чіткий наступник — редирект. Якщо категорія тимчасово порожня, рішення залежить від імовірності повернення асортименту й користі сторінки. Якщо URL не має попиту, даних, посилань і ролі в навігації — часто краще не підтримувати його.

28.9. Продуктивність команди

На великому сайті ручний SEO-аудит — це вибіркова перевірка. Він потрібен, але не є системою контролю. Я автоматизую те, що детерміноване: витягання даних, класифікацію, порівняння, контрактні тести, виявлення аномалій. Людина залишається для діагностики, пріоритизації й рішень із неоднозначними компромісами.

Ключова метрика SEO-команди на такому сайті — не кількість знайдених «проблем», а час від регресії до виявлення і від виявлення до виправлення. Інцидент, який 10 хвилин торкався 2 млн URL, майже завжди дешевший за «невелику помилку canonical», що жила шість тижнів.

28.10. Дані як сховище аналітики, а не набір CSV

Після певного масштабу Excel перестає бути джерелом істини. Я зводжу масовий експорт Search Console, аналітику, логи, реєстр URL і результати сканування у сховище аналітичних даних. Google прямо рекомендує експорт у BigQuery для детального спільного аналізу Search Console і GA, коли потрібна максимальна деталізація й мінімум розбіжностей.[2]

Не потрібно будувати платформу даних «бо це модно». Поріг простий: якщо одна й та сама таблиця збирається вручну щотижня, якщо історія втрачається, якщо різні люди рахують метрику по-різному — пора формалізувати послідовність обробки.

Джерела до Глави 28

1. Google Search Central Blog. Crawling December: Faceted navigation. https://developers.google.com/search/blog/2024/12/crawling-december-faceted-nav — Ризик комбінаторного простору URL і надмірного сканування.

2. Google Search Central. Using Search Console and Google Analytics data for SEO. https://developers.google.com/search/docs/monitor-debug/google-analytics-search-console — Спільний аналіз і експорт у BigQuery.

3. Google Search Central. Ecommerce site structure. https://developers.google.com/search/docs/specialty/ecommerce/help-google-understand-your-ecommerce-site-structure — Граф внутрішніх посилань.

4. Google Search Central. Ecommerce URL structure. https://developers.google.com/search/docs/specialty/ecommerce/designing-a-url-structure-for-ecommerce-sites — URL, canonical, фільтри, пагінація.

Практикуми за темою глави

Перейдіть від методики з книги до робочого шаблону, діагностики URL чи вимірювання результату. Кожна вправа має критерії перевірки та посилання на джерела.

Усі практичні SEO-інструменти

Ілюстрації розміщено біля відповідних підписів. Оригінальні зображення зберігаються окремо від тексту.