Як відділити «Googlebot був на URL» від «документ є в індексі», чому noindex, дублікати, soft 404, якість і технічні правила дають різні класи проблем, і як будувати індексаційний аудит без ритуалу «Request indexing».
Стан даних і джерел: 14 вересня 2026 року
Індексація - етап, на якому SEO найчастіше плутає факт із наміром. Googlebot отримав 200 - отже, сторінка має бути в індексі. URL є в sitemap - отже, сторінка має бути в індексі. Ми натиснули «Request indexing» - отже, система «зобовʼязана» її додати. Жодне з цих тверджень не відповідає тому, як Google описує Search. Навіть повна відповідність технічним вимогам не гарантує сканування, індексації або показу в результатах пошуку.[1]
Схема автора за матеріалами Google Search Central про роботу пошуку та документацією зі сканування й індексації.
9.1. Індекс - це не архів усього, що Googlebot побачив
Пошуковій системі немає сенсу тримати в активному індексі кожен технічно доступний URL. Варіанти параметрів, дублікати, порожні фільтри, тестові сторінки, soft 404, малокорисні комбінації шаблонів масово згенерованих сторінок і нескінченні календарі можуть бути доступні для сканування, але не створювати окремої пошукової цінності. Тому «Crawled - currently not indexed» треба трактувати як клас стану, а не як один дефект з одним способом виправлення.
9.2. noindex працює тільки тоді, коли пошуковий робот може його побачити
Google прямо вказує: noindex має бути доступний пошуковому роботу. Якщо сторінку одночасно заборонено в robots.txt, Googlebot не отримує HTML і не бачить noindex; URL усе ще може бути відомий із посилань та інколи зʼявлятися в результатах без нормального фрагмента опису.[2] Це класичний приклад конфлікту між керуванням скануванням і керуванням індексацією.
| Механізм | Що реально робить | Коли застосовувати |
|---|---|---|
| robots.txt | Обмежує запити пошукового робота до URL; не є надійним способом видалення з індексу. | Коли не хочете витрачати ресурси сканування на простір URL або ресурси, які не треба отримувати. |
| noindex | Після сканування наказує не тримати документ у результатах пошуку. | Для доступних користувачу сторінок, які не повинні бути в пошуку. |
| 404/410 | Повідомляє, що ресурсу немає. З часом URL випадає з індексу. | Сторінка реально видалена без релевантної заміни. |
| 301/308 | Перенаправляє користувача і дає сильний сигнал канонікалізації на новий URL. | Є еквівалентна нова адреса або міграція. |
9.3. «Discovered» і «Crawled» - це різні вузькі місця
Якщо URL перебуває у стані «Discovered - currently not indexed», перше питання - чи отримував його Googlebot. Якщо ні, ми ще на етапі виявлення URL і планування сканування: внутрішні посилання, sitemap, серверна спроможність, попит на сканування, надмірний простір URL. Якщо URL перебуває у стані «Crawled - currently not indexed», пошуковий робот уже дійшов до документа, і бездумно «підсилювати sitemap» менш логічно. Треба перевіряти канонічний кластер, soft 404, дублікати, якість шаблону, унікальність фактичних даних і те, чи сторінка взагалі заслуговує на окремий індексований документ.
9.4. Soft 404 - це не тільки сторінка з текстом “не знайдено”
Soft 404 виникає, коли HTTP-відповідь формально успішна, але зміст виглядає як відсутній або непридатний ресурс. Типові приклади: порожня категорія з 200, товар, що назавжди недоступний і не має альтернативи, сторінка внутрішнього пошуку без результатів, шаблон із одним заголовком і нульовим основним контентом. Важлива причина проблеми - системі доводиться окремо інтерпретувати семантичний стан замість того, щоб отримати коректний HTTP-статус.
9.5. Дублікат може бути “не проіндексований” тому, що індексується його представник
У звітах про індексацію багато URL, про які SEO-фахівці кажуть «випали з індексу», насправді є альтернативними сторінками або дублікатами. Це не обовʼязково проблема. Якщо параметричні URL, версія для друку й URL без зайвих параметрів утворюють один канонічний кластер, індексація одного представника є очікуваною поведінкою. Тут треба оцінювати кластер, а не домагатися індексації кожного URL окремо.
9.6. Якість в індексації: не перетворюйте невідоме на «фактор ранжування»
Google не публікує повну формулу індексаційного відбору. Тому я не пишу «сторінка не індексується через E-E-A-T» або «потрібно 800 слів». Коректніше: Search Essentials прямо не гарантує індексації навіть для технічно коректної сторінки; Google оцінює контент і дублікати на етапах обробки; якщо цілі класи малозмістовних або майже взаємозамінних сторінок системно не індексуються, це сильний сигнал переглянути саму цінність шаблону, а не шукати чарівний технічний прапорець.[1][3]
9.7. Індексаційна воронка: правильний знаменник
| Метрика | Чисельник | Правильний знаменник |
|---|---|---|
| Частка проіндексованих URL серед дозволених до індексації | URL, дозволені до індексації, що є в індексі | Усі URL, які бізнес дійсно хоче індексувати |
| Частка проіндексованих URL серед просканованих | Проіндексовані URL із просканованої вибірки | Проскановані URL того самого шаблону/періоду, дозволені до індексації |
| Частка проіндексованих URL із sitemap | Проіндексовані канонічні URL із sitemap | Коректні канонічні URL зі статусом 200 у sitemap |
| Частка проіндексованих URL шаблону | Проіндексовані URL шаблону | Усі URL цього шаблону, дозволені до індексації |
Я навмисно не ділю «проіндексовані URL» на «усі URL, які знайшов пошуковий робот». Якщо робот знайшов 12 млн параметрів, а бізнес очікує 400 тисяч індексованих сторінок, такий знаменник нічого не говорить про якість індексації.
9.8. Вибіркове дослідження замість ручної перевірки всіх URL через URL Inspection
URL Inspection корисний для підтвердження стану конкретної сторінки, але 100 тисяч URL вручну не перевіриш. Я будую стратифіковану вибірку: шаблон, рівень внутрішніх посилань, нові/старі URL, наявність/відсутність у sitemap, канонічні/неканонічні URL, країна/мова. Потім беру 50-200 URL із кожного значущого сегмента. Мета - не отримати «загальний % індексації», а знайти клас, де ймовірність індексації різко відрізняється.
9.9. «Request indexing» - інструмент перевірки й прискорення одиничних змін, не API для масової індексації
Ручний запит на індексацію я використовую для важливого нового URL або після виправлення конкретної технічної помилки, коли хочу швидше запустити наступний цикл. Це не масштабна стратегія. Google прямо пише, що сканування та індексація займають час і не гарантуються; sitemap і нормальний внутрішній граф - системні канали, ручна кнопка - допоміжний інструмент.[4]
9.10. Практичний порядок діагностики
Мій порядок: 1) чи URL повинен існувати як окремий документ для пошуку; 2) кінцевий HTTP-статус; 3) robots/noindex; 4) canonical і дублікати; 5) контент після рендерингу; 6) внутрішні посилання та sitemap; 7) URL Inspection; 8) серверний лог; 9) порівняння шаблону з індексованими аналогами. Це майже завжди швидше, ніж починати з «додамо більше тексту» або «купимо посилання, щоб Google захотів індексувати».
9.11. Що ми знаємо точно
Технічна доступність не гарантує індексації; noindex має бути доступний пошуковому роботу; sitemap допомагає виявляти URL, але не гарантує індексації або ранжування; канонікалізація може означати, що альтернативний URL не представлений окремо; Google не дає строків або гарантій для сканування/індексації.[1][2][4]
Джерела до Глави 9
1. Google Search Central. Search Essentials. https://developers.google.com/search/docs/essentials
2. Google Search Central. Block Search indexing with noindex. https://developers.google.com/search/docs/crawling-indexing/block-indexing
3. Google Search Central. In-depth guide to how Google Search works. https://developers.google.com/search/docs/fundamentals/how-search-works
4. Google Search Central. Crawling and indexing FAQ. https://developers.google.com/search/help/crawling-index-faq
5. Google Search Central. Crawling and indexing overview. https://developers.google.com/search/docs/crawling-indexing