Перейти до змісту
SEO2026

Глава 9 · SEO 2026

Індексація: чому сканування не гарантує індексацію

«Просканована, але не проіндексована» — не помилка сканування, а рішення системи. Глава 9 пояснює, що стоїть за цим рішенням і як його діагностувати без ритуального «запиту на індексацію».

Практичне застосування · окремо від тексту глави

Рішення за статусом індексації: що перевіряти насамперед

Статуси Search Console описують різні етапи, а не одну й ту саму «помилку індексації». Спершу визначте, чи URL відома Google, чи її сканували і який документ визнали канонічним. Лише після цього обирайте конкретну дію.

01У URL Inspection Google повідомляє, що ця адреса йому невідома

Що перевірити
Чи є адреса в sitemap і чи існує доступне HTML-посилання з відомої сторінки? Перевірте HTTP 200 та самостійний canonical.
Що робити після перевірки
Виправте виявлення сторінки у внутрішній навігації й карті сайту. Індексування не відбувається автоматично після появи посилання.

02Виявлено, але поки не проскановано

Що перевірити
Перевірте доступність сервера, перенаправлення, robots і дату останньої спроби. Відсутність crawlTime не означає, що тег title невдалий.
Що робити після перевірки
Не переписуйте контент без доказів. Зберігайте стабільні URL, перевіряйте навантаження й повторні події сканування.

03Проскановано, але не проіндексовано

Що перевірити
Подивіться canonical Google, дублювання основного матеріалу, його фактичну користь і чи не є це тонкою сторінкою, що повторює іншу.
Що робити після перевірки
Усуньте підтверджені технічні конфлікти або змістовне дублювання. Не трактуйте статус як гарантію, що конкретний тег чи довжина тексту спричинили відмову.

04Виключено через noindex або іншу канонічну URL

Що перевірити
Звірте живий robots meta, X-Robots-Tag, релевантний canonical і стару дату Google crawl. Порівняйте з наміром публікації.
Що робити після перевірки
Якщо заборона випадкова, виправте першопричину. Якщо стан уже змінено, відокремте застарілий звіт від фактичного HTML.

Діагностика непроіндексованих сторінок →

Першоджерело для перевірки: Google: звіт про індексацію сторінок. Рекомендації не замінюють фактичних даних конкретного сайту.

Глава 9

Індексація: чому сканування не гарантує індексацію

Читати повну главу 9 з оригінальної книги →

Як відділити «Googlebot був на URL» від «документ є в індексі», чому noindex, дублікати, soft 404, якість і технічні правила дають різні класи проблем, і як будувати індексаційний аудит без ритуалу «Request indexing».

Індексація - етап, на якому SEO найчастіше плутає факт із наміром. Googlebot отримав 200 - отже, сторінка має бути в індексі. URL є в sitemap - отже, сторінка має бути в індексі. Ми натиснули «Request indexing» - отже, система «зобовʼязана» її додати. Жодне з цих тверджень не відповідає тому, як Google описує Search. Навіть повна відповідність технічним вимогам не гарантує сканування, індексації або показу в результатах пошуку.[1]

9.1Індекс - це не архів усього, що Googlebot побачив

Пошуковій системі немає сенсу тримати в активному індексі кожен технічно доступний URL. Варіанти параметрів, дублікати, порожні фільтри, тестові сторінки, soft 404, малокорисні комбінації шаблонів масово згенерованих сторінок і нескінченні календарі можуть бути доступні для сканування, але не створювати окремої пошукової цінності. Тому «Crawled - currently not indexed» треба трактувати як клас стану, а не як один дефект з одним способом виправлення.

9.2noindex працює тільки тоді, коли пошуковий робот може його побачити

Google прямо вказує: noindex має бути доступний пошуковому роботу. Якщо сторінку одночасно заборонено в robots.txt, Googlebot не отримує HTML і не бачить noindex; URL усе ще може бути відомий із посилань та інколи зʼявлятися в результатах без нормального фрагмента опису.[2] Це класичний приклад конфлікту між керуванням скануванням і керуванням індексацією.

9.3«Discovered» і «Crawled» - це різні вузькі місця

Якщо URL перебуває у стані «Discovered - currently not indexed», перше питання - чи отримував його Googlebot. Якщо ні, ми ще на етапі виявлення URL і планування сканування: внутрішні посилання, sitemap, серверна спроможність, попит на сканування, надмірний простір URL. Якщо URL перебуває у стані «Crawled - currently not indexed», пошуковий робот уже дійшов до документа, і бездумно «підсилювати sitemap» менш логічно. Треба перевіряти канонічний кластер, soft 404, дублікати, якість шаблону, унікальність фактичних даних і те, чи сторінка взагалі заслуговує на окремий індексований документ.

9.4Soft 404 - це не тільки сторінка з текстом “не знайдено”

Soft 404 виникає, коли HTTP-відповідь формально успішна, але зміст виглядає як відсутній або непридатний ресурс. Типові приклади: порожня категорія з 200, товар, що назавжди недоступний і не має альтернативи, сторінка внутрішнього пошуку без результатів, шаблон із одним заголовком і нульовим основним контентом. Важлива причина проблеми - системі доводиться окремо інтерпретувати семантичний стан замість того, щоб отримати коректний HTTP-статус.

9.5Дублікат може бути “не проіндексований” тому, що індексується його представник

У звітах про індексацію багато URL, про які SEO-фахівці кажуть «випали з індексу», насправді є альтернативними сторінками або дублікатами. Це не обовʼязково проблема. Якщо параметричні URL, версія для друку й URL без зайвих параметрів утворюють один канонічний кластер, індексація одного представника є очікуваною поведінкою. Тут треба оцінювати кластер, а не домагатися індексації кожного URL окремо.

9.6Якість в індексації: не перетворюйте невідоме на «фактор ранжування»

Google не публікує повну формулу індексаційного відбору. Тому я не пишу «сторінка не індексується через E-E-A-T» або «потрібно 800 слів». Коректніше: Search Essentials прямо не гарантує індексації навіть для технічно коректної сторінки; Google оцінює контент і дублікати на етапах обробки; якщо цілі класи малозмістовних або майже взаємозамінних сторінок системно не індексуються, це сильний сигнал переглянути саму цінність шаблону, а не шукати чарівний технічний прапорець.[1][3]

9.7Індексаційна воронка: правильний знаменник

Я навмисно не ділю «проіндексовані URL» на «усі URL, які знайшов пошуковий робот». Якщо робот знайшов 12 млн параметрів, а бізнес очікує 400 тисяч індексованих сторінок, такий знаменник нічого не говорить про якість індексації.

9.8Вибіркове дослідження замість ручної перевірки всіх URL через URL Inspection

URL Inspection корисний для підтвердження стану конкретної сторінки, але 100 тисяч URL вручну не перевіриш. Я будую стратифіковану вибірку: шаблон, рівень внутрішніх посилань, нові/старі URL, наявність/відсутність у sitemap, канонічні/неканонічні URL, країна/мова. Потім беру 50-200 URL із кожного значущого сегмента. Мета - не отримати «загальний % індексації», а знайти клас, де ймовірність індексації різко відрізняється.

9.9«Request indexing» - інструмент перевірки й прискорення одиничних змін, не API для масової індексації

Ручний запит на індексацію я використовую для важливого нового URL або після виправлення конкретної технічної помилки, коли хочу швидше запустити наступний цикл. Це не масштабна стратегія. Google прямо пише, що сканування та індексація займають час і не гарантуються; sitemap і нормальний внутрішній граф - системні канали, ручна кнопка - допоміжний інструмент.[4]

9.10Практичний порядок діагностики

Мій порядок: 1) чи URL повинен існувати як окремий документ для пошуку; 2) кінцевий HTTP-статус; 3) robots/noindex; 4) canonical і дублікати; 5) контент після рендерингу; 6) внутрішні посилання та sitemap; 7) URL Inspection; 8) серверний лог; 9) порівняння шаблону з індексованими аналогами. Це майже завжди швидше, ніж починати з «додамо більше тексту» або «купимо посилання, щоб Google захотів індексувати».

9.11Що ми знаємо точно

Технічна доступність не гарантує індексації; noindex має бути доступний пошуковому роботу; sitemap допомагає виявляти URL, але не гарантує індексації або ранжування; канонікалізація може означати, що альтернативний URL не представлений окремо; Google не дає строків або гарантій для сканування/індексації.[1][2][4]

Джерела до глави 9
  1. Google Search Central. Search Essentials. https://developers.google.com/search/docs/essentials
  2. Google Search Central. Block Search indexing with noindex. https://developers.google.com/search/docs/crawling-indexing/block-indexing
  3. Google Search Central. In-depth guide to how Google Search works. https://developers.google.com/search/docs/fundamentals/how-search-works
  4. Google Search Central. Crawling and indexing FAQ. https://developers.google.com/search/help/crawling-index-faq
  5. Google Search Central. Crawling and indexing overview. https://developers.google.com/search/docs/crawling-indexing

Це скорочений виклад: у книзі кожна глава має повний розбір, таблиці й приклади. Завантажити книгу або почати зі вступу.