Перейти до змісту
SEO2026

Частина II · ЯК ПОШУКОВА СИСТЕМА БАЧИТЬ ВЕБ

Індексація: чому сканування не гарантує індексацію

Глава 9 / 43 · 1 082 слів · ~6 хв читання

Матеріал опубліковано за книгою «SEO 2026: Пошук в еру AI» Михайла Оплаканця (Werter). Офіційна авторська публікація.

Read in English

Як відділити «Googlebot був на URL» від «документ є в індексі», чому noindex, дублікати, soft 404, якість і технічні правила дають різні класи проблем, і як будувати індексаційний аудит без ритуалу «Request indexing».

Стан даних і джерел: 14 вересня 2026 року

Індексація - етап, на якому SEO найчастіше плутає факт із наміром. Googlebot отримав 200 - отже, сторінка має бути в індексі. URL є в sitemap - отже, сторінка має бути в індексі. Ми натиснули «Request indexing» - отже, система «зобовʼязана» її додати. Жодне з цих тверджень не відповідає тому, як Google описує Search. Навіть повна відповідність технічним вимогам не гарантує сканування, індексації або показу в результатах пошуку.[1]

Рис. 9.1. Сканування є передумовою для багатьох індексаційних рішень, але не гарантією індексу.
Рис. 9.1. Сканування є передумовою для багатьох індексаційних рішень, але не гарантією індексу.

Схема автора за матеріалами Google Search Central про роботу пошуку та документацією зі сканування й індексації.

9.1. Індекс - це не архів усього, що Googlebot побачив

Пошуковій системі немає сенсу тримати в активному індексі кожен технічно доступний URL. Варіанти параметрів, дублікати, порожні фільтри, тестові сторінки, soft 404, малокорисні комбінації шаблонів масово згенерованих сторінок і нескінченні календарі можуть бути доступні для сканування, але не створювати окремої пошукової цінності. Тому «Crawled - currently not indexed» треба трактувати як клас стану, а не як один дефект з одним способом виправлення.

9.2. noindex працює тільки тоді, коли пошуковий робот може його побачити

Google прямо вказує: noindex має бути доступний пошуковому роботу. Якщо сторінку одночасно заборонено в robots.txt, Googlebot не отримує HTML і не бачить noindex; URL усе ще може бути відомий із посилань та інколи зʼявлятися в результатах без нормального фрагмента опису.[2] Це класичний приклад конфлікту між керуванням скануванням і керуванням індексацією.

Таблиця 9.1. Чотири різні способи «прибрати URL» вирішують різні завдання.
МеханізмЩо реально робитьКоли застосовувати
robots.txtОбмежує запити пошукового робота до URL; не є надійним способом видалення з індексу.Коли не хочете витрачати ресурси сканування на простір URL або ресурси, які не треба отримувати.
noindexПісля сканування наказує не тримати документ у результатах пошуку.Для доступних користувачу сторінок, які не повинні бути в пошуку.
404/410Повідомляє, що ресурсу немає. З часом URL випадає з індексу.Сторінка реально видалена без релевантної заміни.
301/308Перенаправляє користувача і дає сильний сигнал канонікалізації на новий URL.Є еквівалентна нова адреса або міграція.

9.3. «Discovered» і «Crawled» - це різні вузькі місця

Якщо URL перебуває у стані «Discovered - currently not indexed», перше питання - чи отримував його Googlebot. Якщо ні, ми ще на етапі виявлення URL і планування сканування: внутрішні посилання, sitemap, серверна спроможність, попит на сканування, надмірний простір URL. Якщо URL перебуває у стані «Crawled - currently not indexed», пошуковий робот уже дійшов до документа, і бездумно «підсилювати sitemap» менш логічно. Треба перевіряти канонічний кластер, soft 404, дублікати, якість шаблону, унікальність фактичних даних і те, чи сторінка взагалі заслуговує на окремий індексований документ.

9.4. Soft 404 - це не тільки сторінка з текстом “не знайдено”

Soft 404 виникає, коли HTTP-відповідь формально успішна, але зміст виглядає як відсутній або непридатний ресурс. Типові приклади: порожня категорія з 200, товар, що назавжди недоступний і не має альтернативи, сторінка внутрішнього пошуку без результатів, шаблон із одним заголовком і нульовим основним контентом. Важлива причина проблеми - системі доводиться окремо інтерпретувати семантичний стан замість того, щоб отримати коректний HTTP-статус.

9.5. Дублікат може бути “не проіндексований” тому, що індексується його представник

У звітах про індексацію багато URL, про які SEO-фахівці кажуть «випали з індексу», насправді є альтернативними сторінками або дублікатами. Це не обовʼязково проблема. Якщо параметричні URL, версія для друку й URL без зайвих параметрів утворюють один канонічний кластер, індексація одного представника є очікуваною поведінкою. Тут треба оцінювати кластер, а не домагатися індексації кожного URL окремо.

9.6. Якість в індексації: не перетворюйте невідоме на «фактор ранжування»

Google не публікує повну формулу індексаційного відбору. Тому я не пишу «сторінка не індексується через E-E-A-T» або «потрібно 800 слів». Коректніше: Search Essentials прямо не гарантує індексації навіть для технічно коректної сторінки; Google оцінює контент і дублікати на етапах обробки; якщо цілі класи малозмістовних або майже взаємозамінних сторінок системно не індексуються, це сильний сигнал переглянути саму цінність шаблону, а не шукати чарівний технічний прапорець.[1][3]

9.7. Індексаційна воронка: правильний знаменник

Таблиця 9.2. Які знаменники потрібні для нормального індексаційного звіту.
МетрикаЧисельникПравильний знаменник
Частка проіндексованих URL серед дозволених до індексаціїURL, дозволені до індексації, що є в індексіУсі URL, які бізнес дійсно хоче індексувати
Частка проіндексованих URL серед просканованихПроіндексовані URL із просканованої вибіркиПроскановані URL того самого шаблону/періоду, дозволені до індексації
Частка проіндексованих URL із sitemapПроіндексовані канонічні URL із sitemapКоректні канонічні URL зі статусом 200 у sitemap
Частка проіндексованих URL шаблонуПроіндексовані URL шаблонуУсі URL цього шаблону, дозволені до індексації

Я навмисно не ділю «проіндексовані URL» на «усі URL, які знайшов пошуковий робот». Якщо робот знайшов 12 млн параметрів, а бізнес очікує 400 тисяч індексованих сторінок, такий знаменник нічого не говорить про якість індексації.

9.8. Вибіркове дослідження замість ручної перевірки всіх URL через URL Inspection

URL Inspection корисний для підтвердження стану конкретної сторінки, але 100 тисяч URL вручну не перевіриш. Я будую стратифіковану вибірку: шаблон, рівень внутрішніх посилань, нові/старі URL, наявність/відсутність у sitemap, канонічні/неканонічні URL, країна/мова. Потім беру 50-200 URL із кожного значущого сегмента. Мета - не отримати «загальний % індексації», а знайти клас, де ймовірність індексації різко відрізняється.

9.9. «Request indexing» - інструмент перевірки й прискорення одиничних змін, не API для масової індексації

Ручний запит на індексацію я використовую для важливого нового URL або після виправлення конкретної технічної помилки, коли хочу швидше запустити наступний цикл. Це не масштабна стратегія. Google прямо пише, що сканування та індексація займають час і не гарантуються; sitemap і нормальний внутрішній граф - системні канали, ручна кнопка - допоміжний інструмент.[4]

9.10. Практичний порядок діагностики

Мій порядок: 1) чи URL повинен існувати як окремий документ для пошуку; 2) кінцевий HTTP-статус; 3) robots/noindex; 4) canonical і дублікати; 5) контент після рендерингу; 6) внутрішні посилання та sitemap; 7) URL Inspection; 8) серверний лог; 9) порівняння шаблону з індексованими аналогами. Це майже завжди швидше, ніж починати з «додамо більше тексту» або «купимо посилання, щоб Google захотів індексувати».

9.11. Що ми знаємо точно

Технічна доступність не гарантує індексації; noindex має бути доступний пошуковому роботу; sitemap допомагає виявляти URL, але не гарантує індексації або ранжування; канонікалізація може означати, що альтернативний URL не представлений окремо; Google не дає строків або гарантій для сканування/індексації.[1][2][4]

Джерела до Глави 9

1. Google Search Central. Search Essentials. https://developers.google.com/search/docs/essentials

2. Google Search Central. Block Search indexing with noindex. https://developers.google.com/search/docs/crawling-indexing/block-indexing

3. Google Search Central. In-depth guide to how Google Search works. https://developers.google.com/search/docs/fundamentals/how-search-works

4. Google Search Central. Crawling and indexing FAQ. https://developers.google.com/search/help/crawling-index-faq

5. Google Search Central. Crawling and indexing overview. https://developers.google.com/search/docs/crawling-indexing

Практикуми за темою глави

Перейдіть від методики з книги до робочого шаблону, діагностики URL чи вимірювання результату. Кожна вправа має критерії перевірки та посилання на джерела.

Усі практичні SEO-інструменти

Тематична довідка · SEO 2026

Ключові поняття цієї глави

Додаткові авторські пояснення понять, пов’язаних із темою глави: визначення, приклади, типові помилки та першоджерела. Це редакційна довідка, а не зміна оригінального тексту книги.

Усі 29 понять у SEO-словнику

Ілюстрації розміщено біля відповідних підписів. Оригінальні зображення зберігаються окремо від тексту.