Перейти до змісту
SEO2026

Частина II · ЯК ПОШУКОВА СИСТЕМА БАЧИТЬ ВЕБ

Виявлення URL: як пошукова система дізнається про сторінку

Глава 5 / 43 · 3 782 слів · ~20 хв читання

Матеріал опубліковано за книгою «SEO 2026: Пошук в еру AI» Михайла Оплаканця (Werter). Офіційна авторська публікація.

Read in English

Посилання, sitemap, URL Inspection, ізольовані сторінки, robots.txt, редиректи та IndexNow. Де закінчується факт існування URL і починається реальне сканування.

Стан даних і джерел: 12 вересня 2026 року

У технічному SEO дуже легко перескочити через перший етап і одразу питати, чому сторінка не індексується. Але до індексації є простіше питання: звідки пошукова система взагалі знає, що цей URL існує? Google прямо називає цей етап виявленням URL. Централізованого реєстру всіх сторінок вебу немає. Пошукова система постійно додає нові адреси до набору вже відомих і лише після цього вирішує, коли їх сканувати.[1]

Це розділення практично важливе. Якщо URL не потрапив у відомий пошуковій системі набір, технічні деталі самої сторінки поки не мають значення: Googlebot ще не отримав HTML, не бачив title, canonical, noindex, тексту або структурованих даних. Якщо URL уже відомий, але не просканований, ми маємо інший клас проблем. А якщо просканований, але не індексується, це вже наступний етап системи.

Рис. 5.1. Виявлення URL передує скануванню. Знання адреси не означає, що пошукова система вже отримала або оцінила сторінку.
Рис. 5.1. Виявлення URL передує скануванню. Знання адреси не означає, що пошукова система вже отримала або оцінила сторінку.

Схема автора на основі Google Search Central та Bing Webmaster Guidelines.

5.1. Виявлено не означає проскановано

Офіційний опис Google формулює процес досить прямо: частина сторінок уже відома з попередніх відвідувань, інші URL знаходяться через посилання на відомих сторінках, а власник сайту може передати список адрес через sitemap.[1] Після виявлення URL Googlebot може відвідати його, але це окреме рішення системи. Сам Google також не гарантує, що сторінку буде проскановано, проіндексовано або показано в результатах, навіть якщо вона відповідає технічним вимогам.[1]

Це добре видно у Search Console. Статус «Discovered - currently not indexed» означає, що Google знайшов URL, але ще не просканував його. У такому стані відсутність часу останнього сканування не є загадкою: контент сторінки ще не був отриманий. Тому я ніколи не починаю діагностику такого статусу з переписування title або додавання структурованих даних. Спочатку треба зрозуміти, як URL потрапив у систему і чому не переходить до наступного етапу - сканування.[7]

5.2. Звідки пошукова система може дізнатися про URL

Для практичного аудиту я розділяю джерела на пʼять груп. Чотири з них універсальні для класичного вебу: внутрішні посилання, зовнішні посилання, sitemap і вже відомі пошуковій системі адреси. Пʼята група - активні механізми повідомлення, наприклад IndexNow у Bing. Вони не скасовують граф посилань, але скорочують шлях від зміни на сайті до сигналу пошуковій системі.[10][11]

Таблиця 5.1. Канал виявлення повідомляє про існування URL, але це ще не рішення про сканування або індексацію.
ДжерелоЩо реально повідомляєЩо не гарантує
Внутрішнє посиланняНа доступній сторінці існує посилання на інший URLЩо ціль буде швидко просканована або індексована
Зовнішнє посиланняІнший сайт посилається на URLЩо URL стане канонічним або ранжуватиметься
SitemapВласник сайту заявляє набір бажаних URLЩо Google завантажить, просканує або проіндексує кожен URL
Раніше відомий URLАдреса вже була в системі з попередніх обходів або історіїЩо поточний контент за адресою вже повторно перевірений
IndexNow для BingСайт активно повідомляє про додавання, зміну або видалення URLЩо Bing обовʼязково просканує чи проіндексує сторінку

5.3. Внутрішнє посилання - це не тільки PageRank

У SEO внутрішні посилання часто обговорюють через розподіл PageRank або тематичні звʼязки. Але їхня перша функція простіша: вони створюють шлях, яким пошуковий робот знаходить інші URL. Google прямо пише, що використовує посилання, зокрема, для пошуку нових сторінок, які потрібно просканувати.[2]

Тому «сторінка є в меню користувача» і «у HTML існує доступне для краулера посилання» - не завжди одне й те саме. Інтерфейс може виглядати як посилання, але технічно бути кнопкою, span з JavaScript-обробником або елементом, у якого URL зʼявляється тільки після взаємодії. Для Google найбезпечніший базовий варіант - HTML-елемент <a> з атрибутом href.[2]

Рис. 5.2. Візуально однакові елементи можуть мати різну цінність для виявлення URL.
Рис. 5.2. Візуально однакові елементи можуть мати різну цінність для виявлення URL.

Приклади синтаксису адаптовані з Google Search Central, Link best practices.

Таблиця 5.2. Для виявлення URL важлива не візуальна форма елемента, а те, що реально бачить і може розібрати краулер.
HTML / поведінкаНадійність для виявленняКоментар
<a href="/product/123">ВисокаСтандартний посилальний елемент з href.
<a href="https://example.com/page">ВисокаПовний абсолютний URL також нормально обробляється.
<a onclick="go()">НизькаНемає href. Google не обіцяє надійно витягувати URL з такого елемента.
<span onclick="navigate()">НизькаЦе не посилальний елемент. Не варто будувати критичну навігацію лише так.
URL, що зʼявляється тільки після дії користувачаЗалежить від реалізаціїДля критичного шляху відкриття сторінок краще мати звичайні посилання.

5.4. Мобільна версія може непомітно обрізати граф посилань

Після переходу Google на сканування з пріоритетом мобільної версії особливо небезпечна різниця між навігацією на компʼютерній і мобільній версіях. В офіційній документації Google прямо радить давати на мобільній версії той самий набір посилань, що й на компʼютерній. Якщо це неможливо, URL варто принаймні включити до sitemap; обмежений набір мобільних посилань може сповільнити виявлення нових сторінок.[5]

На практиці це типова проблема великих каталогів. На компʼютерній версії у категорії може бути повна пагінація, посилання на підкатегорії та фільтри, а мобільна версія показує тільки першу порцію карток і кнопку «показати ще». Якщо додаткові URL не існують у початковому HTML і не мають інших шляхів виявлення, ми створюємо різний граф сайту для користувача і для основного пошукового робота Google.

5.5. Sitemap - це перелік адрес, а не заміна архітектури

Google визначає sitemap як спосіб повідомити про сторінки, які є новими або оновленими. Для добре повʼязаного невеликого сайту sitemap може бути не критичним для самого виявлення: Google пише, що якщо всі важливі сторінки доступні через навігацію й внутрішні посилання, більшість сайту зазвичай можна знайти без нього. Водночас sitemap особливо корисний для великих сайтів, нових сайтів з малою кількістю зовнішніх посилань та спеціалізованого медіаконтенту.[3]

Тут важлива методологічна деталь. Sitemap не доводить, що сторінка добре інтегрована в сайт. Він лише додає ще один канал виявлення. URL може бути в sitemap і не мати жодного внутрішнього посилання. Пошукова система знатиме адресу, але з погляду структури сайту це все одно ізольована сторінка. Для комерційної або інформаційної сторінки, яку ми хочемо ранжувати, це зазвичай слабка конструкція.

Рис. 5.3. Технічні межі sitemap не є лімітом індексації.
Рис. 5.3. Технічні межі sitemap не є лімітом індексації.

Google Search Central: до 50 000 URL або 50 MB без стиснення в одному sitemap; sitemap index може містити до 50 000 loc.[4][12]

Таблиця 5.3. Sitemap має бути чистим джерелом URL, а не складом усіх адрес, які здатен згенерувати сайт.
Правило sitemapЩо робити на практиці
До 50 000 URL або 50 MB без стисненняДілити більші набори на окремі sitemap.
Використовувати повні абсолютні URLНе передавати відносні /page або інші неоднозначні адреси.
Включати URL, які ви хочете бачити в ПошукуНе засмічувати sitemap редиректами, 404 та технічними варіантами.
Переважно вказувати канонічні URLSitemap є одним із сигналів бажаної канонічної версії, але не є наказом.
Sitemap - підказкаНаявність URL у файлі не гарантує сканування або індексації.
Порядок URL у sitemap не має значення для GoogleНе витрачати час на штучне сортування за «пріоритетом».

5.6. lastmod працює тільки тоді, коли йому можна довіряти

Google окремо пише, що використовує значення <lastmod>, якщо воно стабільно й перевірно відображає суттєву зміну сторінки. Зміна основного контенту, структурованих даних або посилань може бути суттєвою. Зміна дати в повідомленні про авторське право - ні.[4]

Тому шаблон «щодня ставити поточну дату всім URL» не прискорює систему магічно. Він знижує інформаційну цінність сигналу. Для великих сайтів я волію мати 20% URL із чесним lastmod, ніж 100% із датою, яка змінюється щоночі без реальної зміни сторінки.

5.7. Ізольована сторінка - це визначення з вашого набору даних, а не абсолютний факт

Термін «ізольована сторінка» часто використовують занадто впевнено. Краулер Screaming Frog або будь-який інший інструмент не знає всіх шляхів, якими Google міг колись знайти URL. Якщо сторінка не має внутрішніх вхідних посилань у вашому скануванні сайту, вона може бути в sitemap, мати зовнішнє посилання, бути відомою з минулої версії сайту або вже бути в індексі.

Тому я використовую точніші класи. «Немає внутрішніх вхідних посилань» - факт нашого сканування сайту. «Є тільки в sitemap» - факт зіставлення двох джерел. «Не знайдено внутрішніх посилань, запису в sitemap і запитів Googlebot за обраний період» - сильніший сигнал, але теж не доказ, що Google ніколи не знав URL. Такі формулювання роблять аудит набагато чеснішим.

Рис. 5.4. Практична класифікація URL за внутрішнім графом, sitemap і серверними логами.
Рис. 5.4. Практична класифікація URL за внутрішнім графом, sitemap і серверними логами.

Це робоча модель аудиту, а не внутрішня класифікація Google.

Таблиця 5.4. Термін «ізольована сторінка» краще замінити конкретним описом того, в яких джерелах URL є або немає.
Клас URLІнтерпретаціяТипова дія
Внутрішні посилання + sitemapНормально інтегрований у дві системи виявленняПеревіряти вже наступні етапи: сканування, canonical, індексація.
Лише sitemapАдреса передана напряму, але не інтегрована у внутрішній графЗрозуміти, чи сторінка справді заслуговує на індексацію. Якщо так - додати логічні внутрішні посилання.
Лише внутрішні посиланняСторінка доступна через граф, але відсутня у sitemapНе завжди помилка. Перевірити політику sitemap і канонічність.
Лише логиGooglebot уже запитував URL, але поточне сканування сайту і sitemap його не показуютьПеревірити історичні URL, редиректи, зовнішні посилання, параметри.
Ніде у вибірціНемає доказу доступного шляху в поточних данихШукати джерело генерації URL або додати потрібний шлях виявлення.

5.8. URL Inspection дає підказки про джерело виявлення, але не повний журнал

У Search Console блок «Discovery» може показати sitemap і поле «Referring page». «Referring page» - це сторінка, яку Google, імовірно, використав для виявлення URL. Вона може посилатися прямо або бути вищою ланкою ланцюга. Якщо поле порожнє, це не означає, що сторінки-джерела не існує. Сам Google попереджає, що інформація може бути недоступна в інструменті й URL міг бути знайдений іншим способом.[8]

Те саме видно в API URL Inspection. Поле sitemap[] містить відомі Google sitemap, де присутній URL, але документація прямо каже, що список не гарантовано вичерпний. Поле referringUrls[] повертає URL, які посилаються на перевірену адресу прямо або опосередковано.[9] Це корисно для автоматизації, але не перетворює API на повний журнал виявлення URL.

Рис. 5.5. Search Console показує окремі сигнали виявлення, а не повну історію того, звідки Google коли-небудь знав URL.
Рис. 5.5. Search Console показує окремі сигнали виявлення, а не повну історію того, звідки Google коли-небудь знав URL.

Офіційні поля: «Sitemaps» і «Referring page»; URL Inspection API: sitemap[] та referringUrls[].[8][9]

5.9. robots.txt не ховає сам факт існування URL

robots.txt контролює доступ краулера, а не знання про адресу. Google прямо попереджає: якщо інші сторінки посилаються на URL, заблокований у robots.txt, Google все одно може знати адресу і навіть показати її в результатах без опису, не завантажуючи сам контент.[6]

Звідси випливає важлива технічна помилка: не можна одночасно блокувати сторінку в robots.txt і очікувати, що Google гарантовано прочитає meta robots noindex у її HTML. Щоб побачити noindex, сторінку треба отримати. Те саме стосується canonical у HTML: він стає доступним лише після завантаження й обробки документа.

Рис. 5.6. robots.txt, noindex і canonical вирішують різні завдання. Жоден із них не є універсальною кнопкою «не знати цей URL».
Рис. 5.6. robots.txt, noindex і canonical вирішують різні завдання. Жоден із них не є універсальною кнопкою «не знати цей URL».

Схема спрощує механіку для діагностики. Детальні правила індексації та канонікалізації розбираються в окремих главах.

Таблиця 5.5. Різні директиви працюють на різних етапах. Змішування виявлення URL, сканування та керування індексацією створює більшість технічних помилок.
МеханізмВпливає на виявлення URLВпливає на скануванняВпливає на індексацію
robots.txt DisallowНе гарантує приховуванняТак, блокує запит відповідного краулераОпосередковано; URL може лишатися відомим і зʼявитися без контенту
meta robots noindexНіНі, сторінку треба отримати, щоб прочитати директивуТак, якщо Google може прочитати директиву
X-Robots-Tag: noindexНіНі, потрібна HTTP-відповідьТак, після отримання заголовка
rel=canonicalНіНіСигнал вибору канонічної версії, не абсолютна команда
видалення внутрішніх посиланьЗменшує один із шляхівМоже вплинути на майбутню частоту через зміну графаСаме по собі не видаляє URL з індексу

5.10. Редирект може привести краулер до нової адреси, але це вже наступний крок після виявлення старої

Якщо Googlebot запитує відомий URL і отримує 301, 308, 302 або інший підтримуваний редирект, він переходить до цільової адреси. Для постійних серверних редиректів Google також використовує ціль як сильний сигнал канонічної версії.[13]

Це важлива різниця для міграцій. Карта редиректів не є заміною внутрішніх посилань на нові URL і sitemap з новими URL. Редирект працює тільки після того, як стару адресу вже запитали. Якщо новий розділ має бути частиною поточної архітектури, я хочу, щоб він був доступний напряму через внутрішній граф і sitemap, а не тільки як кінцева точка старих 301.

5.11. Google і Bing мають різні способи отримувати сигнал про новий URL

Google у публічній документації робить акцент на посиланнях, sitemap і запиті на повторне сканування через URL Inspection для невеликої кількості URL.[1][8][14] Bing, крім класичних посилань і sitemap, підтримує IndexNow - протокол активного повідомлення про додані, змінені або видалені URL.[10][11]

Bing прямо показує в IndexNow Insights надіслані URL, час подання, джерело, а для вибірки - статус сканування, статус індексації та час першої індексації. При цьому Microsoft так само застерігає: подання URL через IndexNow не гарантує сканування або індексацію.[11]

Рис. 5.7. Класичне виявлення через граф і sitemap та активне повідомлення IndexNow вирішують одне завдання різними шляхами.
Рис. 5.7. Класичне виявлення через граф і sitemap та активне повідомлення IndexNow вирішують одне завдання різними шляхами.

Google не вказаний у книзі як учасник IndexNow. Для Google використовуються його офіційно задокументовані механізми; IndexNow тут показаний як окремий механізм Bing.

5.12. Серверний лог доводить сканування, але не момент виявлення

Логи дуже сильні як факт того, що конкретний агент користувача зробив HTTP-запит до конкретного URL у конкретний час. Але лог нічого не каже про те, скільки часу URL уже був відомий системі до першого запиту. Якщо Googlebot уперше звернувся 12 вересня о 03:14, це не означає, що URL був виявлений саме о 03:14.

Тому в аудиті я не використовую «перший зафіксований запит Googlebot» як синонім «дата виявлення». Це перша зафіксована нами дата сканування в наявному періоді логів. Виявлення могло відбутися раніше через sitemap, посилання або інше джерело. Search Console також може показувати «Referring page» або sitemap, але не гарантує повноту цієї історії.[8][9]

5.13. Метрики виявлення, які реально можна порахувати на своєму сайті

Google не публікує універсальну норму на кшталт «95% сторінок повинні бути знайдені через внутрішні посилання». Тому я не використовую вигадану галузеву норму. Замість цього рахую власні стабільні метрики за шаблонами і дивлюся на їхню зміну в часі.

Формула 5.1. Покриття внутрішнім графом.

Мета - не досягти магічних 100%, а знайти шаблони, де важливі URL існують тільки поза внутрішньою архітектурою.

Формула 5.2. Частка URL, які тримає тільки sitemap.

Розраховуйте окремо за типами сторінок. Один загальний відсоток може приховати проблему в конкретному шаблоні.

Формула 5.3. Покриття sitemap цільовими URL.

Таблиця 5.6. Метрика повинна мати чіткий знаменник і не претендувати на те, чого джерело даних не бачить.
МетрикаЗнаменникЩо діагностуєЧого не доводить
Покриття внутрішніми посиланнямиЦільові URL, дозволені до індексаціїЧи є шлях у внутрішньому графіЩо Google вже пройшов цим шляхом
Частка URL лише в sitemapURL у sitemapНаскільки sitemap компенсує слабку архітектуруЩо сторінки погані або не індексуються
Покриття sitemapЦільові канонічні URLПовноту й чистоту переліку бажаних URLЩо sitemap потрібен кожній сторінці для виявлення
URL з першим зафіксованим запитом GooglebotURL у логах за періодФакт першого зафіксованого запиту в логахСправжню дату первинного виявлення
«Виявлено, але не проіндексовано»URL у відповідному статусі GSCGoogle знає URL, але ще не просканувавКонкретну причину затримки для кожного URL

5.14. Мій порядок аудиту, якщо нові URL «не підхоплюються»

Я починаю не з кнопки «Запит на індексування», а з вибірки URL одного типу. Наприклад, 500 нових товарів, 300 масово згенерованих посадкових сторінок або 2 000 нових профілів. Потім зіставляю чотири джерела: сканування внутрішніх посилань, sitemap, Search Console URL Inspection для вибірки та серверні логи Googlebot. Це дає значно більше інформації, ніж ручна перевірка десяти випадкових сторінок.

Таблиця 5.7. Аудит виявлення URL має рухатися від архітектури до фактичного запиту Googlebot, а не навпаки.
КрокПитанняДаніРішення
1. Внутрішній графЧи є хоча б одне доступне внутрішнє посилання?Краулер сайту / база посиланьЯкщо ні - виправити архітектуру або визнати URL нецільовим.
2. SitemapЧи є цільовий канонічний URL у правильному sitemap?XML/RSS/текстовий sitemapПрибрати сміття, додати цільові URL, перевірити lastmod.
3. URL InspectionЩо Google показує в розділі «Discovery»?«Sitemaps», «Referring page», статус покриттяНе трактувати відсутність поля як доказ відсутності джерела.
4. ЛогиЧи був реальний запит Googlebot?Серверні журнали доступуРозділити «відомий, але не просканований» і «просканований».
5. Масштаб шаблонуПроблема одинична чи системна?Групування за типом сторінки / директорієюПріоритизувати шаблон, а не ремонтувати URL по одному.
6. Наступний етапЩо відбувається після сканування?HTTP, рендеринг, canonical, статус індексаціїПереходити до наступних глав, якщо виявлення URL вже не проблема.

5.15. Простий Python-аудит: внутрішні посилання + sitemap + логи

Нижче - не «магічний SEO-скрипт», а мінімальна модель злиття трьох джерел. На вході потрібні три CSV: список цільових URL з кількістю внутрішніх вхідних посилань, список URL із sitemap і список URL, які запитував підтверджений Googlebot за обраний період. Назви колонок легко адаптувати під ваш експорт.

БЕЗ КОДУ: ПРОМПТ ДЛЯ ШІ

Я завантажу три CSV: internal.csv з колонками url та inlinks, sitemap.csv з url і googlebot.csv з url та first_seen. Спочатку перевір структуру файлів. Побудуй повний список URL з усіх трьох джерел і для кожного визнач: чи є внутрішнє вхідне посилання, чи є URL у sitemap, чи бачив його Googlebot. Класифікуй URL за цими трьома сигналами, порахуй кількість у кожному класі й покажи по 20 найважливіших проблемних URL.

АЛЬТЕРНАТИВА БЕЗ ШІ

У Sheets/Excel створіть загальний список URL і три колонки-прапорці через XLOOKUP/COUNTIF: внутрішні посилання, sitemap, логи. Потім зробіть зведену таблицю за комбінаціями TRUE/FALSE. Python потрібен лише тоді, коли обсяг або регулярність уже незручні для роботи в таблиці.

QR: КОД

Скануйте камерою: QR містить компактну виконувану версію коду без коментарів. Коментований код наведено нижче.

ДЛЯ АВТОМАТИЗАЦІЇ: PYTHON ДЛЯ ЗЛИТТЯ 3 ДЖЕРЕЛ

Код 5.1. Мінімальна класифікація URL за внутрішніми посиланнями, sitemap і серверними логами.

PythonОригінальний приклад з книги
import pandas as pd

# Очікувані файли:
# internal.csv: url, inlinks
# sitemap.csv: url
# googlebot.csv: url, first_seen
internal = pd.read_csv("internal.csv")
sitemap = pd.read_csv("sitemap.csv")
logs = pd.read_csv("googlebot.csv")

# 1) Створюємо по одному булевому сигналу для кожного джерела.
internal["has_internal_link"] = internal["inlinks"].fillna(0).gt(0)
sitemap["in_sitemap"] = True
logs["seen_googlebot"] = True

# 2) Робимо outer join, щоб не втратити URL,
# які присутні тільки в одному або двох джерелах.
df = (
    internal[["url", "has_internal_link"]]
    .merge(sitemap[["url", "in_sitemap"]], on="url", how="outer")
    .merge(logs[["url", "seen_googlebot", "first_seen"]], on="url", how="outer")
)

# 3) Відсутній сигнал означає False, а не "невідомо".
for col in ["has_internal_link", "in_sitemap", "seen_googlebot"]:
    df[col] = df[col].fillna(False)

# 4) Класифікуємо URL за комбінацією трьох сигналів.
def classify(r):
    if r.has_internal_link and r.in_sitemap and r.seen_googlebot:
        return "integrated"
    if (not r.has_internal_link) and r.in_sitemap and r.seen_googlebot:
        return "sitemap_only_but_crawled"
    if (not r.has_internal_link) and r.in_sitemap and (not r.seen_googlebot):
        return "sitemap_only_not_crawled"
    if r.has_internal_link and (not r.in_sitemap) and r.seen_googlebot:
        return "internal_only_but_crawled"
    if (not r.has_internal_link) and (not r.in_sitemap) and r.seen_googlebot:
        return "known_from_other_source_or_history"
    return "no_evidence_in_current_dataset"

# 5) Додаємо клас до кожного URL і рахуємо розподіл.
df["discovery_class"] = df.apply(classify, axis=1)
print(df["discovery_class"].value_counts(dropna=False))

# За потреби збережіть результат для ручної перевірки:
# df.to_csv("discovery_audit.csv", index=False)

У реальній системі я додаю тип сторінки, цільовий canonical, HTTP-статус, можливість індексації, дату публікації і кілька часових полів. Тоді можна відповісти не «скільки ізольованих сторінок», а «який відсоток нових товарів категорії X через 48 годин має внутрішнє вхідне посилання, присутній у sitemap і вже отримав перший запит Googlebot». Це вже операційна метрика, яку можна порівнювати між релізами.

5.16. Що робити з «Discovered - currently not indexed»

Найгірша реакція - масово натискати «Запит на індексування». Для великої вибірки це не усуває системну причину. Сам Google радить URL Inspection для невеликої кількості URL, а для великих наборів - sitemap. Повторний запит одного й того самого URL не змусить його скануватися швидше.[14]

Я спочатку сегментую проблему. Якщо статус має 12 URL з 50 000 - це одна історія. Якщо 70% нового шаблону через два тижні лишаються у статусі «виявлено», це інша. Далі перевіряю, чи вони доступні через нормальні внутрішні посилання, чи sitemap містить саме канонічні 200 URL, чи не створено мільйони альтернативних адрес параметрами, чи сервер стабільно віддає відповіді, і чи Googlebot взагалі доходить до цього шаблону.

Важливо не видавати пояснення з довідкового матеріалу спільноти за гарантовану причину проблеми конкретного сайту. Офіційне значення статусу просте: URL знайдено, але не проскановано. Чому саме конкретна адреса довго не отримує сканування - це вже діагностика системи, а не текст одного статусу.[7]

5.17. Що ми точно знаємо

Ми точно знаємо, що Google відокремлює виявлення URL від сканування.[1] Знаємо, що нові URL можуть бути знайдені через посилання і sitemap.[1][2][3] Знаємо, що стандартне <a href> є базовою надійною конструкцією для посилань, які Google може розібрати.[2] Знаємо жорсткі межі sitemap: 50 000 URL або 50 MB без стиснення на файл, а sitemap index може містити до 50 000 записів loc.[4][12]

Ми також знаємо, що sitemap є підказкою, а не гарантією сканування чи індексації.[4] robots.txt не є механізмом приховування самого URL з Google, якщо адресу можна знайти з інших місць.[6] URL Inspection може показувати sitemap і сторінку-джерело, але ці дані не є повним журналом усіх шляхів виявлення.[8][9] Bing окремо підтримує IndexNow як активний канал повідомлення про змінені URL, не гарантуючи при цьому індексацію.[10][11]

Чого ми не знаємо з публічної документації: точну внутрішню вагу кожного каналу виявлення, універсальний час від виявлення до сканування, «ідеальну» кількість внутрішніх вхідних посилань для нового URL або загальний відсоток сторінок, відомих лише через sitemap, після якого сайт обовʼязково матиме проблему. Якщо хтось називає такі числа без власного контрольованого набору даних і методології, це вже не факт Google, а гіпотеза.

Головний практичний висновок цієї глави простий. До того як аналізувати рендеринг, canonical або якість контенту, треба довести, що потрібний URL узагалі існує для пошукової системи як адреса і має нормальний шлях до черги сканування. Наступна глава починається саме там: URL уже відомий. Тепер питання - коли, як часто і з яким пріоритетом його скануватиме Googlebot.

Джерела до глави

1. Google Search Central. In-Depth Guide to How Google Search Works. https://developers.google.com/search/docs/fundamentals/how-search-works Офіційне розділення виявлення URL, сканування та індексації; посилання й sitemap як джерела нових URL.

2. Google Search Central. Link best practices for Google. https://developers.google.com/search/docs/crawling-indexing/links-crawlable Google використовує посилання для пошуку нових сторінок; <a href> як базова доступна для краулера конструкція.

3. Google Search Central. What Is a Sitemap. https://developers.google.com/search/docs/crawling-indexing/sitemaps/overview Коли sitemap особливо корисний; Google зазвичай може знайти добре повʼязані сторінки через внутрішні посилання.

4. Google Search Central. Build and Submit a Sitemap. https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap 50 000 URL / 50 MB; абсолютні URL; sitemap як підказка; точний lastmod; Google ігнорує priority та changefreq.

5. Google Search Central. Troubleshoot Google Search Crawling Errors. https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors Поради щодо доступних для краулера посилань, мобільної версії, sitemap і логів.

6. Google Search Central. Introduction to robots.txt. https://developers.google.com/search/docs/crawling-indexing/robots/intro robots.txt керує доступом краулера, але URL може лишатися відомим і навіть зʼявитися в результатах без контенту.

7. Google Search Console Help. Page indexing report / Discovered - currently not indexed. https://support.google.com/webmasters/answer/7440203?hl=en Статус означає, що сторінку знайдено, але ще не проскановано.

8. Google Search Console Help. URL Inspection tool. https://support.google.com/webmasters/answer/9012289?hl=en «Discovery», «Sitemaps», «Referring page» і застереження щодо неповноти цих полів.

9. Google Search Console API. UrlInspectionResult. https://developers.google.com/webmaster-tools/v1/urlInspection.index/UrlInspectionResult Поля sitemap[] і referringUrls[]; lastCrawlTime та інші дані індексної версії URL.

10. Bing Webmaster Guidelines. https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a Bing прямо називає IndexNow, XML sitemap, внутрішні та зовнішні посилання каналами виявлення URL.

11. Bing Webmaster Tools. IndexNow. https://www.bing.com/webmasters/help/indexnow-0z209wby Активне повідомлення про нові, змінені або видалені URL; подання URL не гарантує індексації.

12. Google Search Central. Manage Your Sitemaps With Sitemap Index Files. https://developers.google.com/search/docs/crawling-indexing/sitemaps/large-sitemaps До 50 000 loc у sitemap index; до 500 індексних файлів sitemap на сайт у Search Console.

13. Google Search Central. Redirects and Google Search. https://developers.google.com/search/docs/crawling-indexing/301-redirects Googlebot переходить за редиректами; постійний редирект є сигналом канонічної цілі.

14. Google Search Central. Ask Google to Recrawl Your Website. https://developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl URL Inspection для кількох URL, sitemap для великих наборів; повторні запити не гарантують швидшого сканування.

Практикуми за темою глави

Перейдіть від методики з книги до робочого шаблону, діагностики URL чи вимірювання результату. Кожна вправа має критерії перевірки та посилання на джерела.

Усі практичні SEO-інструменти

Тематична довідка · SEO 2026

Ключові поняття цієї глави

Додаткові авторські пояснення понять, пов’язаних із темою глави: визначення, приклади, типові помилки та першоджерела. Це редакційна довідка, а не зміна оригінального тексту книги.

Усі 29 понять у SEO-словнику

Ілюстрації розміщено біля відповідних підписів. Оригінальні зображення зберігаються окремо від тексту.