Посилання, sitemap, URL Inspection, ізольовані сторінки, robots.txt, редиректи та IndexNow. Де закінчується факт існування URL і починається реальне сканування.
Стан даних і джерел: 12 вересня 2026 року
У технічному SEO дуже легко перескочити через перший етап і одразу питати, чому сторінка не індексується. Але до індексації є простіше питання: звідки пошукова система взагалі знає, що цей URL існує? Google прямо називає цей етап виявленням URL. Централізованого реєстру всіх сторінок вебу немає. Пошукова система постійно додає нові адреси до набору вже відомих і лише після цього вирішує, коли їх сканувати.[1]
Це розділення практично важливе. Якщо URL не потрапив у відомий пошуковій системі набір, технічні деталі самої сторінки поки не мають значення: Googlebot ще не отримав HTML, не бачив title, canonical, noindex, тексту або структурованих даних. Якщо URL уже відомий, але не просканований, ми маємо інший клас проблем. А якщо просканований, але не індексується, це вже наступний етап системи.
Схема автора на основі Google Search Central та Bing Webmaster Guidelines.
5.1. Виявлено не означає проскановано
Офіційний опис Google формулює процес досить прямо: частина сторінок уже відома з попередніх відвідувань, інші URL знаходяться через посилання на відомих сторінках, а власник сайту може передати список адрес через sitemap.[1] Після виявлення URL Googlebot може відвідати його, але це окреме рішення системи. Сам Google також не гарантує, що сторінку буде проскановано, проіндексовано або показано в результатах, навіть якщо вона відповідає технічним вимогам.[1]
Це добре видно у Search Console. Статус «Discovered - currently not indexed» означає, що Google знайшов URL, але ще не просканував його. У такому стані відсутність часу останнього сканування не є загадкою: контент сторінки ще не був отриманий. Тому я ніколи не починаю діагностику такого статусу з переписування title або додавання структурованих даних. Спочатку треба зрозуміти, як URL потрапив у систему і чому не переходить до наступного етапу - сканування.[7]
5.2. Звідки пошукова система може дізнатися про URL
Для практичного аудиту я розділяю джерела на пʼять груп. Чотири з них універсальні для класичного вебу: внутрішні посилання, зовнішні посилання, sitemap і вже відомі пошуковій системі адреси. Пʼята група - активні механізми повідомлення, наприклад IndexNow у Bing. Вони не скасовують граф посилань, але скорочують шлях від зміни на сайті до сигналу пошуковій системі.[10][11]
| Джерело | Що реально повідомляє | Що не гарантує |
|---|---|---|
| Внутрішнє посилання | На доступній сторінці існує посилання на інший URL | Що ціль буде швидко просканована або індексована |
| Зовнішнє посилання | Інший сайт посилається на URL | Що URL стане канонічним або ранжуватиметься |
| Sitemap | Власник сайту заявляє набір бажаних URL | Що Google завантажить, просканує або проіндексує кожен URL |
| Раніше відомий URL | Адреса вже була в системі з попередніх обходів або історії | Що поточний контент за адресою вже повторно перевірений |
| IndexNow для Bing | Сайт активно повідомляє про додавання, зміну або видалення URL | Що Bing обовʼязково просканує чи проіндексує сторінку |
5.3. Внутрішнє посилання - це не тільки PageRank
У SEO внутрішні посилання часто обговорюють через розподіл PageRank або тематичні звʼязки. Але їхня перша функція простіша: вони створюють шлях, яким пошуковий робот знаходить інші URL. Google прямо пише, що використовує посилання, зокрема, для пошуку нових сторінок, які потрібно просканувати.[2]
Тому «сторінка є в меню користувача» і «у HTML існує доступне для краулера посилання» - не завжди одне й те саме. Інтерфейс може виглядати як посилання, але технічно бути кнопкою, span з JavaScript-обробником або елементом, у якого URL зʼявляється тільки після взаємодії. Для Google найбезпечніший базовий варіант - HTML-елемент <a> з атрибутом href.[2]
Приклади синтаксису адаптовані з Google Search Central, Link best practices.
| HTML / поведінка | Надійність для виявлення | Коментар |
|---|---|---|
| <a href="/product/123"> | Висока | Стандартний посилальний елемент з href. |
| <a href="https://example.com/page"> | Висока | Повний абсолютний URL також нормально обробляється. |
| <a onclick="go()"> | Низька | Немає href. Google не обіцяє надійно витягувати URL з такого елемента. |
| <span onclick="navigate()"> | Низька | Це не посилальний елемент. Не варто будувати критичну навігацію лише так. |
| URL, що зʼявляється тільки після дії користувача | Залежить від реалізації | Для критичного шляху відкриття сторінок краще мати звичайні посилання. |
5.4. Мобільна версія може непомітно обрізати граф посилань
Після переходу Google на сканування з пріоритетом мобільної версії особливо небезпечна різниця між навігацією на компʼютерній і мобільній версіях. В офіційній документації Google прямо радить давати на мобільній версії той самий набір посилань, що й на компʼютерній. Якщо це неможливо, URL варто принаймні включити до sitemap; обмежений набір мобільних посилань може сповільнити виявлення нових сторінок.[5]
На практиці це типова проблема великих каталогів. На компʼютерній версії у категорії може бути повна пагінація, посилання на підкатегорії та фільтри, а мобільна версія показує тільки першу порцію карток і кнопку «показати ще». Якщо додаткові URL не існують у початковому HTML і не мають інших шляхів виявлення, ми створюємо різний граф сайту для користувача і для основного пошукового робота Google.
5.5. Sitemap - це перелік адрес, а не заміна архітектури
Google визначає sitemap як спосіб повідомити про сторінки, які є новими або оновленими. Для добре повʼязаного невеликого сайту sitemap може бути не критичним для самого виявлення: Google пише, що якщо всі важливі сторінки доступні через навігацію й внутрішні посилання, більшість сайту зазвичай можна знайти без нього. Водночас sitemap особливо корисний для великих сайтів, нових сайтів з малою кількістю зовнішніх посилань та спеціалізованого медіаконтенту.[3]
Тут важлива методологічна деталь. Sitemap не доводить, що сторінка добре інтегрована в сайт. Він лише додає ще один канал виявлення. URL може бути в sitemap і не мати жодного внутрішнього посилання. Пошукова система знатиме адресу, але з погляду структури сайту це все одно ізольована сторінка. Для комерційної або інформаційної сторінки, яку ми хочемо ранжувати, це зазвичай слабка конструкція.
Google Search Central: до 50 000 URL або 50 MB без стиснення в одному sitemap; sitemap index може містити до 50 000 loc.[4][12]
| Правило sitemap | Що робити на практиці |
|---|---|
| До 50 000 URL або 50 MB без стиснення | Ділити більші набори на окремі sitemap. |
| Використовувати повні абсолютні URL | Не передавати відносні /page або інші неоднозначні адреси. |
| Включати URL, які ви хочете бачити в Пошуку | Не засмічувати sitemap редиректами, 404 та технічними варіантами. |
| Переважно вказувати канонічні URL | Sitemap є одним із сигналів бажаної канонічної версії, але не є наказом. |
| Sitemap - підказка | Наявність URL у файлі не гарантує сканування або індексації. |
| Порядок URL у sitemap не має значення для Google | Не витрачати час на штучне сортування за «пріоритетом». |
5.6. lastmod працює тільки тоді, коли йому можна довіряти
Google окремо пише, що використовує значення <lastmod>, якщо воно стабільно й перевірно відображає суттєву зміну сторінки. Зміна основного контенту, структурованих даних або посилань може бути суттєвою. Зміна дати в повідомленні про авторське право - ні.[4]
Тому шаблон «щодня ставити поточну дату всім URL» не прискорює систему магічно. Він знижує інформаційну цінність сигналу. Для великих сайтів я волію мати 20% URL із чесним lastmod, ніж 100% із датою, яка змінюється щоночі без реальної зміни сторінки.
5.7. Ізольована сторінка - це визначення з вашого набору даних, а не абсолютний факт
Термін «ізольована сторінка» часто використовують занадто впевнено. Краулер Screaming Frog або будь-який інший інструмент не знає всіх шляхів, якими Google міг колись знайти URL. Якщо сторінка не має внутрішніх вхідних посилань у вашому скануванні сайту, вона може бути в sitemap, мати зовнішнє посилання, бути відомою з минулої версії сайту або вже бути в індексі.
Тому я використовую точніші класи. «Немає внутрішніх вхідних посилань» - факт нашого сканування сайту. «Є тільки в sitemap» - факт зіставлення двох джерел. «Не знайдено внутрішніх посилань, запису в sitemap і запитів Googlebot за обраний період» - сильніший сигнал, але теж не доказ, що Google ніколи не знав URL. Такі формулювання роблять аудит набагато чеснішим.
Це робоча модель аудиту, а не внутрішня класифікація Google.
| Клас URL | Інтерпретація | Типова дія |
|---|---|---|
| Внутрішні посилання + sitemap | Нормально інтегрований у дві системи виявлення | Перевіряти вже наступні етапи: сканування, canonical, індексація. |
| Лише sitemap | Адреса передана напряму, але не інтегрована у внутрішній граф | Зрозуміти, чи сторінка справді заслуговує на індексацію. Якщо так - додати логічні внутрішні посилання. |
| Лише внутрішні посилання | Сторінка доступна через граф, але відсутня у sitemap | Не завжди помилка. Перевірити політику sitemap і канонічність. |
| Лише логи | Googlebot уже запитував URL, але поточне сканування сайту і sitemap його не показують | Перевірити історичні URL, редиректи, зовнішні посилання, параметри. |
| Ніде у вибірці | Немає доказу доступного шляху в поточних даних | Шукати джерело генерації URL або додати потрібний шлях виявлення. |
5.8. URL Inspection дає підказки про джерело виявлення, але не повний журнал
У Search Console блок «Discovery» може показати sitemap і поле «Referring page». «Referring page» - це сторінка, яку Google, імовірно, використав для виявлення URL. Вона може посилатися прямо або бути вищою ланкою ланцюга. Якщо поле порожнє, це не означає, що сторінки-джерела не існує. Сам Google попереджає, що інформація може бути недоступна в інструменті й URL міг бути знайдений іншим способом.[8]
Те саме видно в API URL Inspection. Поле sitemap[] містить відомі Google sitemap, де присутній URL, але документація прямо каже, що список не гарантовано вичерпний. Поле referringUrls[] повертає URL, які посилаються на перевірену адресу прямо або опосередковано.[9] Це корисно для автоматизації, але не перетворює API на повний журнал виявлення URL.
Офіційні поля: «Sitemaps» і «Referring page»; URL Inspection API: sitemap[] та referringUrls[].[8][9]
5.9. robots.txt не ховає сам факт існування URL
robots.txt контролює доступ краулера, а не знання про адресу. Google прямо попереджає: якщо інші сторінки посилаються на URL, заблокований у robots.txt, Google все одно може знати адресу і навіть показати її в результатах без опису, не завантажуючи сам контент.[6]
Звідси випливає важлива технічна помилка: не можна одночасно блокувати сторінку в robots.txt і очікувати, що Google гарантовано прочитає meta robots noindex у її HTML. Щоб побачити noindex, сторінку треба отримати. Те саме стосується canonical у HTML: він стає доступним лише після завантаження й обробки документа.
Схема спрощує механіку для діагностики. Детальні правила індексації та канонікалізації розбираються в окремих главах.
| Механізм | Впливає на виявлення URL | Впливає на сканування | Впливає на індексацію |
|---|---|---|---|
| robots.txt Disallow | Не гарантує приховування | Так, блокує запит відповідного краулера | Опосередковано; URL може лишатися відомим і зʼявитися без контенту |
| meta robots noindex | Ні | Ні, сторінку треба отримати, щоб прочитати директиву | Так, якщо Google може прочитати директиву |
| X-Robots-Tag: noindex | Ні | Ні, потрібна HTTP-відповідь | Так, після отримання заголовка |
| rel=canonical | Ні | Ні | Сигнал вибору канонічної версії, не абсолютна команда |
| видалення внутрішніх посилань | Зменшує один із шляхів | Може вплинути на майбутню частоту через зміну графа | Саме по собі не видаляє URL з індексу |
5.10. Редирект може привести краулер до нової адреси, але це вже наступний крок після виявлення старої
Якщо Googlebot запитує відомий URL і отримує 301, 308, 302 або інший підтримуваний редирект, він переходить до цільової адреси. Для постійних серверних редиректів Google також використовує ціль як сильний сигнал канонічної версії.[13]
Це важлива різниця для міграцій. Карта редиректів не є заміною внутрішніх посилань на нові URL і sitemap з новими URL. Редирект працює тільки після того, як стару адресу вже запитали. Якщо новий розділ має бути частиною поточної архітектури, я хочу, щоб він був доступний напряму через внутрішній граф і sitemap, а не тільки як кінцева точка старих 301.
5.11. Google і Bing мають різні способи отримувати сигнал про новий URL
Google у публічній документації робить акцент на посиланнях, sitemap і запиті на повторне сканування через URL Inspection для невеликої кількості URL.[1][8][14] Bing, крім класичних посилань і sitemap, підтримує IndexNow - протокол активного повідомлення про додані, змінені або видалені URL.[10][11]
Bing прямо показує в IndexNow Insights надіслані URL, час подання, джерело, а для вибірки - статус сканування, статус індексації та час першої індексації. При цьому Microsoft так само застерігає: подання URL через IndexNow не гарантує сканування або індексацію.[11]
Google не вказаний у книзі як учасник IndexNow. Для Google використовуються його офіційно задокументовані механізми; IndexNow тут показаний як окремий механізм Bing.
5.12. Серверний лог доводить сканування, але не момент виявлення
Логи дуже сильні як факт того, що конкретний агент користувача зробив HTTP-запит до конкретного URL у конкретний час. Але лог нічого не каже про те, скільки часу URL уже був відомий системі до першого запиту. Якщо Googlebot уперше звернувся 12 вересня о 03:14, це не означає, що URL був виявлений саме о 03:14.
Тому в аудиті я не використовую «перший зафіксований запит Googlebot» як синонім «дата виявлення». Це перша зафіксована нами дата сканування в наявному періоді логів. Виявлення могло відбутися раніше через sitemap, посилання або інше джерело. Search Console також може показувати «Referring page» або sitemap, але не гарантує повноту цієї історії.[8][9]
5.13. Метрики виявлення, які реально можна порахувати на своєму сайті
Google не публікує універсальну норму на кшталт «95% сторінок повинні бути знайдені через внутрішні посилання». Тому я не використовую вигадану галузеву норму. Замість цього рахую власні стабільні метрики за шаблонами і дивлюся на їхню зміну в часі.
Формула 5.1. Покриття внутрішнім графом.
Мета - не досягти магічних 100%, а знайти шаблони, де важливі URL існують тільки поза внутрішньою архітектурою.
Формула 5.2. Частка URL, які тримає тільки sitemap.
Розраховуйте окремо за типами сторінок. Один загальний відсоток може приховати проблему в конкретному шаблоні.
Формула 5.3. Покриття sitemap цільовими URL.
| Метрика | Знаменник | Що діагностує | Чого не доводить |
|---|---|---|---|
| Покриття внутрішніми посиланнями | Цільові URL, дозволені до індексації | Чи є шлях у внутрішньому графі | Що Google вже пройшов цим шляхом |
| Частка URL лише в sitemap | URL у sitemap | Наскільки sitemap компенсує слабку архітектуру | Що сторінки погані або не індексуються |
| Покриття sitemap | Цільові канонічні URL | Повноту й чистоту переліку бажаних URL | Що sitemap потрібен кожній сторінці для виявлення |
| URL з першим зафіксованим запитом Googlebot | URL у логах за період | Факт першого зафіксованого запиту в логах | Справжню дату первинного виявлення |
| «Виявлено, але не проіндексовано» | URL у відповідному статусі GSC | Google знає URL, але ще не просканував | Конкретну причину затримки для кожного URL |
5.14. Мій порядок аудиту, якщо нові URL «не підхоплюються»
Я починаю не з кнопки «Запит на індексування», а з вибірки URL одного типу. Наприклад, 500 нових товарів, 300 масово згенерованих посадкових сторінок або 2 000 нових профілів. Потім зіставляю чотири джерела: сканування внутрішніх посилань, sitemap, Search Console URL Inspection для вибірки та серверні логи Googlebot. Це дає значно більше інформації, ніж ручна перевірка десяти випадкових сторінок.
| Крок | Питання | Дані | Рішення |
|---|---|---|---|
| 1. Внутрішній граф | Чи є хоча б одне доступне внутрішнє посилання? | Краулер сайту / база посилань | Якщо ні - виправити архітектуру або визнати URL нецільовим. |
| 2. Sitemap | Чи є цільовий канонічний URL у правильному sitemap? | XML/RSS/текстовий sitemap | Прибрати сміття, додати цільові URL, перевірити lastmod. |
| 3. URL Inspection | Що Google показує в розділі «Discovery»? | «Sitemaps», «Referring page», статус покриття | Не трактувати відсутність поля як доказ відсутності джерела. |
| 4. Логи | Чи був реальний запит Googlebot? | Серверні журнали доступу | Розділити «відомий, але не просканований» і «просканований». |
| 5. Масштаб шаблону | Проблема одинична чи системна? | Групування за типом сторінки / директорією | Пріоритизувати шаблон, а не ремонтувати URL по одному. |
| 6. Наступний етап | Що відбувається після сканування? | HTTP, рендеринг, canonical, статус індексації | Переходити до наступних глав, якщо виявлення URL вже не проблема. |
5.15. Простий Python-аудит: внутрішні посилання + sitemap + логи
Нижче - не «магічний SEO-скрипт», а мінімальна модель злиття трьох джерел. На вході потрібні три CSV: список цільових URL з кількістю внутрішніх вхідних посилань, список URL із sitemap і список URL, які запитував підтверджений Googlebot за обраний період. Назви колонок легко адаптувати під ваш експорт.
БЕЗ КОДУ: ПРОМПТ ДЛЯ ШІ
Я завантажу три CSV: internal.csv з колонками url та inlinks, sitemap.csv з url і googlebot.csv з url та first_seen. Спочатку перевір структуру файлів. Побудуй повний список URL з усіх трьох джерел і для кожного визнач: чи є внутрішнє вхідне посилання, чи є URL у sitemap, чи бачив його Googlebot. Класифікуй URL за цими трьома сигналами, порахуй кількість у кожному класі й покажи по 20 найважливіших проблемних URL.
АЛЬТЕРНАТИВА БЕЗ ШІ
У Sheets/Excel створіть загальний список URL і три колонки-прапорці через XLOOKUP/COUNTIF: внутрішні посилання, sitemap, логи. Потім зробіть зведену таблицю за комбінаціями TRUE/FALSE. Python потрібен лише тоді, коли обсяг або регулярність уже незручні для роботи в таблиці.
QR: КОД
Скануйте камерою: QR містить компактну виконувану версію коду без коментарів. Коментований код наведено нижче.
ДЛЯ АВТОМАТИЗАЦІЇ: PYTHON ДЛЯ ЗЛИТТЯ 3 ДЖЕРЕЛ
Код 5.1. Мінімальна класифікація URL за внутрішніми посиланнями, sitemap і серверними логами.
import pandas as pd
# Очікувані файли:
# internal.csv: url, inlinks
# sitemap.csv: url
# googlebot.csv: url, first_seen
internal = pd.read_csv("internal.csv")
sitemap = pd.read_csv("sitemap.csv")
logs = pd.read_csv("googlebot.csv")
# 1) Створюємо по одному булевому сигналу для кожного джерела.
internal["has_internal_link"] = internal["inlinks"].fillna(0).gt(0)
sitemap["in_sitemap"] = True
logs["seen_googlebot"] = True
# 2) Робимо outer join, щоб не втратити URL,
# які присутні тільки в одному або двох джерелах.
df = (
internal[["url", "has_internal_link"]]
.merge(sitemap[["url", "in_sitemap"]], on="url", how="outer")
.merge(logs[["url", "seen_googlebot", "first_seen"]], on="url", how="outer")
)
# 3) Відсутній сигнал означає False, а не "невідомо".
for col in ["has_internal_link", "in_sitemap", "seen_googlebot"]:
df[col] = df[col].fillna(False)
# 4) Класифікуємо URL за комбінацією трьох сигналів.
def classify(r):
if r.has_internal_link and r.in_sitemap and r.seen_googlebot:
return "integrated"
if (not r.has_internal_link) and r.in_sitemap and r.seen_googlebot:
return "sitemap_only_but_crawled"
if (not r.has_internal_link) and r.in_sitemap and (not r.seen_googlebot):
return "sitemap_only_not_crawled"
if r.has_internal_link and (not r.in_sitemap) and r.seen_googlebot:
return "internal_only_but_crawled"
if (not r.has_internal_link) and (not r.in_sitemap) and r.seen_googlebot:
return "known_from_other_source_or_history"
return "no_evidence_in_current_dataset"
# 5) Додаємо клас до кожного URL і рахуємо розподіл.
df["discovery_class"] = df.apply(classify, axis=1)
print(df["discovery_class"].value_counts(dropna=False))
# За потреби збережіть результат для ручної перевірки:
# df.to_csv("discovery_audit.csv", index=False)У реальній системі я додаю тип сторінки, цільовий canonical, HTTP-статус, можливість індексації, дату публікації і кілька часових полів. Тоді можна відповісти не «скільки ізольованих сторінок», а «який відсоток нових товарів категорії X через 48 годин має внутрішнє вхідне посилання, присутній у sitemap і вже отримав перший запит Googlebot». Це вже операційна метрика, яку можна порівнювати між релізами.
5.16. Що робити з «Discovered - currently not indexed»
Найгірша реакція - масово натискати «Запит на індексування». Для великої вибірки це не усуває системну причину. Сам Google радить URL Inspection для невеликої кількості URL, а для великих наборів - sitemap. Повторний запит одного й того самого URL не змусить його скануватися швидше.[14]
Я спочатку сегментую проблему. Якщо статус має 12 URL з 50 000 - це одна історія. Якщо 70% нового шаблону через два тижні лишаються у статусі «виявлено», це інша. Далі перевіряю, чи вони доступні через нормальні внутрішні посилання, чи sitemap містить саме канонічні 200 URL, чи не створено мільйони альтернативних адрес параметрами, чи сервер стабільно віддає відповіді, і чи Googlebot взагалі доходить до цього шаблону.
Важливо не видавати пояснення з довідкового матеріалу спільноти за гарантовану причину проблеми конкретного сайту. Офіційне значення статусу просте: URL знайдено, але не проскановано. Чому саме конкретна адреса довго не отримує сканування - це вже діагностика системи, а не текст одного статусу.[7]
5.17. Що ми точно знаємо
Ми точно знаємо, що Google відокремлює виявлення URL від сканування.[1] Знаємо, що нові URL можуть бути знайдені через посилання і sitemap.[1][2][3] Знаємо, що стандартне <a href> є базовою надійною конструкцією для посилань, які Google може розібрати.[2] Знаємо жорсткі межі sitemap: 50 000 URL або 50 MB без стиснення на файл, а sitemap index може містити до 50 000 записів loc.[4][12]
Ми також знаємо, що sitemap є підказкою, а не гарантією сканування чи індексації.[4] robots.txt не є механізмом приховування самого URL з Google, якщо адресу можна знайти з інших місць.[6] URL Inspection може показувати sitemap і сторінку-джерело, але ці дані не є повним журналом усіх шляхів виявлення.[8][9] Bing окремо підтримує IndexNow як активний канал повідомлення про змінені URL, не гарантуючи при цьому індексацію.[10][11]
Чого ми не знаємо з публічної документації: точну внутрішню вагу кожного каналу виявлення, універсальний час від виявлення до сканування, «ідеальну» кількість внутрішніх вхідних посилань для нового URL або загальний відсоток сторінок, відомих лише через sitemap, після якого сайт обовʼязково матиме проблему. Якщо хтось називає такі числа без власного контрольованого набору даних і методології, це вже не факт Google, а гіпотеза.
Головний практичний висновок цієї глави простий. До того як аналізувати рендеринг, canonical або якість контенту, треба довести, що потрібний URL узагалі існує для пошукової системи як адреса і має нормальний шлях до черги сканування. Наступна глава починається саме там: URL уже відомий. Тепер питання - коли, як часто і з яким пріоритетом його скануватиме Googlebot.
Джерела до глави
1. Google Search Central. In-Depth Guide to How Google Search Works. https://developers.google.com/search/docs/fundamentals/how-search-works Офіційне розділення виявлення URL, сканування та індексації; посилання й sitemap як джерела нових URL.
2. Google Search Central. Link best practices for Google. https://developers.google.com/search/docs/crawling-indexing/links-crawlable Google використовує посилання для пошуку нових сторінок; <a href> як базова доступна для краулера конструкція.
3. Google Search Central. What Is a Sitemap. https://developers.google.com/search/docs/crawling-indexing/sitemaps/overview Коли sitemap особливо корисний; Google зазвичай може знайти добре повʼязані сторінки через внутрішні посилання.
4. Google Search Central. Build and Submit a Sitemap. https://developers.google.com/search/docs/crawling-indexing/sitemaps/build-sitemap 50 000 URL / 50 MB; абсолютні URL; sitemap як підказка; точний lastmod; Google ігнорує priority та changefreq.
5. Google Search Central. Troubleshoot Google Search Crawling Errors. https://developers.google.com/search/docs/crawling-indexing/troubleshoot-crawling-errors Поради щодо доступних для краулера посилань, мобільної версії, sitemap і логів.
6. Google Search Central. Introduction to robots.txt. https://developers.google.com/search/docs/crawling-indexing/robots/intro robots.txt керує доступом краулера, але URL може лишатися відомим і навіть зʼявитися в результатах без контенту.
7. Google Search Console Help. Page indexing report / Discovered - currently not indexed. https://support.google.com/webmasters/answer/7440203?hl=en Статус означає, що сторінку знайдено, але ще не проскановано.
8. Google Search Console Help. URL Inspection tool. https://support.google.com/webmasters/answer/9012289?hl=en «Discovery», «Sitemaps», «Referring page» і застереження щодо неповноти цих полів.
9. Google Search Console API. UrlInspectionResult. https://developers.google.com/webmaster-tools/v1/urlInspection.index/UrlInspectionResult Поля sitemap[] і referringUrls[]; lastCrawlTime та інші дані індексної версії URL.
10. Bing Webmaster Guidelines. https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a Bing прямо називає IndexNow, XML sitemap, внутрішні та зовнішні посилання каналами виявлення URL.
11. Bing Webmaster Tools. IndexNow. https://www.bing.com/webmasters/help/indexnow-0z209wby Активне повідомлення про нові, змінені або видалені URL; подання URL не гарантує індексації.
12. Google Search Central. Manage Your Sitemaps With Sitemap Index Files. https://developers.google.com/search/docs/crawling-indexing/sitemaps/large-sitemaps До 50 000 loc у sitemap index; до 500 індексних файлів sitemap на сайт у Search Console.
13. Google Search Central. Redirects and Google Search. https://developers.google.com/search/docs/crawling-indexing/301-redirects Googlebot переходить за редиректами; постійний редирект є сигналом канонічної цілі.
14. Google Search Central. Ask Google to Recrawl Your Website. https://developers.google.com/search/docs/crawling-indexing/ask-google-to-recrawl URL Inspection для кількох URL, sitemap для великих наборів; повторні запити не гарантують швидшого сканування.