Що насправді означає бюджет сканування, коли він стає проблемою, як Googlebot реагує на сервер, що показує Crawl Stats і як перейти від агрегатів Search Console до подієвого аналізу логів.
Стан даних і джерел: 12 вересня 2026 року
Бюджет сканування часто обговорюють так, наче кожен сайт має фіксований денний ліміт Googlebot, який можна “витратити” на хороші або погані сторінки. Це зручна метафора, але технічно вона неточна. У документації Google від 22 липня 2026 року модель описана інакше: фактичний обсяг сканування формується перетином двох речей - межі спроможності сканування хоста та попиту на сканування конкретних URL.[1]
Перша величина відповідає на питання «скільки Google може завантажити, не створюючи проблем серверу». Друга - «скільки Google взагалі хоче завантажити». Якщо сервер швидкий і стабільний, але попит низький, Google не зобовʼязаний збільшувати частоту. Якщо попит високий, але хост починає відповідати повільніше, давати 5xx або 429, система знижує навантаження. Тому бюджет сканування - не один регулятор і не один лічильник.
Схема автора за Google Crawling Infrastructure. Це концептуальна модель, а не формула множення двох показників.
6.1. Коли бюджет сканування узагалі вартий окремої уваги
Для більшості невеликих сайтів бюджет сканування не є окремою SEO-проблемою. Google прямо пише: якщо сторінок небагато, вони не змінюються дуже швидко або нові матеріали скануються того ж дня, достатньо підтримувати sitemap і регулярно перевіряти звіт «Page Indexing». Окремий розширений посібник Google орієнтує насамперед на великі та дуже динамічні сайти.[1]
Офіційні орієнтири приблизні, а не жорсткі пороги: 1 млн і більше унікальних URL із помірними змінами приблизно раз на тиждень; 10 тис. і більше унікальних URL із дуже швидкими щоденними змінами; або сайти, де значна частина URL у Search Console має статус «Виявлено, але наразі не проіндексовано».[1] Сам Google окремо попереджає, що ці числа потрібні для класифікації, а не для математичного рішення “9 999 URL - проблеми немає, 10 000 - є”.
Джерело: Google Crawling Infrastructure, 2026. Обидва пороги Google називає приблизними.
| Ситуація | Чи починати з бюджету сканування | Що перевірити першим |
|---|---|---|
| 800 статичних сторінок, нові URL швидко скануються | Зазвичай ні | Звіт «Page Indexing», sitemap, внутрішні посилання, технічну доступність. |
| 50 тис. товарів, ціни й наявність змінюються щодня | Так, уже має сенс | Логи, Crawl Stats, частоту повторного сканування, 304, час відповіді, зайві параметричні URL. |
| 2 млн URL каталогу, частина шаблонів майже не змінюється | Так | Перелік URL, дублікати, фасети, soft 404, попит на повторне сканування. |
| 20 тис. сторінок, але тисячі «Виявлено, але наразі не проіндексовано» | Так, як одна з гіпотез | Чи проблема у виявленні нових URL, попиті, якості, переліку URL або спроможності хоста. |
| Сайт на 5 тис. URL після міграції | Тимчасово може бути важливо | Редиректи, sitemap, старі/нові URL, статуси, логи та хвилю повторного сканування. |
6.2. Межа спроможності: Google дивиться не тільки на кількість запитів
Google визначає межу спроможності сканування через навантаження на хост. Враховується не лише кількість паралельних зʼєднань, а й те, скільки часу сервер тримає їх відкритими. Якщо час відповіді та затримка стабільні або покращуються, межа може зрости. Якщо затримка або TTFB погіршуються, зʼявляються 5xx чи 429, межа знижується.[1]
Це одна з причин, чому я не використовую «запити за секунду» як самодостатній KPI. Два сервери можуть обробляти однакові 5 запитів на секунду зовсім по-різному. Один віддає HTML за 80 мс і майже не помічає Googlebot. Інший тримає зʼєднання 2 секунди, упирається в обмеження CPU або бази даних і починає працювати гірше. Для пошукового робота це різні хости, навіть якщо кількість запитів однакова.
| Сигнал з боку хоста | Що бачить Google | Очікувана реакція |
|---|---|---|
| Стабільний або кращий час відповіді | Хост справляється з навантаженням | Межа спроможності може зрости, якщо є попит. |
| Зростає затримка / TTFB | Кожне зʼєднання займає більше часу | Google може знизити інтенсивність сканування. |
| 429 Too Many Requests | Сервер прямо сигналізує перевантаження | Google сповільнює сканування. |
| 5xx на значній кількості URL | Серверна помилка / недоступність | Google тимчасово зменшує частоту сканування. |
| 404 / 410 для видалених URL | Контент відсутній постійно | Частота повторних запитів поступово падає; це не механізм обмеження частоти. |
| 304 Not Modified | Контент не змінився | Google може повторно використати попередню версію без повторної передачі контенту. |
6.3. Попит на сканування: швидкий сервер ще не означає, що Google хоче більше URL
Другий бік моделі - попит на сканування. Для Googlebot він залежить від розміру сайту, частоти оновлення, якості та релевантності сторінок порівняно з іншими сайтами. У поточній документації Google окремо виділяє відомий набір URL, популярність і застарівання. Найбільш керований чинник для власника - набір URL: якщо система знає мільйони дублів, варіантів сортування, застарілих адрес або інших URL, які не потрібні в пошуку, частина ресурсу йде на них.[1]
Популярність тут не треба зводити до примітиву “більше зворотних посилань = більше сканування”. Google формулює обережніше: популярні URL в інтернеті зазвичай скануються частіше, щоб залишатися актуальними. Застарівання означає, що система намагається не тримати документи застарілими. Міграція сайту або інша подія масштабу всього сайту також може тимчасово підвищити попит на повторне сканування.[1]
| Фактор попиту | Що він означає практично | Що може зробити SEO / розробка |
|---|---|---|
| Набір відомих URL | Скільки адрес Google знає і вважає потенційними кандидатами | Прибрати нескінченні простори, консолідувати дублікати, чистити sitemap, віддавати 404/410 там, де URL справді видалені. |
| Частота змін | Наскільки швидко застаріває документ | Коректний lastmod, кешування, окремий контроль динамічних шаблонів. |
| Якість і релевантність | Наскільки сторінки варті повторної обробки для продукту Google | Не масштабувати слабкі URL тільки тому, що технічно можна їх згенерувати. |
| Популярність | Наскільки URL помітний у вебі | Не використовувати як штучний KPI бюджету сканування; аналізувати як частину загальної цінності сторінок. |
| Події сайту | Міграція, масова зміна URL або контенту | Очікувати тимчасової хвилі повторного сканування і контролювати серверну спроможність. |
6.4. Crawl Stats: що Search Console реально показує
Звіт «Crawl Stats» - найкраща початкова точка для швидкого загального аналізу. Він показує загальну кількість запитів сканування, завантажений обсяг, середній час відповіді, стан хоста, розподіл за HTTP-відповідями, типами файлів, метою сканування і типом Googlebot.[2] Для ресурсу типу «Домен» можна також дивитися хости, але інтерфейс показує тільки 20 дочірніх доменів, які отримували трафік сканування за останні 90 днів.[2]
Звіт має важливе обмеження: список прикладів URL не є повним логом. Відсутність конкретного URL у прикладах не доводить, що Google його не запитував. Сам Google описує ці URL як репрезентативну вибірку. Тому Crawl Stats добре відповідає на “що відбувається з хостом у цілому”, але слабше - на “що сталося з кожним URL”.[2]
Схематичне відтворення офіційного звіту. Search Console окремо показує мету сканування: виявлення URL, який Google раніше не сканував, та оновлення - повторне сканування відомого URL.
| Поле Crawl Stats | Що можна встановити | Чого не можна довести |
|---|---|---|
| Загальна кількість запитів сканування | Обсяг запитів Google до URL і ресурсів вашого хоста | Скільки унікальних сторінок було повністю переоцінено. |
| Завантажений обсяг | Скільки байтів Google завантажив за період | Що більший обсяг сам по собі є проблемою. |
| Середній час відповіді | Середній час відповіді для запитаних ресурсів | TTFB конкретного важливого шаблону без сегментації. |
| Стан хоста | Чи були значні проблеми robots.txt, DNS або мережевого зʼєднання | Корінну причину бізнесового падіння без додаткової діагностики. |
| Мета сканування | «Discovery» або «Refresh» | Повний пріоритет URL усередині планувальника. |
| Тип Googlebot | «Smartphone», «Desktop», «Image», «Video», ресурси сторінки тощо | Що кожен запит мав однакову SEO-цінність. |
| Приклади URL | Приклади запитів у вибраному сегменті | Повний список усіх запитів Googlebot. |
6.5. «Discovery» і «Refresh»: виявлення нових URL та повторне сканування
У звіті «Crawl Stats» Google розділяє мету сканування на «Discovery» і «Refresh». «Discovery» означає, що URL раніше не сканувався Google. «Refresh» - повторний запит уже відомої сторінки.[2] Це корисне розділення після публікації оновлень сайту. Якщо ви щойно опублікували великий набір нових сторінок або подали sitemap, логічно очікувати зростання сканування нових URL. Якщо проблема в тому, що ціни, наявність товарів або новини застарівають у видачі, дивитися треба не лише на виявлення нових URL, а й на частоту повторного сканування.
Я не ставлю KPI “Discovery має бути X% від усіх запитів”. Такий відсоток без контексту безглуздий. Для новинного сайту, каталогу після великого імпорту й зрілого енциклопедичного сайту нормальний профіль буде різним. Правильне питання - чи відповідає частота сканування бізнесовій швидкості змін конкретного типу сторінок.
6.6. Серверні логи: коли агрегатів уже мало
Як тільки питання переходить на рівень «які саме URL Googlebot сканує, як часто й з якими статусами», я переходжу до серверних логів. У них є те, чого немає в Search Console: конкретний час, конкретний URL, HTTP-код, обсяг відповіді, User-Agent, IP і, якщо інфраструктура записує його в логи, час відповіді. Це дозволяє групувати запити за шаблонами, параметрами, статусами та часом.
User-Agent недостатньо для верифікації. Google прямо попереджає, що його можна підробити. Для важливого аудиту потрібно перевіряти IP через зворотний DNS-запит або зіставляти з офіційними діапазонами Googlebot.[3] У книзі далі я використовую термін “Googlebot у логах” тільки для трафіку, який уже пройшов таку перевірку.
Лог без класифікації дає мільйони рядків. Цінність зʼявляється після верифікації бота, нормалізації URL і привʼязки до типів сторінок.
| Поле логу | Навіщо воно SEO | Типова помилка |
|---|---|---|
| Час (поле timestamp) | Рахувати перше сканування, інтервал повторного сканування, піки й затримки | Змішувати часові зони або округлювати до дня надто рано. |
| URL / шлях / рядок параметрів | Будувати шаблони та знаходити параметричні простори | Аналізувати кожен URL окремо й втрачати структуру. |
| HTTP-код (поле status) | Розділяти 2xx, редиректи, 404/410, 429, 5xx | Дивитися лише на кількість 200. |
| Обсяг відповіді (поле bytes sent) | Оцінювати мережевий трафік і важкі відповіді | Плутати стиснені й нестиснені байти різних рівнів запису логів. |
| Час відповіді | Бачити погіршення роботи сервера саме під час обробки запитів Googlebot | Порівнювати різні сервери без нормалізації. |
| User-Agent + IP | Верифікувати тип пошукового робота | Довіряти тільки рядку Googlebot у UA. |
| Джерело переходу (поле referrer) | Іноді корисно для інших ботів/запитів | Очікувати, що Googlebot завжди передасть джерело виявлення нових URL. |
6.7. Метрики, які я рахую з логів
Універсальної «правильної частоти сканування» немає, тому я не порівнюю сайт з абстрактним галузевим відсотком. Я визначаю базові показники за типами сторінок, а потім дивлюся, як вони змінюються після оновлень сайту, міграцій, перебудови фасетів або оптимізації сервера.
Формула 6.1. Частка корисного сканування.
Це внутрішня операційна метрика. «Цільовий canonical» визначається вашим переліком URL, а не зовнішнім стандартом.
Формула 6.2. Частка небажаного сканування.
До нецільових можна віднести фасети, внутрішній пошук, застарілі параметри, нескінченні календарі та інші URL, які ви свідомо не хочете підтримувати як пошукові сторінки.
Формула 6.3. Затримка першого сканування.
Рахуйте медіану та перцентилі окремо за типами сторінок. Середнє легко спотворюють поодинокі дуже довгі хвости.
Формула 6.4. Інтервал повторного сканування.
Агрегуйте за типом сторінки, а не одним числом для всього сайту.
| Метрика | Рівень аналізу | Що я хочу побачити після виправлення |
|---|---|---|
| Частка корисного сканування | Хост → каталог → шаблон | Більша частка запитів іде на цільові URL, якщо ми справді прибрали марні простори. |
| Частка небажаного сканування | Параметр / фасет / внутрішній пошук | Падіння запитів до адрес, які не мають пошукової цінності. |
| Затримка першого сканування | Нові URL одного типу | Менший медіанний час від публікації до першого підтвердженого сканування. |
| Медіанний інтервал повторного сканування | URL, що часто змінюються | Частота краще відповідає реальній швидкості змін. |
| Частка 5xx/429 | Хост і окремі шаблони | Падіння помилок і відсутність кореляції піків сканування з деградацією сервера. |
| Частка 304 | Стабільні URL | Коректна перевірка актуальності для незмінених документів без зайвої передачі контенту. |
6.8. 304 Not Modified: економія без вигаданого “підсилення ранжування”
Google прямо рекомендує підтримувати HTTP-кешування і 304 Not Modified. Якщо документ не змінився з попереднього сканування, 304 повідомляє пошуковому роботу, що можна використати кешовану версію без повторної передачі повного контенту. Це економить мережевий трафік і серверні ресурси.[1][5]
Водночас 304 не треба продавати як “фактор ранжування” або спосіб примусити Google сканувати більше. Коректний висновок скромніший: для великих сайтів із великою часткою незмінених повторних запитів перевірка актуальності може зробити повторне завантаження дешевшим. Чи перетвориться ця економія на більший обсяг сканування саме ваших важливих URL, залежить від попиту й спроможності, а не від одного заголовка.
6.9. Фасетна навігація: найтиповіший спосіб створити URL більше, ніж бізнесу потрібно
Google називає фасетну навігацію однією з найчастіших причин надмірного сканування, з якими власники сайтів звертаються до команди Search. Проблема не у фільтрах як таких, а в комбінаторному просторі URL: кожна властивість і кожен порядок параметрів можуть породжувати нову адресу, яку пошуковий робот не може оцінити до запиту.[4]
Якщо такі сторінки не потрібні в пошуку, Google рекомендує не давати їх сканувати, наприклад через robots.txt, або проєктувати фільтри так, щоб вони не створювали URL, доступні для сканування. Якщо ж частина фасетів потрібна як посадкові сторінки, завдання складніше: треба чітко розділити комбінації, що мають індексуватися, і технічний «довгий хвіст» параметрів, підтримувати стабільний порядок параметрів, віддавати 404 для порожніх комбінацій і не створювати нескінченні простори.[4]
| Патерн | Чому він дорогий | Що перевірити |
|---|---|---|
| Фасети й сортування | Кількість комбінацій зростає швидше за кількість корисних URL | Які комбінації мають пошуковий попит; чи решта доступні для сканування; порядок параметрів; canonical; robots. |
| Внутрішній пошук | Кожен запит може створити новий URL | Чи є доступні для сканування посилання на результати пошуку; чи такі URL мають бути в індексі. |
| Календарі | Можуть генерувати нескінченний рух у майбутнє/минуле | Межі дат, nofollow/robots, 404 для неіснуючих інтервалів. |
| Ідентифікатори сесій / параметри відстеження | Один документ отримує багато технічних адрес | Джерело параметрів, внутрішні посилання, canonical, нормалізація на сервері. |
| Дублікати протоколу/хоста/шляхів | Кількість URL зростає без нової цінності | Редиректи, canonical, внутрішні URL, sitemap, налаштування хоста. |
| Soft 404 | URL повертає 200, але фактично не має корисного контенту | Правильний 404/410 або реальний контент замість шаблонної порожньої сторінки. |
6.10. HTTP-статуси: не намагайтеся керувати швидкістю неправильними кодами
Google прямо застерігає не використовувати 401, 403 або 404 для обмеження частоти. Усі 4xx, крім 429, не є сигналом “сервер перевантажений”. 429 якраз означає Too Many Requests і враховується як сигнал перевантаження сервера. 5xx також знижують інтенсивність сканування.[5]
Для аварійної ситуації, коли потрібно на кілька годин або один-два дні різко зменшити трафік сканування, Google рекомендує повертати 500, 503 або 429. Це грубий інструмент: він впливає на весь хост, уповільнює виявлення нових URL і повторне сканування, а якщо помилки тримаються кілька днів, URL можуть почати випадати з індексу. Це не постійний механізм “оптимізації бюджету”.[5]
Схема узагальнює офіційну документацію Google. Для повної обробки кожного статусу дивіться джерело 5.
6.11. robots.txt - критична інфраструктура, а не файл, який можна віддавати “як вийде”
robots.txt сам теж треба сканувати. Google зазвичай кешує його до 24 годин, але може тримати кеш довше, якщо оновлення недоступне. Особливо небезпечний сценарій - 5xx на robots.txt. В офіційній специфікації поведінку описано за часовими інтервалами: перші 12 годин Google припиняє сканування сайту, але продовжує намагатися отримати robots.txt; далі до 30 днів може використовувати останню доступну версію, якщо вона є; після 30 днів поведінка залежить від загальної доступності сайту.[5]
Джерело: Google Crawling Infrastructure. Схема не замінює повну специфікацію для DNS, тайм-аутів та інших мережевих помилок.
Практичний висновок: доступність robots.txt треба контролювати як критичну умову доступності сайту для сканування. Якщо CDN, WAF або розгортання випадково починає віддавати 5xx на /robots.txt, наслідок не обмежується самим файлом. Це може зупинити або суттєво змінити сканування всього хоста.
6.12. Ліміт байтів: “сторінка відкривається в браузері” ще не означає, що Googlebot забрав її всю
У березні 2026 року Google окремо пояснив обмеження інфраструктури завантаження. Для Googlebot загального вебпошуку завантажується до 2 МБ одного підтримуваного ресурсу в нестисненому вигляді, включно з HTTP-заголовками; для PDF - до 64 МБ. Коли межа досягнута, пошуковий робот припиняє завантаження і передає далі лише вже отриману частину. Кожен ресурс CSS або JavaScript, на який посилається HTML, запитується окремо і має власну межу.[5]
2 МБ для підтримуваних типів файлів загального вебпошуку; 64 МБ для PDF. Інші пошукові роботи Google можуть мати інші межі.
Для більшості HTML-сторінок 2 МБ нестисненого HTML - дуже великий обсяг. Але на масивних шаблонах масової генерації, довгих каталогах або сторінках із вбудованими даними це вже не теоретична межа. Я перевіряю не тільки переданий обсяг після gzip/brotli, а й фактичне нестиснене тіло відповіді, бо саме його обмеження описує Google.
6.13. Python: мінімальний аналіз підтверджених Googlebot-логів
Нижче я свідомо не намагаюся розбирати будь-який можливий формат nginx/Apache. У різних командах логи вже потрапляють у S3, BigQuery, ClickHouse або CSV з різними полями. Скрипт очікує нормалізований CSV після перевірки Googlebot з колонками timestamp, url, status, bytes, response_time. Далі завдання SEO-фахівця - згрупувати запити за зрозумілими шаблонами.
БЕЗ КОДУ: ПРОМПТ ДЛЯ ШІ
Я завантажу verified_googlebot.csv з колонками timestamp, url, status, response_time і bytes. Перевір типи даних і пропуски. Сегментуй URL за правилами, які я дам для product/category/search/other, порахуй кількість запитів і унікальних URL, медіанний час відповіді, обсяг переданих байтів, частки 2xx/3xx/4xx/5xx та медіанний інтервал повторного сканування. Покажи аномалії, але не роби причинних висновків без додаткових даних.
АЛЬТЕРНАТИВА БЕЗ ШІ
Якщо CSV уже нормалізований, те саме можна зробити в Excel/Sheets: додати колонку типу сторінки, групу HTTP-статусів, потім зведену таблицю («Pivot Table»). Для інтервалу повторного сканування відсортуйте URL + timestamp і порахуйте різницю з попереднім запитом; Power Query зручніший на великих файлах.
QR: КОД
Скануйте камерою: QR містить компактну виконувану версію коду без коментарів. Коментований код наведено нижче.
ДЛЯ АВТОМАТИЗАЦІЇ: PYTHON ДЛЯ АНАЛІЗУ ЛОГІВ
Код 6.1. Базова сегментація підтверджених запитів Googlebot за типом сторінок, статусами й медіанним інтервалом повторного сканування.
import pandas as pd
from urllib.parse import urlsplit
# Очікувані поля: timestamp, url, status, response_time, bytes.
# CSV має містити вже верифіковані запити Googlebot.
df = pd.read_csv(
"verified_googlebot.csv",
parse_dates=["timestamp"]
)
# 1) Визначаємо тип сторінки за шляхом URL.
# Замініть правила нижче на структуру свого сайту.
def page_type(url):
path = urlsplit(url).path
if path.startswith("/product/"):
return "product"
if path.startswith("/category/"):
return "category"
if path.startswith("/search/"):
return "internal_search"
return "other"
# 2) Додаємо тип сторінки й сімейство HTTP-статусу.
df["page_type"] = df["url"].map(page_type)
df["status_family"] = (df["status"] // 100).astype(str) + "xx"
# 3) Зведення: скільки запитів, скільки URL,
# медіанний час відповіді та передані байти.
summary = (
df.groupby("page_type")
.agg(
requests=("url", "size"),
unique_urls=("url", "nunique"),
median_response_time=("response_time", "median"),
downloaded_bytes=("bytes", "sum"),
)
.sort_values("requests", ascending=False)
)
# 4) Частка 2xx/3xx/4xx/5xx усередині кожного типу сторінок.
status = pd.crosstab(
df["page_type"],
df["status_family"],
normalize="index"
)
# 5) Медіанний інтервал між повторними запитами до того самого URL.
ordered = df.sort_values(["url", "timestamp"])
ordered["prev"] = ordered.groupby("url")["timestamp"].shift(1)
ordered["recrawl_hours"] = (
ordered["timestamp"] - ordered["prev"]
).dt.total_seconds() / 3600
recrawl = ordered.groupby("page_type")["recrawl_hours"].median()
print(summary)
print(status)
print(recrawl)Після цього я додаю поля, важливі для бізнесу: цільовий canonical, можливість індексації, версію шаблону, час останньої зміни, дату публікації, стан переліку URL. Тоді лог перестає бути «технічним файлом» і перетворюється на систему, де можна відповісти, наприклад: скільки годин у медіані Googlebot потребує, щоб уперше просканувати новий товар; який відсоток його запитів припадає на /search/; чи впала частка 5xx після зміни інфраструктури; чи скоротився інтервал повторного сканування для сторінок, де ціна змінюється щодня.
6.14. Діагностика: що робити, якщо Google сканує “не те”
| Симптом | Найсильніша перша гіпотеза | Дані для перевірки | Дія |
|---|---|---|---|
| Багато запитів сканування до фасетів | Набір URL роздутий параметрами | Логи + сканування сайту + параметри + robots | Визначити набір фасетів, які мають індексуватися; решту прибрати з доступного для сканування графа або блокувати відповідно до стратегії. |
| Нові URL довго без першого сканування | Низький попит, слабке виявлення нових URL або перевантаження хоста | Час публікації, перший запит Googlebot, sitemap, внутрішні посилання, Crawl Stats | Розділити проблему виявлення нових URL і серверної спроможності; не лікувати все натисканням кнопки запиту на індексацію. |
| Піки сканування збігаються з 5xx | Хост не тримає навантаження | Час відповіді, 5xx/429 за хвилинами, метрики CPU/DB/CDN | Підсилити серверну спроможність; не закривати Googlebot 403/404. |
| Google постійно сканує видалені URL | Старі URL продовжують отримувати сигнали або неправильні відповіді | Історія статусів, внутрішні/зовнішні посилання, sitemap, редиректи | 404/410 для реально видалених; прибрати посилання і URL із sitemap; уникати soft 404. |
| Стабільні сторінки віддають повний 200 при кожному повторному скануванні | Немає ефективної перевірки актуальності | ETag/Last-Modified/If-Modified-Since, логи | Налаштувати коректне HTTP-кешування і 304 там, де документ справді не змінився. |
| Crawl Stats показує повільнішу відповідь | Інфраструктура або шаблон потребує більше ресурсів | Розбивка за типом файлу / хостом + серверні метрики | Знайти конкретний тип ресурсів або кінцеву точку; не робити висновок лише із середнього значення для всього сайту. |
6.15. Порядок аудиту бюджету сканування, який я використовую
Я починаю з переліку URL, а не з логу. Якщо команда сама не знає, які типи URL мають існувати в пошуку, неможливо визначити, що в трафіку сканування є «марним». Далі дивлюся «Crawl Stats», щоб зрозуміти масштаб, стан хоста, профіль часу відповіді і співвідношення виявлення/повторного сканування. Тільки після цього переходжу до логів, бо без контексту мільйони рядків легко перетворити на красиві, але беззмістовні графіки.
| Етап | Питання | Артефакт на виході |
|---|---|---|
| 1. Перелік URL | Які URL бізнес хоче підтримувати як пошукові сторінки? | Матриця: тип сторінки → цільовий для індексації / нецільовий / доступний для сканування / заблокований. |
| 2. Архітектура | Звідки зʼявляються зайві адреси? | Карта параметрів, фасетів, сортувань, внутрішнього пошуку, календарних просторів. |
| 3. Crawl Stats | Чи є проблема масштабу або стану хоста? | Динаміка запитів, обсягу байтів, часу відповіді, 5xx/429, «Discovery»/«Refresh». |
| 4. Логи | Які URL реально запитує Googlebot? | Розподіл запитів за шаблонами, статусами, інтервалами та затримкою першого сканування. |
| 5. Сервер | Чи Googlebot упирається у серверну спроможність? | Кореляція трафіку сканування із затримкою, 5xx/429, CPU, DB, CDN. |
| 6. Гіпотеза | Що саме ми змінюємо і який ефект очікуємо? | До/після за конкретною метрикою, а не “Googlebot став кращим”. |
| 7. Контроль | Чи не погіршили виявлення нових URL / деіндексацію / UX? | Паралельний контроль: звіт «Page Indexing», GSC, sitemap та органічна видимість. |
6.16. Що точно не варто робити
Не потрібно блокувати все підряд у robots.txt лише тому, що Googlebot часто туди ходить. Якщо URL треба спочатку прибрати з індексу через noindex, пошуковий робот має мати можливість отримати цю директиву. Не потрібно робити випадкові щоденні зміни robots.txt “щоб перерозподіляти бюджет”: Google прямо не рекомендує використовувати файл як тимчасовий механізм перерозподілу. Не потрібно відповідати 403 або 404, щоб “пригальмувати бота”. І не потрібно вимірювати успіх просто падінням загальної кількості запитів сканування - менше запитів може означати як кращу ефективність, так і втрату попиту.[1][5]
6.17. Міфи, які я б викинув із технічного SEO
| Міф | Що підтверджено | Практичний висновок |
|---|---|---|
| “У кожного сайту є фіксований денний бюджет сканування” | Google описує адаптивну модель спроможності та попиту. | Не шукайте одне число, якого Search Console все одно не показує. |
| “Будь-який сайт треба оптимізувати під бюджет сканування” | Google окремо орієнтує розширений посібник на великі/динамічні сайти або на сайти зі значною часткою URL зі статусом «Виявлено, але наразі не проіндексовано». | Для малого сайту частіше важливі виявлення нових URL, можливість індексації, canonical і якість. |
| “Швидший сервер автоматично дає більше сканування” | Краща серверна спроможність може підняти межу спроможності, але потрібен ще попит на сканування. | Оптимізація сервера необхідна, коли сервер є вузьким місцем, але сама по собі не створює попиту. |
| “404 економить бюджет сканування як обмеження частоти” | 4xx, крім 429, не знижують частоту сканування як сигнал перевантаження. | 404/410 використовуйте за семантикою видаленого контенту, не для обмеження швидкості. |
| “Crawl Stats - це повний лог Googlebot” | Приклади URL у звіті репрезентативні, але не повні. | Для аналізу на рівні URL потрібні серверні логи. |
| “noindex економить сканування” | Google має отримати сторінку, щоб прочитати noindex. | Не плутайте керування індексацією з керуванням скануванням. |
| “Падіння кількості запитів сканування після змін завжди добре” | Менше запитів може означати і менший попит. | Оцінюйте затримку важливих URL, покриття і повторне сканування, а не загальну кількість запитів окремо. |
6.18. Що ми знаємо точно, а що лишається гіпотезою
Точно знаємо: Google визначає бюджет сканування через спроможність і попит; великий набір зайвих URL може зменшувати ефективність; час відповіді, 5xx і 429 впливають на спроможність сканування; популярність і застарівання впливають на попит; 304 може заощадити мережевий трафік; звіт «Crawl Stats» у Search Console є агрегованим, а приклади URL не є повним логом; фасетна навігація може створювати практично нескінченний простір URL; Googlebot має документовані межі обсягу байтів на одне завантаження.[1][2][4][5]
Не знаємо публічно: точну формулу планувальника, ваги кожного сигналу, персональну “вартість” конкретного URL у черзі сканування, гарантований обсяг додаткового сканування після прискорення сервера або блокування фасетів. Якщо SEO-спеціаліст показує “Google виділив нам 187 432 умовних кредитів сканування на день” без внутрішніх даних Google, це не факт, а модель або вигадка.
6.19. Практичний висновок
Бюджет сканування має сенс лише тоді, коли ми перестаємо сприймати його як магічний ліміт. У великому сайті є набір URL, є серверна спроможність, є попит пошукової системи, є історія змін і є конкретні HTTP-відповіді. SEO може дуже сильно впливати на перше, частково - на друге, опосередковано - на третє і напряму контролювати коректність четвертого та пʼятого.
Мій робочий критерій простий: важливі нові URL мають швидко отримувати перше сканування, важливі змінені URL - повторне сканування із частотою, що відповідає їхній бізнесовій динаміці, а сервер не повинен витрачати значну частину ресурсу на адреси, які продукт не збирається підтримувати в пошуку. Усе інше - засоби вимірювання цієї системи.
Джерела до Глави 6
1. Google Crawling Infrastructure: Optimize your crawl budget. https://developers.google.com/crawling/docs/crawl-budget Оновлено 22.07.2026.
2. Google Search Console Help: Crawl Stats report. https://support.google.com/webmasters/answer/9679690?hl=en
3. Google Search Central: Googlebot. https://developers.google.com/search/docs/crawling-indexing/googlebot Оновлено 03.02.2026.
4. Google Crawling Infrastructure: Managing crawling of faceted navigation URLs. https://developers.google.com/crawling/docs/faceted-navigation
5. Google Search Central / Crawling Infrastructure: технічні довідкові матеріали про сканування. https://developers.google.com/search/blog/2026/03/crawler-blog-post ; https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate ; https://developers.google.com/crawling/docs/troubleshooting/http-status-codes ; https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec Межі завантаження Googlebot, аварійне зменшення частоти сканування, HTTP-коди та поведінка robots.txt.