Перейти до змісту
SEO2026

Частина II · ЯК ПОШУКОВА СИСТЕМА БАЧИТЬ ВЕБ

Сканування: черга, частота, ресурси й пріоритети

Глава 6 / 43 · 4 221 слів · ~22 хв читання

Матеріал опубліковано за книгою «SEO 2026: Пошук в еру AI» Михайла Оплаканця (Werter). Офіційна авторська публікація.

Read in English

Що насправді означає бюджет сканування, коли він стає проблемою, як Googlebot реагує на сервер, що показує Crawl Stats і як перейти від агрегатів Search Console до подієвого аналізу логів.

Стан даних і джерел: 12 вересня 2026 року

Бюджет сканування часто обговорюють так, наче кожен сайт має фіксований денний ліміт Googlebot, який можна “витратити” на хороші або погані сторінки. Це зручна метафора, але технічно вона неточна. У документації Google від 22 липня 2026 року модель описана інакше: фактичний обсяг сканування формується перетином двох речей - межі спроможності сканування хоста та попиту на сканування конкретних URL.[1]

Перша величина відповідає на питання «скільки Google може завантажити, не створюючи проблем серверу». Друга - «скільки Google взагалі хоче завантажити». Якщо сервер швидкий і стабільний, але попит низький, Google не зобовʼязаний збільшувати частоту. Якщо попит високий, але хост починає відповідати повільніше, давати 5xx або 429, система знижує навантаження. Тому бюджет сканування - не один регулятор і не один лічильник.

Рис. 6.1. Модель бюджету сканування у Google: фактичне сканування виникає на перетині спроможності хоста і попиту на сканування.
Рис. 6.1. Модель бюджету сканування у Google: фактичне сканування виникає на перетині спроможності хоста і попиту на сканування.

Схема автора за Google Crawling Infrastructure. Це концептуальна модель, а не формула множення двох показників.

6.1. Коли бюджет сканування узагалі вартий окремої уваги

Для більшості невеликих сайтів бюджет сканування не є окремою SEO-проблемою. Google прямо пише: якщо сторінок небагато, вони не змінюються дуже швидко або нові матеріали скануються того ж дня, достатньо підтримувати sitemap і регулярно перевіряти звіт «Page Indexing». Окремий розширений посібник Google орієнтує насамперед на великі та дуже динамічні сайти.[1]

Офіційні орієнтири приблизні, а не жорсткі пороги: 1 млн і більше унікальних URL із помірними змінами приблизно раз на тиждень; 10 тис. і більше унікальних URL із дуже швидкими щоденними змінами; або сайти, де значна частина URL у Search Console має статус «Виявлено, але наразі не проіндексовано».[1] Сам Google окремо попереджає, що ці числа потрібні для класифікації, а не для математичного рішення “9 999 URL - проблеми немає, 10 000 - є”.

Рис. 6.2. Орієнтири Google для сайтів, де оптимізація бюджету сканування стає окремим технічним завданням.
Рис. 6.2. Орієнтири Google для сайтів, де оптимізація бюджету сканування стає окремим технічним завданням.

Джерело: Google Crawling Infrastructure, 2026. Обидва пороги Google називає приблизними.

Таблиця 6.1. Бюджет сканування - не універсальна причина повільної індексації. Спочатку визначаємо, чи масштаб і динаміка сайту взагалі роблять його релевантним.
СитуаціяЧи починати з бюджету скануванняЩо перевірити першим
800 статичних сторінок, нові URL швидко скануютьсяЗазвичай ніЗвіт «Page Indexing», sitemap, внутрішні посилання, технічну доступність.
50 тис. товарів, ціни й наявність змінюються щодняТак, уже має сенсЛоги, Crawl Stats, частоту повторного сканування, 304, час відповіді, зайві параметричні URL.
2 млн URL каталогу, частина шаблонів майже не змінюєтьсяТакПерелік URL, дублікати, фасети, soft 404, попит на повторне сканування.
20 тис. сторінок, але тисячі «Виявлено, але наразі не проіндексовано»Так, як одна з гіпотезЧи проблема у виявленні нових URL, попиті, якості, переліку URL або спроможності хоста.
Сайт на 5 тис. URL після міграціїТимчасово може бути важливоРедиректи, sitemap, старі/нові URL, статуси, логи та хвилю повторного сканування.

6.2. Межа спроможності: Google дивиться не тільки на кількість запитів

Google визначає межу спроможності сканування через навантаження на хост. Враховується не лише кількість паралельних зʼєднань, а й те, скільки часу сервер тримає їх відкритими. Якщо час відповіді та затримка стабільні або покращуються, межа може зрости. Якщо затримка або TTFB погіршуються, зʼявляються 5xx чи 429, межа знижується.[1]

Це одна з причин, чому я не використовую «запити за секунду» як самодостатній KPI. Два сервери можуть обробляти однакові 5 запитів на секунду зовсім по-різному. Один віддає HTML за 80 мс і майже не помічає Googlebot. Інший тримає зʼєднання 2 секунди, упирається в обмеження CPU або бази даних і починає працювати гірше. Для пошукового робота це різні хости, навіть якщо кількість запитів однакова.

Таблиця 6.2. HTTP-відповідь впливає не лише на індексацію, а й на економіку повторного сканування.
Сигнал з боку хостаЩо бачить GoogleОчікувана реакція
Стабільний або кращий час відповідіХост справляється з навантаженнямМежа спроможності може зрости, якщо є попит.
Зростає затримка / TTFBКожне зʼєднання займає більше часуGoogle може знизити інтенсивність сканування.
429 Too Many RequestsСервер прямо сигналізує перевантаженняGoogle сповільнює сканування.
5xx на значній кількості URLСерверна помилка / недоступністьGoogle тимчасово зменшує частоту сканування.
404 / 410 для видалених URLКонтент відсутній постійноЧастота повторних запитів поступово падає; це не механізм обмеження частоти.
304 Not ModifiedКонтент не змінивсяGoogle може повторно використати попередню версію без повторної передачі контенту.

6.3. Попит на сканування: швидкий сервер ще не означає, що Google хоче більше URL

Другий бік моделі - попит на сканування. Для Googlebot він залежить від розміру сайту, частоти оновлення, якості та релевантності сторінок порівняно з іншими сайтами. У поточній документації Google окремо виділяє відомий набір URL, популярність і застарівання. Найбільш керований чинник для власника - набір URL: якщо система знає мільйони дублів, варіантів сортування, застарілих адрес або інших URL, які не потрібні в пошуку, частина ресурсу йде на них.[1]

Популярність тут не треба зводити до примітиву “більше зворотних посилань = більше сканування”. Google формулює обережніше: популярні URL в інтернеті зазвичай скануються частіше, щоб залишатися актуальними. Застарівання означає, що система намагається не тримати документи застарілими. Міграція сайту або інша подія масштабу всього сайту також може тимчасово підвищити попит на повторне сканування.[1]

Таблиця 6.3. Попит на сканування - це не черга, яку можна вручну впорядкувати. Ми керуємо набором URL і сигналами, а не внутрішнім планувальником Google.
Фактор попитуЩо він означає практичноЩо може зробити SEO / розробка
Набір відомих URLСкільки адрес Google знає і вважає потенційними кандидатамиПрибрати нескінченні простори, консолідувати дублікати, чистити sitemap, віддавати 404/410 там, де URL справді видалені.
Частота змінНаскільки швидко застаріває документКоректний lastmod, кешування, окремий контроль динамічних шаблонів.
Якість і релевантністьНаскільки сторінки варті повторної обробки для продукту GoogleНе масштабувати слабкі URL тільки тому, що технічно можна їх згенерувати.
ПопулярністьНаскільки URL помітний у вебіНе використовувати як штучний KPI бюджету сканування; аналізувати як частину загальної цінності сторінок.
Події сайтуМіграція, масова зміна URL або контентуОчікувати тимчасової хвилі повторного сканування і контролювати серверну спроможність.

6.4. Crawl Stats: що Search Console реально показує

Звіт «Crawl Stats» - найкраща початкова точка для швидкого загального аналізу. Він показує загальну кількість запитів сканування, завантажений обсяг, середній час відповіді, стан хоста, розподіл за HTTP-відповідями, типами файлів, метою сканування і типом Googlebot.[2] Для ресурсу типу «Домен» можна також дивитися хости, але інтерфейс показує тільки 20 дочірніх доменів, які отримували трафік сканування за останні 90 днів.[2]

Звіт має важливе обмеження: список прикладів URL не є повним логом. Відсутність конкретного URL у прикладах не доводить, що Google його не запитував. Сам Google описує ці URL як репрезентативну вибірку. Тому Crawl Stats добре відповідає на “що відбувається з хостом у цілому”, але слабше - на “що сталося з кожним URL”.[2]

Рис. 6.3. Які зрізи дає Crawl Stats у Search Console. Значення на схемі навмисно не вигадані.
Рис. 6.3. Які зрізи дає Crawl Stats у Search Console. Значення на схемі навмисно не вигадані.

Схематичне відтворення офіційного звіту. Search Console окремо показує мету сканування: виявлення URL, який Google раніше не сканував, та оновлення - повторне сканування відомого URL.

Таблиця 6.4. Search Console дає агрегований стан системи; серверний лог потрібен для подієвого рівня.
Поле Crawl StatsЩо можна встановитиЧого не можна довести
Загальна кількість запитів скануванняОбсяг запитів Google до URL і ресурсів вашого хостаСкільки унікальних сторінок було повністю переоцінено.
Завантажений обсягСкільки байтів Google завантажив за періодЩо більший обсяг сам по собі є проблемою.
Середній час відповідіСередній час відповіді для запитаних ресурсівTTFB конкретного важливого шаблону без сегментації.
Стан хостаЧи були значні проблеми robots.txt, DNS або мережевого зʼєднанняКорінну причину бізнесового падіння без додаткової діагностики.
Мета сканування«Discovery» або «Refresh»Повний пріоритет URL усередині планувальника.
Тип Googlebot«Smartphone», «Desktop», «Image», «Video», ресурси сторінки тощоЩо кожен запит мав однакову SEO-цінність.
Приклади URLПриклади запитів у вибраному сегментіПовний список усіх запитів Googlebot.

6.5. «Discovery» і «Refresh»: виявлення нових URL та повторне сканування

У звіті «Crawl Stats» Google розділяє мету сканування на «Discovery» і «Refresh». «Discovery» означає, що URL раніше не сканувався Google. «Refresh» - повторний запит уже відомої сторінки.[2] Це корисне розділення після публікації оновлень сайту. Якщо ви щойно опублікували великий набір нових сторінок або подали sitemap, логічно очікувати зростання сканування нових URL. Якщо проблема в тому, що ціни, наявність товарів або новини застарівають у видачі, дивитися треба не лише на виявлення нових URL, а й на частоту повторного сканування.

Я не ставлю KPI “Discovery має бути X% від усіх запитів”. Такий відсоток без контексту безглуздий. Для новинного сайту, каталогу після великого імпорту й зрілого енциклопедичного сайту нормальний профіль буде різним. Правильне питання - чи відповідає частота сканування бізнесовій швидкості змін конкретного типу сторінок.

6.6. Серверні логи: коли агрегатів уже мало

Як тільки питання переходить на рівень «які саме URL Googlebot сканує, як часто й з якими статусами», я переходжу до серверних логів. У них є те, чого немає в Search Console: конкретний час, конкретний URL, HTTP-код, обсяг відповіді, User-Agent, IP і, якщо інфраструктура записує його в логи, час відповіді. Це дозволяє групувати запити за шаблонами, параметрами, статусами та часом.

User-Agent недостатньо для верифікації. Google прямо попереджає, що його можна підробити. Для важливого аудиту потрібно перевіряти IP через зворотний DNS-запит або зіставляти з офіційними діапазонами Googlebot.[3] У книзі далі я використовую термін “Googlebot у логах” тільки для трафіку, який уже пройшов таку перевірку.

Рис. 6.4. Робочий шлях від сирого серверного логу до SEO-рішення.
Рис. 6.4. Робочий шлях від сирого серверного логу до SEO-рішення.

Лог без класифікації дає мільйони рядків. Цінність зʼявляється після верифікації бота, нормалізації URL і привʼязки до типів сторінок.

Таблиця 6.5. Мінімальний набір полів для аналізу сканування з серверних логів.
Поле логуНавіщо воно SEOТипова помилка
Час (поле timestamp)Рахувати перше сканування, інтервал повторного сканування, піки й затримкиЗмішувати часові зони або округлювати до дня надто рано.
URL / шлях / рядок параметрівБудувати шаблони та знаходити параметричні просториАналізувати кожен URL окремо й втрачати структуру.
HTTP-код (поле status)Розділяти 2xx, редиректи, 404/410, 429, 5xxДивитися лише на кількість 200.
Обсяг відповіді (поле bytes sent)Оцінювати мережевий трафік і важкі відповідіПлутати стиснені й нестиснені байти різних рівнів запису логів.
Час відповідіБачити погіршення роботи сервера саме під час обробки запитів GooglebotПорівнювати різні сервери без нормалізації.
User-Agent + IPВерифікувати тип пошукового роботаДовіряти тільки рядку Googlebot у UA.
Джерело переходу (поле referrer)Іноді корисно для інших ботів/запитівОчікувати, що Googlebot завжди передасть джерело виявлення нових URL.

6.7. Метрики, які я рахую з логів

Універсальної «правильної частоти сканування» немає, тому я не порівнюю сайт з абстрактним галузевим відсотком. Я визначаю базові показники за типами сторінок, а потім дивлюся, як вони змінюються після оновлень сайту, міграцій, перебудови фасетів або оптимізації сервера.

Формула 6.1. Частка корисного сканування.

Це внутрішня операційна метрика. «Цільовий canonical» визначається вашим переліком URL, а не зовнішнім стандартом.

Формула 6.2. Частка небажаного сканування.

До нецільових можна віднести фасети, внутрішній пошук, застарілі параметри, нескінченні календарі та інші URL, які ви свідомо не хочете підтримувати як пошукові сторінки.

Формула 6.3. Затримка першого сканування.

Рахуйте медіану та перцентилі окремо за типами сторінок. Середнє легко спотворюють поодинокі дуже довгі хвости.

Формула 6.4. Інтервал повторного сканування.

Агрегуйте за типом сторінки, а не одним числом для всього сайту.

Таблиця 6.6. Логові метрики повинні бути привʼязані до типу URL і конкретної технічної гіпотези.
МетрикаРівень аналізуЩо я хочу побачити після виправлення
Частка корисного скануванняХост → каталог → шаблонБільша частка запитів іде на цільові URL, якщо ми справді прибрали марні простори.
Частка небажаного скануванняПараметр / фасет / внутрішній пошукПадіння запитів до адрес, які не мають пошукової цінності.
Затримка першого скануванняНові URL одного типуМенший медіанний час від публікації до першого підтвердженого сканування.
Медіанний інтервал повторного скануванняURL, що часто змінюютьсяЧастота краще відповідає реальній швидкості змін.
Частка 5xx/429Хост і окремі шаблониПадіння помилок і відсутність кореляції піків сканування з деградацією сервера.
Частка 304Стабільні URLКоректна перевірка актуальності для незмінених документів без зайвої передачі контенту.

6.8. 304 Not Modified: економія без вигаданого “підсилення ранжування”

Google прямо рекомендує підтримувати HTTP-кешування і 304 Not Modified. Якщо документ не змінився з попереднього сканування, 304 повідомляє пошуковому роботу, що можна використати кешовану версію без повторної передачі повного контенту. Це економить мережевий трафік і серверні ресурси.[1][5]

Водночас 304 не треба продавати як “фактор ранжування” або спосіб примусити Google сканувати більше. Коректний висновок скромніший: для великих сайтів із великою часткою незмінених повторних запитів перевірка актуальності може зробити повторне завантаження дешевшим. Чи перетвориться ця економія на більший обсяг сканування саме ваших важливих URL, залежить від попиту й спроможності, а не від одного заголовка.

6.9. Фасетна навігація: найтиповіший спосіб створити URL більше, ніж бізнесу потрібно

Google називає фасетну навігацію однією з найчастіших причин надмірного сканування, з якими власники сайтів звертаються до команди Search. Проблема не у фільтрах як таких, а в комбінаторному просторі URL: кожна властивість і кожен порядок параметрів можуть породжувати нову адресу, яку пошуковий робот не може оцінити до запиту.[4]

Якщо такі сторінки не потрібні в пошуку, Google рекомендує не давати їх сканувати, наприклад через robots.txt, або проєктувати фільтри так, щоб вони не створювали URL, доступні для сканування. Якщо ж частина фасетів потрібна як посадкові сторінки, завдання складніше: треба чітко розділити комбінації, що мають індексуватися, і технічний «довгий хвіст» параметрів, підтримувати стабільний порядок параметрів, віддавати 404 для порожніх комбінацій і не створювати нескінченні простори.[4]

Таблиця 6.7. Надмірне сканування майже завжди починається з неконтрольованого набору URL, а не з «надто активного Googlebot».
ПатернЧому він дорогийЩо перевірити
Фасети й сортуванняКількість комбінацій зростає швидше за кількість корисних URLЯкі комбінації мають пошуковий попит; чи решта доступні для сканування; порядок параметрів; canonical; robots.
Внутрішній пошукКожен запит може створити новий URLЧи є доступні для сканування посилання на результати пошуку; чи такі URL мають бути в індексі.
КалендаріМожуть генерувати нескінченний рух у майбутнє/минулеМежі дат, nofollow/robots, 404 для неіснуючих інтервалів.
Ідентифікатори сесій / параметри відстеженняОдин документ отримує багато технічних адресДжерело параметрів, внутрішні посилання, canonical, нормалізація на сервері.
Дублікати протоколу/хоста/шляхівКількість URL зростає без нової цінностіРедиректи, canonical, внутрішні URL, sitemap, налаштування хоста.
Soft 404URL повертає 200, але фактично не має корисного контентуПравильний 404/410 або реальний контент замість шаблонної порожньої сторінки.

6.10. HTTP-статуси: не намагайтеся керувати швидкістю неправильними кодами

Google прямо застерігає не використовувати 401, 403 або 404 для обмеження частоти. Усі 4xx, крім 429, не є сигналом “сервер перевантажений”. 429 якраз означає Too Many Requests і враховується як сигнал перевантаження сервера. 5xx також знижують інтенсивність сканування.[5]

Для аварійної ситуації, коли потрібно на кілька годин або один-два дні різко зменшити трафік сканування, Google рекомендує повертати 500, 503 або 429. Це грубий інструмент: він впливає на весь хост, уповільнює виявлення нових URL і повторне сканування, а якщо помилки тримаються кілька днів, URL можуть почати випадати з індексу. Це не постійний механізм “оптимізації бюджету”.[5]

Рис. 6.5. Найважливіші HTTP-відповіді з точки зору сканування.
Рис. 6.5. Найважливіші HTTP-відповіді з точки зору сканування.

Схема узагальнює офіційну документацію Google. Для повної обробки кожного статусу дивіться джерело 5.

6.11. robots.txt - критична інфраструктура, а не файл, який можна віддавати “як вийде”

robots.txt сам теж треба сканувати. Google зазвичай кешує його до 24 годин, але може тримати кеш довше, якщо оновлення недоступне. Особливо небезпечний сценарій - 5xx на robots.txt. В офіційній специфікації поведінку описано за часовими інтервалами: перші 12 годин Google припиняє сканування сайту, але продовжує намагатися отримати robots.txt; далі до 30 днів може використовувати останню доступну версію, якщо вона є; після 30 днів поведінка залежить від загальної доступності сайту.[5]

Рис. 6.6. Спрощена шкала поведінки Google при 5xx на robots.txt.
Рис. 6.6. Спрощена шкала поведінки Google при 5xx на robots.txt.

Джерело: Google Crawling Infrastructure. Схема не замінює повну специфікацію для DNS, тайм-аутів та інших мережевих помилок.

Практичний висновок: доступність robots.txt треба контролювати як критичну умову доступності сайту для сканування. Якщо CDN, WAF або розгортання випадково починає віддавати 5xx на /robots.txt, наслідок не обмежується самим файлом. Це може зупинити або суттєво змінити сканування всього хоста.

6.12. Ліміт байтів: “сторінка відкривається в браузері” ще не означає, що Googlebot забрав її всю

У березні 2026 року Google окремо пояснив обмеження інфраструктури завантаження. Для Googlebot загального вебпошуку завантажується до 2 МБ одного підтримуваного ресурсу в нестисненому вигляді, включно з HTTP-заголовками; для PDF - до 64 МБ. Коли межа досягнута, пошуковий робот припиняє завантаження і передає далі лише вже отриману частину. Кожен ресурс CSS або JavaScript, на який посилається HTML, запитується окремо і має власну межу.[5]

Рис. 6.7. Офіційні межі обсягу одного завантаження для Googlebot у 2026 році.
Рис. 6.7. Офіційні межі обсягу одного завантаження для Googlebot у 2026 році.

2 МБ для підтримуваних типів файлів загального вебпошуку; 64 МБ для PDF. Інші пошукові роботи Google можуть мати інші межі.

Для більшості HTML-сторінок 2 МБ нестисненого HTML - дуже великий обсяг. Але на масивних шаблонах масової генерації, довгих каталогах або сторінках із вбудованими даними це вже не теоретична межа. Я перевіряю не тільки переданий обсяг після gzip/brotli, а й фактичне нестиснене тіло відповіді, бо саме його обмеження описує Google.

6.13. Python: мінімальний аналіз підтверджених Googlebot-логів

Нижче я свідомо не намагаюся розбирати будь-який можливий формат nginx/Apache. У різних командах логи вже потрапляють у S3, BigQuery, ClickHouse або CSV з різними полями. Скрипт очікує нормалізований CSV після перевірки Googlebot з колонками timestamp, url, status, bytes, response_time. Далі завдання SEO-фахівця - згрупувати запити за зрозумілими шаблонами.

БЕЗ КОДУ: ПРОМПТ ДЛЯ ШІ

Я завантажу verified_googlebot.csv з колонками timestamp, url, status, response_time і bytes. Перевір типи даних і пропуски. Сегментуй URL за правилами, які я дам для product/category/search/other, порахуй кількість запитів і унікальних URL, медіанний час відповіді, обсяг переданих байтів, частки 2xx/3xx/4xx/5xx та медіанний інтервал повторного сканування. Покажи аномалії, але не роби причинних висновків без додаткових даних.

АЛЬТЕРНАТИВА БЕЗ ШІ

Якщо CSV уже нормалізований, те саме можна зробити в Excel/Sheets: додати колонку типу сторінки, групу HTTP-статусів, потім зведену таблицю («Pivot Table»). Для інтервалу повторного сканування відсортуйте URL + timestamp і порахуйте різницю з попереднім запитом; Power Query зручніший на великих файлах.

QR: КОД

Скануйте камерою: QR містить компактну виконувану версію коду без коментарів. Коментований код наведено нижче.

ДЛЯ АВТОМАТИЗАЦІЇ: PYTHON ДЛЯ АНАЛІЗУ ЛОГІВ

Код 6.1. Базова сегментація підтверджених запитів Googlebot за типом сторінок, статусами й медіанним інтервалом повторного сканування.

PythonОригінальний приклад з книги
import pandas as pd
from urllib.parse import urlsplit

# Очікувані поля: timestamp, url, status, response_time, bytes.
# CSV має містити вже верифіковані запити Googlebot.
df = pd.read_csv(
    "verified_googlebot.csv",
    parse_dates=["timestamp"]
)

# 1) Визначаємо тип сторінки за шляхом URL.
# Замініть правила нижче на структуру свого сайту.
def page_type(url):
    path = urlsplit(url).path
    if path.startswith("/product/"):
        return "product"
    if path.startswith("/category/"):
        return "category"
    if path.startswith("/search/"):
        return "internal_search"
    return "other"

# 2) Додаємо тип сторінки й сімейство HTTP-статусу.
df["page_type"] = df["url"].map(page_type)
df["status_family"] = (df["status"] // 100).astype(str) + "xx"

# 3) Зведення: скільки запитів, скільки URL,
# медіанний час відповіді та передані байти.
summary = (
    df.groupby("page_type")
      .agg(
          requests=("url", "size"),
          unique_urls=("url", "nunique"),
          median_response_time=("response_time", "median"),
          downloaded_bytes=("bytes", "sum"),
      )
      .sort_values("requests", ascending=False)
)

# 4) Частка 2xx/3xx/4xx/5xx усередині кожного типу сторінок.
status = pd.crosstab(
    df["page_type"],
    df["status_family"],
    normalize="index"
)

# 5) Медіанний інтервал між повторними запитами до того самого URL.
ordered = df.sort_values(["url", "timestamp"])
ordered["prev"] = ordered.groupby("url")["timestamp"].shift(1)
ordered["recrawl_hours"] = (
    ordered["timestamp"] - ordered["prev"]
).dt.total_seconds() / 3600
recrawl = ordered.groupby("page_type")["recrawl_hours"].median()

print(summary)
print(status)
print(recrawl)

Після цього я додаю поля, важливі для бізнесу: цільовий canonical, можливість індексації, версію шаблону, час останньої зміни, дату публікації, стан переліку URL. Тоді лог перестає бути «технічним файлом» і перетворюється на систему, де можна відповісти, наприклад: скільки годин у медіані Googlebot потребує, щоб уперше просканувати новий товар; який відсоток його запитів припадає на /search/; чи впала частка 5xx після зміни інфраструктури; чи скоротився інтервал повторного сканування для сторінок, де ціна змінюється щодня.

6.14. Діагностика: що робити, якщо Google сканує “не те”

Таблиця 6.8. Симптом сканування не дорівнює причині. Для кожної гіпотези потрібне окреме джерело даних.
СимптомНайсильніша перша гіпотезаДані для перевіркиДія
Багато запитів сканування до фасетівНабір URL роздутий параметрамиЛоги + сканування сайту + параметри + robotsВизначити набір фасетів, які мають індексуватися; решту прибрати з доступного для сканування графа або блокувати відповідно до стратегії.
Нові URL довго без першого скануванняНизький попит, слабке виявлення нових URL або перевантаження хостаЧас публікації, перший запит Googlebot, sitemap, внутрішні посилання, Crawl StatsРозділити проблему виявлення нових URL і серверної спроможності; не лікувати все натисканням кнопки запиту на індексацію.
Піки сканування збігаються з 5xxХост не тримає навантаженняЧас відповіді, 5xx/429 за хвилинами, метрики CPU/DB/CDNПідсилити серверну спроможність; не закривати Googlebot 403/404.
Google постійно сканує видалені URLСтарі URL продовжують отримувати сигнали або неправильні відповідіІсторія статусів, внутрішні/зовнішні посилання, sitemap, редиректи404/410 для реально видалених; прибрати посилання і URL із sitemap; уникати soft 404.
Стабільні сторінки віддають повний 200 при кожному повторному скануванніНемає ефективної перевірки актуальностіETag/Last-Modified/If-Modified-Since, логиНалаштувати коректне HTTP-кешування і 304 там, де документ справді не змінився.
Crawl Stats показує повільнішу відповідьІнфраструктура або шаблон потребує більше ресурсівРозбивка за типом файлу / хостом + серверні метрикиЗнайти конкретний тип ресурсів або кінцеву точку; не робити висновок лише із середнього значення для всього сайту.

6.15. Порядок аудиту бюджету сканування, який я використовую

Я починаю з переліку URL, а не з логу. Якщо команда сама не знає, які типи URL мають існувати в пошуку, неможливо визначити, що в трафіку сканування є «марним». Далі дивлюся «Crawl Stats», щоб зрозуміти масштаб, стан хоста, профіль часу відповіді і співвідношення виявлення/повторного сканування. Тільки після цього переходжу до логів, бо без контексту мільйони рядків легко перетворити на красиві, але беззмістовні графіки.

Таблиця 6.9. Аудит сканування як послідовність перевірок, а не список із 100 технічних прапорців.
ЕтапПитанняАртефакт на виході
1. Перелік URLЯкі URL бізнес хоче підтримувати як пошукові сторінки?Матриця: тип сторінки → цільовий для індексації / нецільовий / доступний для сканування / заблокований.
2. АрхітектураЗвідки зʼявляються зайві адреси?Карта параметрів, фасетів, сортувань, внутрішнього пошуку, календарних просторів.
3. Crawl StatsЧи є проблема масштабу або стану хоста?Динаміка запитів, обсягу байтів, часу відповіді, 5xx/429, «Discovery»/«Refresh».
4. ЛогиЯкі URL реально запитує Googlebot?Розподіл запитів за шаблонами, статусами, інтервалами та затримкою першого сканування.
5. СерверЧи Googlebot упирається у серверну спроможність?Кореляція трафіку сканування із затримкою, 5xx/429, CPU, DB, CDN.
6. ГіпотезаЩо саме ми змінюємо і який ефект очікуємо?До/після за конкретною метрикою, а не “Googlebot став кращим”.
7. КонтрольЧи не погіршили виявлення нових URL / деіндексацію / UX?Паралельний контроль: звіт «Page Indexing», GSC, sitemap та органічна видимість.

6.16. Що точно не варто робити

Не потрібно блокувати все підряд у robots.txt лише тому, що Googlebot часто туди ходить. Якщо URL треба спочатку прибрати з індексу через noindex, пошуковий робот має мати можливість отримати цю директиву. Не потрібно робити випадкові щоденні зміни robots.txt “щоб перерозподіляти бюджет”: Google прямо не рекомендує використовувати файл як тимчасовий механізм перерозподілу. Не потрібно відповідати 403 або 404, щоб “пригальмувати бота”. І не потрібно вимірювати успіх просто падінням загальної кількості запитів сканування - менше запитів може означати як кращу ефективність, так і втрату попиту.[1][5]

6.17. Міфи, які я б викинув із технічного SEO

Таблиця 6.10. Бюджет сканування без міфології: що реально випливає з поточної документації Google.
МіфЩо підтвердженоПрактичний висновок
“У кожного сайту є фіксований денний бюджет сканування”Google описує адаптивну модель спроможності та попиту.Не шукайте одне число, якого Search Console все одно не показує.
“Будь-який сайт треба оптимізувати під бюджет сканування”Google окремо орієнтує розширений посібник на великі/динамічні сайти або на сайти зі значною часткою URL зі статусом «Виявлено, але наразі не проіндексовано».Для малого сайту частіше важливі виявлення нових URL, можливість індексації, canonical і якість.
“Швидший сервер автоматично дає більше сканування”Краща серверна спроможність може підняти межу спроможності, але потрібен ще попит на сканування.Оптимізація сервера необхідна, коли сервер є вузьким місцем, але сама по собі не створює попиту.
“404 економить бюджет сканування як обмеження частоти”4xx, крім 429, не знижують частоту сканування як сигнал перевантаження.404/410 використовуйте за семантикою видаленого контенту, не для обмеження швидкості.
“Crawl Stats - це повний лог Googlebot”Приклади URL у звіті репрезентативні, але не повні.Для аналізу на рівні URL потрібні серверні логи.
“noindex економить сканування”Google має отримати сторінку, щоб прочитати noindex.Не плутайте керування індексацією з керуванням скануванням.
“Падіння кількості запитів сканування після змін завжди добре”Менше запитів може означати і менший попит.Оцінюйте затримку важливих URL, покриття і повторне сканування, а не загальну кількість запитів окремо.

6.18. Що ми знаємо точно, а що лишається гіпотезою

Точно знаємо: Google визначає бюджет сканування через спроможність і попит; великий набір зайвих URL може зменшувати ефективність; час відповіді, 5xx і 429 впливають на спроможність сканування; популярність і застарівання впливають на попит; 304 може заощадити мережевий трафік; звіт «Crawl Stats» у Search Console є агрегованим, а приклади URL не є повним логом; фасетна навігація може створювати практично нескінченний простір URL; Googlebot має документовані межі обсягу байтів на одне завантаження.[1][2][4][5]

Не знаємо публічно: точну формулу планувальника, ваги кожного сигналу, персональну “вартість” конкретного URL у черзі сканування, гарантований обсяг додаткового сканування після прискорення сервера або блокування фасетів. Якщо SEO-спеціаліст показує “Google виділив нам 187 432 умовних кредитів сканування на день” без внутрішніх даних Google, це не факт, а модель або вигадка.

6.19. Практичний висновок

Бюджет сканування має сенс лише тоді, коли ми перестаємо сприймати його як магічний ліміт. У великому сайті є набір URL, є серверна спроможність, є попит пошукової системи, є історія змін і є конкретні HTTP-відповіді. SEO може дуже сильно впливати на перше, частково - на друге, опосередковано - на третє і напряму контролювати коректність четвертого та пʼятого.

Мій робочий критерій простий: важливі нові URL мають швидко отримувати перше сканування, важливі змінені URL - повторне сканування із частотою, що відповідає їхній бізнесовій динаміці, а сервер не повинен витрачати значну частину ресурсу на адреси, які продукт не збирається підтримувати в пошуку. Усе інше - засоби вимірювання цієї системи.

Джерела до Глави 6

1. Google Crawling Infrastructure: Optimize your crawl budget. https://developers.google.com/crawling/docs/crawl-budget Оновлено 22.07.2026.

2. Google Search Console Help: Crawl Stats report. https://support.google.com/webmasters/answer/9679690?hl=en

3. Google Search Central: Googlebot. https://developers.google.com/search/docs/crawling-indexing/googlebot Оновлено 03.02.2026.

4. Google Crawling Infrastructure: Managing crawling of faceted navigation URLs. https://developers.google.com/crawling/docs/faceted-navigation

5. Google Search Central / Crawling Infrastructure: технічні довідкові матеріали про сканування. https://developers.google.com/search/blog/2026/03/crawler-blog-post ; https://developers.google.com/crawling/docs/crawlers-fetchers/reduce-crawl-rate ; https://developers.google.com/crawling/docs/troubleshooting/http-status-codes ; https://developers.google.com/crawling/docs/robots-txt/robots-txt-spec Межі завантаження Googlebot, аварійне зменшення частоти сканування, HTTP-коди та поведінка robots.txt.

Практикуми за темою глави

Перейдіть від методики з книги до робочого шаблону, діагностики URL чи вимірювання результату. Кожна вправа має критерії перевірки та посилання на джерела.

Усі практичні SEO-інструменти

Тематична довідка · SEO 2026

Ключові поняття цієї глави

Додаткові авторські пояснення понять, пов’язаних із темою глави: визначення, приклади, типові помилки та першоджерела. Це редакційна довідка, а не зміна оригінального тексту книги.

Усі 29 понять у SEO-словнику

Ілюстрації розміщено біля відповідних підписів. Оригінальні зображення зберігаються окремо від тексту.