Перейти до змісту
SEO2026

Глава 33 · SEO 2026

Серверні логи: реальна поведінка краулера

Логи показують, що краулер зробив насправді, а не що мав би зробити. Глава 33 розбирає, як перетворити сирі записи сервера на відповіді про сканування, індексацію й технічні втрати.

Глава 33

Серверні логи: реальна поведінка пошукового робота замість припущень

Читати повну главу 33 з оригінальної книги →

Логи не кажуть, чому Google ранжує сторінку. Вони кажуть щось інше й не менш важливе: які URL бот реально запитував, коли, з яким статусом і з якою ціною для сервера.

В експорті сканера ми бачимо те, що може пройти наш сканер. У Search Console — агреговані дані спостереження Google. У серверному логу — конкретний HTTP-запит. Саме тому логи незамінні для великих сайтів, міграцій, діагностики сканування й випадків, коли «Google чомусь не бачить сторінки».

Але аналіз логів легко зробити псевдоточним. User-Agent можна підробити, зворотний проксі може приховувати IP клієнта, CDN може мати інший формат, кешовані запити можуть не потрапляти в логи вихідного сервера. Перед аналізом треба зрозуміти, який саме шар записує запити.

33.1Перевіряйте справжність Googlebot

Google прямо попереджає, що User-Agent Googlebot часто імітують інші роботи. Найнадійніші підходи — перевірка через зворотний DNS або зіставлення IP з опублікованими діапазонами IP Googlebot.[1]

33.2Мінімальні поля

Для SEO потрібні часова позначка, IP клієнта, метод HTTP, хост, URL/шлях із параметрами запиту, статус, кількість байтів відповіді, час відповіді й User-Agent. Джерело переходу корисне не завжди, але зберігаю його, якщо є. Якщо CDN додає статус кешу або затримку на периферійному чи вихідному сервері — ще краще.

33.3Частота сканування

Кількість запитів сама по собі не є метрикою «важливості». Частота залежить від актуальності, попиту, сигналів, спроможності сервера й багатьох внутрішніх рішень. Але в межах одного сайту розподіл корисний: які шаблони отримують 60% запитів, яких нових URL робот не бачить, які старі 404 запитує місяцями.

33.4Розподіл статусів

200 говорить, що отримання сторінки вдалося, але не гарантує індексації. 301/302 показують додаткові витрати на редиректи; 404/410 — видалені URL; 429 і 5xx можуть сигналізувати про перевантаження або інцидент. Google рекомендує 500/503/429 як тимчасовий екстрений спосіб різко знизити сканування, але це грубий інструмент і тривалі помилки можуть призвести до випадання URL.[2]

33.5Час відповіді й спроможність сканування

Повільний сервер не є «штрафом у ранжуванні» за простою формулою, але спроможність сканування пов’язана зі здатністю хоста відповідати без перевантаження. Якщо затримка зростає й з’являються серверні помилки, сканування може адаптуватися.

33.6Марнування ресурсів на параметри

Логи добре показують, чи витрачається сканування на сортування, відстеження, ідентифікатори сеансів, комбінації фасетів і внутрішній пошук. Я виділяю найпоширеніші параметри запиту за кількістю звернень та унікальних URL. Потім перевіряю, звідки їх можна виявити: внутрішні посилання, старі зворотні посилання, sitemap, JavaScript.

33.7Виявлення й повторне сканування

Умовно корисно розділяти URL, побачені вперше, і повторне сканування наявних URL. Якщо під час запуску з’явилося 50 000 нових товарів, але за три дні Googlebot вперше побачив 5 000, проблема ближче до виявлення або попиту на сканування. Якщо всі побачені, але не проіндексовані — це інший шар.

33.8Моніторинг міграції

Після міграції логи показують фактичне повторне сканування старих URL, переходи через редиректи, запити до нових URL і помилки. Я будую групи: старі URL із найбільшим трафіком, URL із найбільшою кількістю зворотних посилань, категорії, глибокі сторінки.

33.9Чого логи не показують

Логи не показують, чи URL проіндексований, яку має позицію, чи цитується в ШІ, який намір користувача або яку має «оцінку бюджету сканування». Запит — лише запит. Тому логи треба об’єднувати з реєстром просканованих URL, Search Console і даними про статус та canonical.

33.10Зберігання й вибірки

Логи великого сайту можуть займати терабайти. Я зберігаю сирі дані в недорогому сховищі, а для аналізу — секціоновану таблицю з потрібними полями. Для регулярної панелі достатньо щоденних агрегатів; сирі дані потрібні для докладного розбору інциденту.

Це скорочений виклад: у книзі кожна глава має повний розбір, таблиці й приклади. Завантажити книгу або почати зі вступу.