Глава 33
Серверні логи: реальна поведінка пошукового робота замість припущень
Читати повну главу 33 з оригінальної книги →Логи не кажуть, чому Google ранжує сторінку. Вони кажуть щось інше й не менш важливе: які URL бот реально запитував, коли, з яким статусом і з якою ціною для сервера.
В експорті сканера ми бачимо те, що може пройти наш сканер. У Search Console — агреговані дані спостереження Google. У серверному логу — конкретний HTTP-запит. Саме тому логи незамінні для великих сайтів, міграцій, діагностики сканування й випадків, коли «Google чомусь не бачить сторінки».
Але аналіз логів легко зробити псевдоточним. User-Agent можна підробити, зворотний проксі може приховувати IP клієнта, CDN може мати інший формат, кешовані запити можуть не потрапляти в логи вихідного сервера. Перед аналізом треба зрозуміти, який саме шар записує запити.
33.1Перевіряйте справжність Googlebot
Google прямо попереджає, що User-Agent Googlebot часто імітують інші роботи. Найнадійніші підходи — перевірка через зворотний DNS або зіставлення IP з опублікованими діапазонами IP Googlebot.[1]
33.2Мінімальні поля
Для SEO потрібні часова позначка, IP клієнта, метод HTTP, хост, URL/шлях із параметрами запиту, статус, кількість байтів відповіді, час відповіді й User-Agent. Джерело переходу корисне не завжди, але зберігаю його, якщо є. Якщо CDN додає статус кешу або затримку на периферійному чи вихідному сервері — ще краще.
33.3Частота сканування
Кількість запитів сама по собі не є метрикою «важливості». Частота залежить від актуальності, попиту, сигналів, спроможності сервера й багатьох внутрішніх рішень. Але в межах одного сайту розподіл корисний: які шаблони отримують 60% запитів, яких нових URL робот не бачить, які старі 404 запитує місяцями.
33.4Розподіл статусів
200 говорить, що отримання сторінки вдалося, але не гарантує індексації. 301/302 показують додаткові витрати на редиректи; 404/410 — видалені URL; 429 і 5xx можуть сигналізувати про перевантаження або інцидент. Google рекомендує 500/503/429 як тимчасовий екстрений спосіб різко знизити сканування, але це грубий інструмент і тривалі помилки можуть призвести до випадання URL.[2]
33.5Час відповіді й спроможність сканування
Повільний сервер не є «штрафом у ранжуванні» за простою формулою, але спроможність сканування пов’язана зі здатністю хоста відповідати без перевантаження. Якщо затримка зростає й з’являються серверні помилки, сканування може адаптуватися.
33.6Марнування ресурсів на параметри
Логи добре показують, чи витрачається сканування на сортування, відстеження, ідентифікатори сеансів, комбінації фасетів і внутрішній пошук. Я виділяю найпоширеніші параметри запиту за кількістю звернень та унікальних URL. Потім перевіряю, звідки їх можна виявити: внутрішні посилання, старі зворотні посилання, sitemap, JavaScript.
33.7Виявлення й повторне сканування
Умовно корисно розділяти URL, побачені вперше, і повторне сканування наявних URL. Якщо під час запуску з’явилося 50 000 нових товарів, але за три дні Googlebot вперше побачив 5 000, проблема ближче до виявлення або попиту на сканування. Якщо всі побачені, але не проіндексовані — це інший шар.
33.8Моніторинг міграції
Після міграції логи показують фактичне повторне сканування старих URL, переходи через редиректи, запити до нових URL і помилки. Я будую групи: старі URL із найбільшим трафіком, URL із найбільшою кількістю зворотних посилань, категорії, глибокі сторінки.
33.9Чого логи не показують
Логи не показують, чи URL проіндексований, яку має позицію, чи цитується в ШІ, який намір користувача або яку має «оцінку бюджету сканування». Запит — лише запит. Тому логи треба об’єднувати з реєстром просканованих URL, Search Console і даними про статус та canonical.
33.10Зберігання й вибірки
Логи великого сайту можуть займати терабайти. Я зберігаю сирі дані в недорогому сховищі, а для аналізу — секціоновану таблицю з потрібними полями. Для регулярної панелі достатньо щоденних агрегатів; сирі дані потрібні для докладного розбору інциденту.
Це скорочений виклад: у книзі кожна глава має повний розбір, таблиці й приклади. Завантажити книгу або почати зі вступу.