Перейти до змісту
SEO2026

Частина VII · ВИМІРЮВАННЯ

Серверні логи: реальна поведінка краулера замість припущень

Глава 33 / 43 · 1 049 слів · ~6 хв читання

Матеріал опубліковано за книгою «SEO 2026: Пошук в еру AI» Михайла Оплаканця (Werter). Офіційна авторська публікація.

Read in English

Логи не кажуть, чому Google ранжує сторінку. Вони кажуть щось інше й не менш важливе: які URL бот реально запитував, коли, з яким статусом і з якою ціною для сервера.

Стан даних і джерел: 14 вересня 2026 року

В експорті сканера ми бачимо те, що може пройти наш сканер. У Search Console — агреговані дані спостереження Google. У серверному логу — конкретний HTTP-запит. Саме тому логи незамінні для великих сайтів, міграцій, діагностики сканування й випадків, коли «Google чомусь не бачить сторінки».

Але аналіз логів легко зробити псевдоточним. User-Agent можна підробити, зворотний проксі може приховувати IP клієнта, CDN може мати інший формат, кешовані запити можуть не потрапляти в логи вихідного сервера. Перед аналізом треба зрозуміти, який саме шар записує запити.

Рис. 33.1. Від сирого журналу доступу до SEO-діагностики.
Рис. 33.1. Від сирого журналу доступу до SEO-діагностики.

33.1. Перевіряйте справжність Googlebot

Google прямо попереджає, що User-Agent Googlebot часто імітують інші роботи. Найнадійніші підходи — перевірка через зворотний DNS або зіставлення IP з опублікованими діапазонами IP Googlebot.[1]

Я не роблю висновку «Googlebot атакує параметри» на основі неперевіреного User-Agent. На сайті з великим трафіком це може повністю спотворити розподіл.

33.2. Мінімальні поля

Для SEO потрібні часова позначка, IP клієнта, метод HTTP, хост, URL/шлях із параметрами запиту, статус, кількість байтів відповіді, час відповіді й User-Agent. Джерело переходу корисне не завжди, але зберігаю його, якщо є. Якщо CDN додає статус кешу або затримку на периферійному чи вихідному сервері — ще краще.

З журналів доступу я формую похідні поля: verified_bot, bot_family, normalized_url, page_type, parameter_flags, date/hour, status_class. Сирі дані не змінюю: похідний шар можна перебудувати.

33.3. Частота сканування

Кількість запитів сама по собі не є метрикою «важливості». Частота залежить від актуальності, попиту, сигналів, спроможності сервера й багатьох внутрішніх рішень. Але в межах одного сайту розподіл корисний: які шаблони отримують 60% запитів, яких нових URL робот не бачить, які старі 404 запитує місяцями.

Я рахую медіану й перцентилі інтервалу повторного сканування за типом сторінки, а не середнє по домену. Головна сторінка й мільйон архівних сторінок в одному середньому роблять число беззмістовним.

33.4. Розподіл статусів

200 говорить, що отримання сторінки вдалося, але не гарантує індексації. 301/302 показують додаткові витрати на редиректи; 404/410 — видалені URL; 429 і 5xx можуть сигналізувати про перевантаження або інцидент. Google рекомендує 500/503/429 як тимчасовий екстрений спосіб різко знизити сканування, але це грубий інструмент і тривалі помилки можуть призвести до випадання URL.[2]

На панелі аналізу логів я дивлюся розподіл статусів саме для перевіреного Googlebot і сегментую за типом сторінки. 2% 5xx у загальному трафіку і 20% 5xx у запитах Googlebot до товарних сторінок — різні ситуації.

33.5. Час відповіді й спроможність сканування

Повільний сервер не є «штрафом у ранжуванні» за простою формулою, але спроможність сканування пов’язана зі здатністю хоста відповідати без перевантаження. Якщо затримка зростає й з’являються серверні помилки, сканування може адаптуватися.

Я дивлюся p50/p95 затримки запитів робота, а не лише середнє. Одна повільна кінцева точка API в шаблоні може створювати довгий хвіст розподілу й робити рендеринг і відповідь нестабільними.

33.6. Марнування ресурсів на параметри

Логи добре показують, чи витрачається сканування на сортування, відстеження, ідентифікатори сеансів, комбінації фасетів і внутрішній пошук. Я виділяю найпоширеніші параметри запиту за кількістю звернень та унікальних URL. Потім перевіряю, звідки їх можна виявити: внутрішні посилання, старі зворотні посилання, sitemap, JavaScript.

Не всі «зайві» запити треба блокувати robots.txt. Якщо параметричний URL уже має сигнали або дублює контент, рішення може потребувати canonical, очищення внутрішніх посилань, редиректів або видалення. robots.txt просто не дає сканувати контент і може залишити URL відомим.

33.7. Виявлення й повторне сканування

Умовно корисно розділяти URL, побачені вперше, і повторне сканування наявних URL. Якщо під час запуску з’явилося 50 000 нових товарів, але за три дні Googlebot вперше побачив 5 000, проблема ближче до виявлення або попиту на сканування. Якщо всі побачені, але не проіндексовані — це інший шар.

Для цього зберігаю `first_googlebot_hit`, `last_googlebot_hit`, `hit_count`. Під час міграції додаю відповідність старих і нових URL та дивлюся, як швидко робот проходить граф редиректів.

QR: компактна виконувана версія коду.
QR: компактна виконувана версія коду.

КОД 33.1. Базова агрегація логів перевіреного Googlebot.

PythonОригінальний приклад з книги
# Аналіз уже верифікованого Googlebot CSV.
# Колонки: timestamp,url,status,response_ms,bytes,page_type
import pandas as pd

df = pd.read_csv("googlebot_verified.csv", parse_dates=["timestamp"])

# Базове зведення за типом сторінки.
summary = (df.groupby("page_type")
             .agg(hits=("url","size"),
                  unique_urls=("url","nunique"),
                  p50_ms=("response_ms","median"),
                  bytes=("bytes","sum"))
             .sort_values("hits", ascending=False))

# Частка статусів усередині page_type.
status = (df.assign(status_class=(df.status//100).astype(str)+"xx")
           .groupby(["page_type","status_class"])
           .size().rename("hits").reset_index())
status["share"] = status["hits"] / status.groupby("page_type")["hits"].transform("sum")

print(summary.head(30))
print(status.sort_values(["page_type","share"], ascending=[True,False]).head(100))

33.8. Моніторинг міграції

Після міграції логи показують фактичне повторне сканування старих URL, переходи через редиректи, запити до нових URL і помилки. Я будую групи: старі URL із найбільшим трафіком, URL із найбільшою кількістю зворотних посилань, категорії, глибокі сторінки.

Не потрібно чекати два тижні, щоб дізнатися, що Googlebot потрапляє в цикл редиректів на 15% старого набору URL. Це видно в перші години.

33.9. Чого логи не показують

Логи не показують, чи URL проіндексований, яку має позицію, чи цитується в ШІ, який намір користувача або яку має «оцінку бюджету сканування». Запит — лише запит. Тому логи треба об’єднувати з реєстром просканованих URL, Search Console і даними про статус та canonical.

Найгірша аналітика — перетворити частоту сканування на причинний фактор ранжування: «Googlebot заходить частіше, отже треба змусити його заходити частіше». Частота може бути наслідком важливості й актуальності, а не причиною позицій.

33.10. Зберігання й вибірки

Логи великого сайту можуть займати терабайти. Я зберігаю сирі дані в недорогому сховищі, а для аналізу — секціоновану таблицю з потрібними полями. Для регулярної панелі достатньо щоденних агрегатів; сирі дані потрібні для докладного розбору інциденту.

Приватність і безпека важливі: журнали доступу можуть містити IP користувачів, параметри запитів, токени. SEO-фахівець не повинен отримувати більше персональних даних, ніж потрібно для аналізу роботів. Фільтруйте й мінімізуйте.

Таблиця 33.1. Питання, на які добре відповідають логи.
ПитанняМетрикаЧого не стверджувати
Що бот реально сканує?Запити / унікальні URLЦе не індексація
Де помилки?Розподіл статусів404 не завжди SEO-проблема
Що повільне?p50/p95 response_msЗатримка не дає точної ваги фактора ранжування
Чи бачить нові сторінки?Група URL, побачених упершеСканування ≠ індексація
Чи багато параметрів?Запити за параметромrobots.txt не є універсальним виправленням
Як іде міграція?Групи запитів до старих → нових URLНа відновлення трафіку впливають інші фактори

Джерела до Глави 33

1. Google Search Central. Googlebot. https://developers.google.com/search/docs/crawling-indexing/googlebot — Перевірка через зворотний DNS і діапазони IP.

2. Google Search Central. Crawl budget management. https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget — Спроможність і попит на сканування, відповіді сервера.

3. Google Search Central. HTTP network errors. https://developers.google.com/search/docs/crawling-indexing/http-network-errors — Поведінка статусів HTTP.

4. Google Search Central. Debug traffic drops. https://developers.google.com/search/docs/monitor-debug/debugging-search-traffic-drops — Відокремлення технічних проблем від інших причин.

Практикуми за темою глави

Перейдіть від методики з книги до робочого шаблону, діагностики URL чи вимірювання результату. Кожна вправа має критерії перевірки та посилання на джерела.

Усі практичні SEO-інструменти

Ілюстрації розміщено біля відповідних підписів. Оригінальні зображення зберігаються окремо від тексту.