Логи не кажуть, чому Google ранжує сторінку. Вони кажуть щось інше й не менш важливе: які URL бот реально запитував, коли, з яким статусом і з якою ціною для сервера.
Стан даних і джерел: 14 вересня 2026 року
В експорті сканера ми бачимо те, що може пройти наш сканер. У Search Console — агреговані дані спостереження Google. У серверному логу — конкретний HTTP-запит. Саме тому логи незамінні для великих сайтів, міграцій, діагностики сканування й випадків, коли «Google чомусь не бачить сторінки».
Але аналіз логів легко зробити псевдоточним. User-Agent можна підробити, зворотний проксі може приховувати IP клієнта, CDN може мати інший формат, кешовані запити можуть не потрапляти в логи вихідного сервера. Перед аналізом треба зрозуміти, який саме шар записує запити.
33.1. Перевіряйте справжність Googlebot
Google прямо попереджає, що User-Agent Googlebot часто імітують інші роботи. Найнадійніші підходи — перевірка через зворотний DNS або зіставлення IP з опублікованими діапазонами IP Googlebot.[1]
Я не роблю висновку «Googlebot атакує параметри» на основі неперевіреного User-Agent. На сайті з великим трафіком це може повністю спотворити розподіл.
33.2. Мінімальні поля
Для SEO потрібні часова позначка, IP клієнта, метод HTTP, хост, URL/шлях із параметрами запиту, статус, кількість байтів відповіді, час відповіді й User-Agent. Джерело переходу корисне не завжди, але зберігаю його, якщо є. Якщо CDN додає статус кешу або затримку на периферійному чи вихідному сервері — ще краще.
З журналів доступу я формую похідні поля: verified_bot, bot_family, normalized_url, page_type, parameter_flags, date/hour, status_class. Сирі дані не змінюю: похідний шар можна перебудувати.
33.3. Частота сканування
Кількість запитів сама по собі не є метрикою «важливості». Частота залежить від актуальності, попиту, сигналів, спроможності сервера й багатьох внутрішніх рішень. Але в межах одного сайту розподіл корисний: які шаблони отримують 60% запитів, яких нових URL робот не бачить, які старі 404 запитує місяцями.
Я рахую медіану й перцентилі інтервалу повторного сканування за типом сторінки, а не середнє по домену. Головна сторінка й мільйон архівних сторінок в одному середньому роблять число беззмістовним.
33.4. Розподіл статусів
200 говорить, що отримання сторінки вдалося, але не гарантує індексації. 301/302 показують додаткові витрати на редиректи; 404/410 — видалені URL; 429 і 5xx можуть сигналізувати про перевантаження або інцидент. Google рекомендує 500/503/429 як тимчасовий екстрений спосіб різко знизити сканування, але це грубий інструмент і тривалі помилки можуть призвести до випадання URL.[2]
На панелі аналізу логів я дивлюся розподіл статусів саме для перевіреного Googlebot і сегментую за типом сторінки. 2% 5xx у загальному трафіку і 20% 5xx у запитах Googlebot до товарних сторінок — різні ситуації.
33.5. Час відповіді й спроможність сканування
Повільний сервер не є «штрафом у ранжуванні» за простою формулою, але спроможність сканування пов’язана зі здатністю хоста відповідати без перевантаження. Якщо затримка зростає й з’являються серверні помилки, сканування може адаптуватися.
Я дивлюся p50/p95 затримки запитів робота, а не лише середнє. Одна повільна кінцева точка API в шаблоні може створювати довгий хвіст розподілу й робити рендеринг і відповідь нестабільними.
33.6. Марнування ресурсів на параметри
Логи добре показують, чи витрачається сканування на сортування, відстеження, ідентифікатори сеансів, комбінації фасетів і внутрішній пошук. Я виділяю найпоширеніші параметри запиту за кількістю звернень та унікальних URL. Потім перевіряю, звідки їх можна виявити: внутрішні посилання, старі зворотні посилання, sitemap, JavaScript.
Не всі «зайві» запити треба блокувати robots.txt. Якщо параметричний URL уже має сигнали або дублює контент, рішення може потребувати canonical, очищення внутрішніх посилань, редиректів або видалення. robots.txt просто не дає сканувати контент і може залишити URL відомим.
33.7. Виявлення й повторне сканування
Умовно корисно розділяти URL, побачені вперше, і повторне сканування наявних URL. Якщо під час запуску з’явилося 50 000 нових товарів, але за три дні Googlebot вперше побачив 5 000, проблема ближче до виявлення або попиту на сканування. Якщо всі побачені, але не проіндексовані — це інший шар.
Для цього зберігаю `first_googlebot_hit`, `last_googlebot_hit`, `hit_count`. Під час міграції додаю відповідність старих і нових URL та дивлюся, як швидко робот проходить граф редиректів.
КОД 33.1. Базова агрегація логів перевіреного Googlebot.
# Аналіз уже верифікованого Googlebot CSV.
# Колонки: timestamp,url,status,response_ms,bytes,page_type
import pandas as pd
df = pd.read_csv("googlebot_verified.csv", parse_dates=["timestamp"])
# Базове зведення за типом сторінки.
summary = (df.groupby("page_type")
.agg(hits=("url","size"),
unique_urls=("url","nunique"),
p50_ms=("response_ms","median"),
bytes=("bytes","sum"))
.sort_values("hits", ascending=False))
# Частка статусів усередині page_type.
status = (df.assign(status_class=(df.status//100).astype(str)+"xx")
.groupby(["page_type","status_class"])
.size().rename("hits").reset_index())
status["share"] = status["hits"] / status.groupby("page_type")["hits"].transform("sum")
print(summary.head(30))
print(status.sort_values(["page_type","share"], ascending=[True,False]).head(100))33.8. Моніторинг міграції
Після міграції логи показують фактичне повторне сканування старих URL, переходи через редиректи, запити до нових URL і помилки. Я будую групи: старі URL із найбільшим трафіком, URL із найбільшою кількістю зворотних посилань, категорії, глибокі сторінки.
Не потрібно чекати два тижні, щоб дізнатися, що Googlebot потрапляє в цикл редиректів на 15% старого набору URL. Це видно в перші години.
33.9. Чого логи не показують
Логи не показують, чи URL проіндексований, яку має позицію, чи цитується в ШІ, який намір користувача або яку має «оцінку бюджету сканування». Запит — лише запит. Тому логи треба об’єднувати з реєстром просканованих URL, Search Console і даними про статус та canonical.
Найгірша аналітика — перетворити частоту сканування на причинний фактор ранжування: «Googlebot заходить частіше, отже треба змусити його заходити частіше». Частота може бути наслідком важливості й актуальності, а не причиною позицій.
33.10. Зберігання й вибірки
Логи великого сайту можуть займати терабайти. Я зберігаю сирі дані в недорогому сховищі, а для аналізу — секціоновану таблицю з потрібними полями. Для регулярної панелі достатньо щоденних агрегатів; сирі дані потрібні для докладного розбору інциденту.
Приватність і безпека важливі: журнали доступу можуть містити IP користувачів, параметри запитів, токени. SEO-фахівець не повинен отримувати більше персональних даних, ніж потрібно для аналізу роботів. Фільтруйте й мінімізуйте.
| Питання | Метрика | Чого не стверджувати |
|---|---|---|
| Що бот реально сканує? | Запити / унікальні URL | Це не індексація |
| Де помилки? | Розподіл статусів | 404 не завжди SEO-проблема |
| Що повільне? | p50/p95 response_ms | Затримка не дає точної ваги фактора ранжування |
| Чи бачить нові сторінки? | Група URL, побачених уперше | Сканування ≠ індексація |
| Чи багато параметрів? | Запити за параметром | robots.txt не є універсальним виправленням |
| Як іде міграція? | Групи запитів до старих → нових URL | На відновлення трафіку впливають інші фактори |
Джерела до Глави 33
1. Google Search Central. Googlebot. https://developers.google.com/search/docs/crawling-indexing/googlebot — Перевірка через зворотний DNS і діапазони IP.
2. Google Search Central. Crawl budget management. https://developers.google.com/search/docs/crawling-indexing/large-site-managing-crawl-budget — Спроможність і попит на сканування, відповіді сервера.
3. Google Search Central. HTTP network errors. https://developers.google.com/search/docs/crawling-indexing/http-network-errors — Поведінка статусів HTTP.
4. Google Search Central. Debug traffic drops. https://developers.google.com/search/docs/monitor-debug/debugging-search-traffic-drops — Відокремлення технічних проблем від інших причин.