Robots Exclusion Protocol · RFC 9309 · Google Search
Перевірка robots.txt: онлайн-тестер Googlebot, Allow і Disallow
Перевірте, чи дозволяють правила robots.txt сканувати конкретні URL. Вставте текст файлу, виберіть пошукового робота й отримайте пояснення, яке саме правило спрацювало. Обробка відбувається локально у браузері.
Безкоштовний браузерний інструмент
Перевірка robots.txt на реальних URL
Сервіс не виконує мережевих запитів до вашого сайту; він перевіряє лише наданий текст правил. Не вставляйте секретні дані.
Завантаження аналізатора…
Як коректно перевіряти robots.txt
1. Де взяти справжній robots.txt
Відкрийте файл за адресою https://ваш-домен/robots.txt та скопіюйте вміст. Файл прив’язаний до схеми, домену й порту: правила іншого піддомену не поширюються на основний сайт. Тестер не завантажує чужі сайти автоматично; вставлений текст може відрізнятися від того, що нині бачить Google.
2. Як обрати User-agent
Група User-agent: Googlebot має пріоритет над User-agent: *. Декілька однойменних груп потрібно об’єднувати. Спеціалізовані роботи можуть мати інші правила. Для перевірки Googlebot-Image оберіть окремий токен, а не припускайте, що всі продукти Google бачать однакові винятки.
3. Порядок застосування Allow і Disallow
Наприклад, Disallow: /private/ обмежує сканування відповідної папки. Специфічніше Allow: /private/public-guide відкриває її частину. Символ * відповідає довільній послідовності, а $ — кінцю шляху. Якщо відповідні правила однаково специфічні, Google обирає менш обмежувальне Allow.
4. Чому robots.txt не є noindex
Заборона сканування не є надійним способом видалення URL з індексу: Google може знати адресу завдяки зовнішнім посиланням. Для керування індексацією використовуйте коректний meta robots noindex або X-Robots-Tag там, де робот може отримати відповідь. Якщо robots.txt блокує сторінку, її meta robots може залишатися невидимим для робота.
5. Як проводити перевірку перед релізом
Перевірте головну, категорії, важливі посадкові сторінки, параметризовані URL, PDF та винятки Allow. Після симуляції підтвердьте реальний HTTP-статус robots.txt і URL, інструмент перевірки URL у Search Console, серверні журнали, canonical і відрендерений HTML. Тестер не моделює кешування, простої сервера й тимчасову недоступність.
6. Вплив на SEO та AI-пошук
Googlebot, пошукові роботи й AI-краулери можуть використовувати різні product tokens. Перевірка для одного токена не описує інших. Зберігайте правила у Git, перевіряйте їх після змін та не використовуйте роботс-файл як сховище секретних шляхів чи паролів. Sitemap не може скасувати Disallow.
Часті запитання
Allow означає, що URL індексується?
Ні. Allow лише не перешкоджає скануванню за обраними правилами. Індексація залежить від вмісту, доступності, canonical та інших сигналів.
Чому Disallow: / не заблокував сторінку?
Можливо, спрацювало більш конкретне Allow або окрема група для обраного User-agent.
Чи працює Noindex: у robots.txt?
Google не підтримує директиву Noindex: у robots.txt як інструмент індексації. Застосовуйте meta robots або X-Robots-Tag.
Що означає Sitemap у robots.txt?
Це підказка про адресу карти сайту, а не дозвіл сканувати URL, заборонені Disallow.
Методологія та офіційні джерела
Правила аналізуються лише локально: визначається User-agent, найдовше відповідне Allow або Disallow, підсумок і номер рядка. Джерела:
Що перевіряти далі
Після robots.txt перевірте фактичну індексацію Google, HTML, canonical, внутрішні посилання й Search Console.