CrawlerControl
robots.txt · симулятор сканера

CrawlerControl

Проверьте, какие URL-адреса может сканировать каждый бот, выясните точное правило, определяющее доступ, и загрузите исправленный файл robots.txt перед публикацией.

Проверьте robots.txt для Googlebot, GPTBot и других агентов: какое правило разрешает или блокирует путь. Скачайте текст с сохранением комментариев и Sitemap.

Попробуйте инструментВарианты использования
Нет аккаунтаЛокальная обработкаВидимые предположения

01 · Ваш вклад

Вставьте свой robots.txt и попробуйте маршрут.

Разделяет группы пользовательских агентов и правила разрешения/запрета.

Файл читается локально.
Не вставляйте секреты; robots.txt является общедоступным.
Никакой сетевой запрос не делается.
Запись намеренно короткая и версированная.

02 · Результат

Доступ, победное правило и конфликты

Расчет готов

Доступ заблокирован

Наиболее конкретное правило — это disallow: /training/.

DISALLOWРешение
3Группы правил
1Совпавшие правила
Проверяемый User-agent
Google-Extended
Путь
/training/private/report.html
Определяющее правило
disallow:/training/
Конфликты
0
  • robots.txt предназначен для совместных сканеров; Он не проверяет подлинность, не защищает контент и не гарантирует деиндексацию.

Метод

Как это работает

  1. Разделяет группы пользовательских агентов и правила разрешения/запрета.
  2. Выберите наиболее конкретную группу и примените соответствие самого длинного пути.
  3. Показывает применённое правило и предупреждения. При скачивании сохраняется введённый текст, включая комментарии, Sitemap и окончания строк.
Разберитесь, прежде чем принять решение →

Когда его использовать

Варианты использования

  • Проверяйте изменения перед публикацией файла robots.txt.
  • Объясните, почему маршрут разрешен или заблокирован.
  • Обнаружение внегрупповых правил и основных противоречий.
Практический пример →

Пределы

Источники и объем

robots.txt не является командой аутентификации, безопасности или деиндексации. Симулятор реализует практическую часть RFC 9309 и не запрашивает удаленные URL-адреса.

RFC 9309
Конфиденциальность по задумке

Ваши данные остаются на этом устройстве

Инструмент рассчитывает и создает файлы в вашем браузере. Он не требует учетной записи и не отправляет ваши данные в Chapa Lab.

Конфиденциальность →