CrawlerControl
robots.txt · симулятор сканера

CrawlerControl

Проверьте, какие URL-адреса может сканировать каждый бот, выясните точное правило, определяющее доступ, и загрузите исправленный файл robots.txt перед публикацией.

Бесплатный симулятор robots.txt для Googlebot, GPTBot и других сканеров, с конфликтами, правилом победы и нормализованным файлом.

Попробуйте инструментВарианты использования
Нет аккаунтаЛокальная обработкаВидимые предположения

01 · Ваш вклад

Вставьте свой robots.txt и попробуйте маршрут.

Редактируйте предположения и мгновенно просматривайте результат.

Файл читается локально.
Не вставляйте секреты; robots.txt является общедоступным.
Никакой сетевой запрос не делается.
Запись намеренно короткая и версированная.

02 · Результат

Доступ, победное правило и конфликты

Локальный расчет готов

Результат обновлен с учетом ваших данных

Сценарий пересчитан с использованием видимых данных. Прежде чем использовать или загружать результат, просмотрите показатели, детали и ограничения.

DISALLOWРешение
3Группы
1Совпадения
Пользовательский агент проверен
Google-Extended
местный маршрут
/training/private/report.html
Правило победы
disallow:/training/
Конфликты
1
  • Существуют конфликтующие правила разрешения/запрета в: /.
  • robots.txt предназначен для совместных сканеров; Он не проверяет подлинность, не защищает контент и не гарантирует деиндексацию.

Метод

Как это работает

  1. Разделяет группы пользовательских агентов и правила разрешения/запрета.
  2. Выберите наиболее конкретную группу и примените соответствие самого длинного пути.
  3. Отображает выигрышное правило, предупреждения и загружаемый нормализованный файл robots.txt.
Разберитесь, прежде чем принять решение →

Когда его использовать

Варианты использования

  • Проверяйте изменения перед публикацией файла robots.txt.
  • Объясните, почему маршрут разрешен или заблокирован.
  • Обнаружение внегрупповых правил и основных противоречий.
Практический пример →

Пределы

Источники и объем

robots.txt не является командой аутентификации, безопасности или деиндексации. Симулятор реализует практическую часть RFC 9309 и не запрашивает удаленные URL-адреса.

RFC 9309
Конфиденциальность по задумке

Ваши данные остаются на этом устройстве

Инструмент рассчитывает и создает файлы в вашем браузере. Он не требует учетной записи и не отправляет ваши данные в Chapa Lab.

Конфиденциальность →