Проверьте, какие URL-адреса может сканировать каждый бот, выясните точное правило, определяющее доступ, и загрузите исправленный файл robots.txt перед публикацией.
Метод
Разделяет группы пользовательских агентов и правила разрешения/запрета.
Выберите наиболее конкретную группу и примените соответствие самого длинного пути.
Отображает выигрышное правило, предупреждения и загружаемый нормализованный файл robots.txt.
Ваш вклад
Редактируйте предположения и мгновенно просматривайте результат.
Результат
Сценарий пересчитан с использованием видимых данных. Прежде чем использовать или загружать результат, просмотрите показатели, детали и ограничения.
Ответственный объем
robots.txt не является командой аутентификации, безопасности или деиндексации. Симулятор реализует практическую часть RFC 9309 и не запрашивает удаленные URL-адреса.