Проверьте, какие URL-адреса может сканировать каждый бот, выясните точное правило, определяющее доступ, и загрузите исправленный файл robots.txt перед публикацией.
Метод
01
Разделяет группы пользовательских агентов и правила разрешения/запрета.
02
Выберите наиболее конкретную группу и примените соответствие самого длинного пути.
03
Показывает применённое правило и предупреждения. При скачивании сохраняется введённый текст, включая комментарии, Sitemap и окончания строк.
Наиболее конкретное правило — это allow: /private/public/.
Решение
ALLOW
Группы правил
1
Совпавшие правила
2
robots.txt предназначен для совместных сканеров; Он не проверяет подлинность, не защищает контент и не гарантирует деиндексацию.
Ситуация C · Доступ заблокирован
Ваш вклад
Содержимое robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Пользовательский агент
Googlebot
местный маршрут
/page.htm
Результат
Наиболее конкретное правило — это disallow: /*.htm.
Решение
DISALLOW
Группы правил
1
Совпавшие правила
2
robots.txt предназначен для совместных сканеров; Он не проверяет подлинность, не защищает контент и не гарантирует деиндексацию.
Ситуация D · Доступ заблокирован
Ваш вклад
Содержимое robots.txt
User-agent: *
Disallow: /café
Пользовательский агент
Googlebot
местный маршрут
/caf%C3%A9
Результат
Наиболее конкретное правило — это disallow: /café.
Решение
DISALLOW
Группы правил
1
Совпавшие правила
1
robots.txt предназначен для совместных сканеров; Он не проверяет подлинность, не защищает контент и не гарантирует деиндексацию.
robots.txt не является командой аутентификации, безопасности или деиндексации. Симулятор реализует практическую часть RFC 9309 и не запрашивает удаленные URL-адреса.
robots.txt не является командой аутентификации, безопасности или деиндексации. Симулятор реализует практическую часть RFC 9309 и не запрашивает удаленные URL-адреса.