Проверьте robots.txt для Googlebot, GPTBot и других агентов: какое правило разрешает или блокирует путь. Скачайте текст с сохранением комментариев и Sitemap.
Практический пример
01
Проверяйте изменения перед публикацией файла robots.txt.
02
Объясните, почему маршрут разрешен или заблокирован.
03
Обнаружение внегрупповых правил и основных противоречий.
Наиболее конкретное правило — это allow: /private/public/.
Решение
ALLOW
Группы правил
1
Совпавшие правила
2
robots.txt предназначен для совместных сканеров; Он не проверяет подлинность, не защищает контент и не гарантирует деиндексацию.
Ситуация C · Доступ заблокирован
Ваш вклад
Содержимое robots.txt
User-agent: *
Allow: /page
Disallow: /*.htm
Пользовательский агент
Googlebot
местный маршрут
/page.htm
Результат
Наиболее конкретное правило — это disallow: /*.htm.
Решение
DISALLOW
Группы правил
1
Совпавшие правила
2
robots.txt предназначен для совместных сканеров; Он не проверяет подлинность, не защищает контент и не гарантирует деиндексацию.
Ситуация D · Доступ заблокирован
Ваш вклад
Содержимое robots.txt
User-agent: *
Disallow: /café
Пользовательский агент
Googlebot
местный маршрут
/caf%C3%A9
Результат
Наиболее конкретное правило — это disallow: /café.
Решение
DISALLOW
Группы правил
1
Совпавшие правила
1
robots.txt предназначен для совместных сканеров; Он не проверяет подлинность, не защищает контент и не гарантирует деиндексацию.
robots.txt не является командой аутентификации, безопасности или деиндексации. Симулятор реализует практическую часть RFC 9309 и не запрашивает удаленные URL-адреса.
robots.txt не является командой аутентификации, безопасности или деиндексации. Симулятор реализует практическую часть RFC 9309 и не запрашивает удаленные URL-адреса.