Валидатор robots.txt

Что проверяет этот инструмент

Валидатор robots.txt проверяет текстовый файл в корне домена, который сообщает краулерам, какие разделы сайта им разрешено обходить, и подсвечивает опасные правила — например случайную блокировку всего сайта — и устаревшие, которые поисковые и AI-движки уже не учитывают. ChatGPT, Perplexity и краулеры Google читают robots.txt перед обращением к странице, поэтому одна забытая строка `Disallow: /` способна сделать весь сайт невидимым для движков, которые иначе процитировали бы вас. Проверка ловит такие ошибки и отсутствующие сигналы — например строку Sitemap — до того, как они стоят вам обхода и цитирований.

Что учитывается

Блокировка всего сайта (Disallow: /)

`Disallow: /` под `User-agent: *` закрывает от краулеров весь сайт — самая разрушительная строка, часто попадающая в продакшн из staging-конфига по ошибке.

Отсутствие директивы Sitemap

Строка `Sitemap:` ведёт краулеров прямо к списку ваших URL; она необязательна, но рекомендуется, а её отсутствие заставляет движки искать страницы медленным способом.

Синтаксис и опечатки

Опечатки в полях (например, `Dissalow`) и некорректные строки просто игнорируются, поэтому правило, которое вы считаете рабочим, может не существовать вовсе.

Директива Crawl-delay

`Crawl-delay` игнорируется Google и большинством AI-краулеров — его учитывают лишь некоторые движки, — так что расчёт на него для ограничения ботов создаёт ложное чувство контроля.

Устаревшие директивы

Директивы вроде `Noindex` или `Nofollow` внутри robots.txt не поддерживаются; они не действуют, и их место — в мета-тегах или HTTP-заголовках.

Как пользоваться

1. Вставьте содержимое robots.txt или укажите URL сайта, чтобы загрузить живой файл.
2. Просмотрите отмеченные правила — блокировку всего сайта, синтаксические ошибки, устаревшие или неподдерживаемые директивы и отсутствие строки Sitemap.
3. Исправьте опасные правила в robots.txt, выложите файл по адресу /robots.txt и запустите проверку повторно, чтобы убедиться, что он чист.

Частые вопросы