Сделайте свой robots.txt достопримечательностью: ASCII-арт, который увидят краулеры и разработчики

Для тех, кто закроет вкладку через минуту: генератор robots.txt теперь рисует ASCII-шапку в пяти стилях; индексации это не вредит, потому что всё после решётки краулер пропускает, а настоящая польза в том, что заодно чинится доступ цитирующих ИИ-ботов к сайту — и вот это уже стоит живого трафика.

Есть у меня привычка открывать robots.txt у соседей по рынку — без всякой задачи, просто посмотреть, что там устроено. Открываю очередной, а вместо правил на меня смотрит логотип во весь экран, нарисованный из решёток и палочек, и первая мысль, конечно: а чё, так можно было? Оказалось, что можно и давно. Файл читают глазами куда чаще, чем принято думать, — разработчики, конкуренты, просто любопытные, — поэтому в нём и рисуют логотип, название компании, вакансию, иногда шутку для своих. Ниже разберу, как сделать такую шапку за минуту и не сломать при этом ничего важного.

Пять стилей шапки

Выбираешь стиль, вписываешь имя бренда, и генератор рисует его шрифтом из символов, а весь рисунок уходит в комментарий над правилами. Стилей пять — от строгой рамки до зелёной «матрицы», и разница между ними чисто вкусовая, на работу файла она не влияет.

Зачем вообще этим заниматься? Отвечу честно: незачем, если мерить пользу в позициях, потому что позиции от рисунка не вырастут ни на пункт! Но файл видят живые люди, и запоминающаяся шапка иногда приводит к упоминанию в чужом посте, а упоминание — это ссылка, о которой ты не просил.

Почему рисунок безопасен

Главный вопрос обычно звучит так: не сломает ли это индексацию? Ответ короткий: всё, что начинается с решётки, является комментарием, краулеры такие строки пропускают, и на разбор правил они не влияют никак.

Единственное разумное ограничение — размер файла. Несколько мегабайт графики некоторые краулеры просто не дочитают до конца, поэтому шапка должна занимать десяток строк, а не сотню, и генератор за этим следит сам.

Второе ограничение — набор символов. Экзотика вроде блочной графики иногда едет в разных редакторах и консолях, а обычный ASCII отображается везде одинаково, и именно поэтому в генераторе пять стилей, а не пятьдесят: остальные красиво выглядят только на скриншоте автора.

Заодно — правильный доступ для ИИ

Теперь про серьёзную часть. Пока ты возишься с шапкой, генератор собирает файл, который пускает цитирующих ботов и закрывает обучающих, и вот эта разница уже стоит реального трафика.

Обучающие краулеры забирают тексты в тренировку моделей, и на видимость сайта их блокировка не влияет вовсе: хочешь закрыть — закрывай спокойно, ты ничего не теряешь, кроме участия в чужом датасете.

Поисковые и запросные боты работают иначе — они собирают ответы, которые люди читают прямо сейчас, в момент запроса. Закрыл такого — и сайт пропадает из ответов молча, причём позиции в обычной выдаче при этом не двигаются вообще, так что заметить пропажу почти нечем!

Что положить в файл, кроме рисунка

Правила стоит писать по именам ботов, а не масками, потому что явное правило сильнее общего. Даже если ниже кто-то допишет запрет оптом, поимённые строки его перебьют, и это, как правило, лучшая страховка от чужих правок в будущем.

Дальше идёт ссылка на карту сайта: строка всего одна, ставится в конце файла, а забывают её с удивительной регулярностью, особенно после переездов и смены CMS.

Третье — файл для ИИ-движков, если он у тебя уже собран; упомянуть его в комментарии рядом не помешает, лишним это точно не будет.

Чего в файле быть не должно: попыток закрыть чужие разделы, случайных запретов на служебные пути, нужные для рендеринга, и правил, унаследованных от прошлой системы. Последнее встречается чаще всего — сайт давно переехал, а строки из прошлой жизни продолжают работать, и никто, кажется, не помнит, зачем они там.

Как проверить, что получилось

👉 Собранный файл прогони через проверку доступа: она разложит ботов по группам и покажет вердикт по каждому имени отдельно, а смотреть надо прежде всего на цитирующих — если они закрыты, весь смысл упражнения теряется.

Через неделю после правок загляни в логи сервера. Файл — это декларация о намерениях, а лог — реальность, и расходятся они регулярно: часть ботов из документации не приходит вовсе, зато находятся имена, которых нет ни в одном публичном реестре.

Как часто перепроверять? Раз в квартал, наверное, вполне достаточно, плюс обязательно после любых работ на сервере или смены хостинга, потому что правила ломаются тихо, без единой ошибки в консоли, и без привычки проверять пропажу замечают месяцами.

Что ещё люди прячут в этом файле

Раз речь зашла о том, что robots.txt читают глазами, приведу пару примеров из практики — они хорошо объясняют, почему вся затея не такая глупая, как кажется поначалу.

Крупные компании давно держат этот файл как маленькую доску объявлений: вакансии для разработчиков, шутки, ссылка на страницу карьеры. Логика простая — если человек долез до технического файла, он скорее всего из индустрии, а значит потенциальный кандидат или партнёр, и аудитория получается крохотная, зато на редкость точная.

Второй распространённый приём — оставлять в комментариях пояснения к правилам. Файл всё равно публичный, скрыть в нём ничего нельзя, поэтому некоторые сознательно объясняют свою позицию: почему закрыт такой-то раздел, откуда взялось странное правило, — и это экономит время следующему человеку, включая собственного разработчика через год.

И третье, чего делать точно не стоит: не пиши в комментариях адреса админок и служебных путей «чтобы не забыть»! Файл читают ВСЕ, включая тех, кто ищет как раз такие подсказки, и находки там случаются с пугающей регулярностью.

Что делать прямо сейчас

Порядок действий я бы предложил такой. Сначала открой свой текущий robots.txt и прочитай его глазами, не через инструмент, а просто сверху вниз — половина проблем становится видна сразу, без всякой автоматики.

Потом собери новый файл в генераторе: шапка, правила по именам, ссылка на карту сайта — это занимает минут пять вместе с чтением подсказок. Дальше прогони результат через проверку доступа и убедись, что цитирующие боты открыты, а обучающие закрыты ровно так, как ты сам решил, а не так, как случайно получилось.

И последнее: поставь напоминание на квартал вперёд. Один заход раз в три месяца, три минуты работы — и ты точно знаешь, что дверь в сайт не захлопнулась сама собой.

Где это уже видели

Первым такую шапку показал Nike — в файле висел огромный логотип-галка, и скриншот разошёлся по всем профильным чатам, а после этого приём подхватили десятки компаний, от игровых студий до банков.

У кого-то там нарисован маскот, у кого-то слоган, у кого-то просто ровная рамка с именем домена. Ни один из этих сайтов не пострадал в выдаче, и это лучший аргумент в пользу безопасности затеи!

Мой генератор делает то же самое, только без ручного рисования в текстовом редакторе: вписываешь слово, выбираешь стиль, копируешь готовый файл — и на этом история с картинкой заканчивается, дальше начинается работа с правилами.

Три вопроса, которые задают чаще всего

Не уйдёт ли рисунок в поиск? Нет. Текст в комментариях не индексируется, в сниппет не попадает и в кэш не идёт, для поиска этих строк как бы нет.

Не станет ли файл тяжелее? Станет, но на копейки: шапка в десять строк весит меньше, чем один мелкий значок на сайте, и скорость от неё не меняется.

А если бот попадётся старый и глупый? Тогда он тоже пропустит строки с решёткой, потому что правило это старое, ему больше тридцати лет, и его знает даже самый простой сканер.

Стоит ли вообще заморачиваться

Скажу прямо: рисунок в robots.txt — приятная мелочь, а не инструмент роста. Он не поднимет позиции, не добавит цитирований и не заменит ни одной серьёзной работы над сайтом.

Ценность здесь совсем в другом. Пока собираешь файл с красивой шапкой, заодно приводишь в порядок правила доступа, а это уже вещь измеримая: закрытый цитирующий бот стоит трафика каждый день, пока о нём не вспомнят.

То есть повод для захода несерьёзный, а результат получается довольно серьёзный, и генератор в этом смысле работает как хитрость: заходишь за красивым, уходишь с починенным.

Так что рисуй на здоровье — и заодно посмотри, кого при этом случайно закрыл.

→ Собрать свой robots.txt с ASCII-шапкой