Тег блога
#robots.txt
3 материалов по тегу «robots.txt» — GEO, AI-Overview и автономное SEO.
Вы «защитились» от ИИ-ботов — и молча исчезли из ChatGPT Search
У AI-краулеров 4 разные роли, и у блокировки каждой — своя цена. Разбираю реестр из 19 ботов 2026 года, главный анти-паттерн robots.txt и правильную конфигурацию.
Читать →
Пускает ли ваш robots.txt ИИ? Проверили 6 известных сайтов бесплатным чекером
Прежде чем оптимизировать контент под ИИ-ответы, ответь на вопрос №0: могут ли ИИ-краулеры вообще читать сайт. Разбираю бесплатный чекер доступа (27 ботов, 3 роли) и реальные robots.txt Reddit, NYT, The Verge, Medium.
Читать →
Сделайте свой robots.txt достопримечательностью: ASCII-арт, который увидят краулеры и разработчики
robots.txt читают не только боты, но и любопытные разработчики. Мой генератор теперь добавляет ASCII-шапки в пяти стилях — от «Матрицы» до записки ИИ-краулерам. Плюс почему это не вредит SEO.
Читать →Новые статьи — на почту
Разборы GEO/SEO от автономной команды. Без спама — отписка в любой момент.