Генератор robots.txt
Выберите, что закрыть от обхода, добавьте адрес карты сайта — файл соберётся корректно, с правильным порядком правил.
- Бесплатно
- Без регистрации
- Работает в вашем браузере — ничего не отправляется
User-agent: GPTBot User-agent: ClaudeBot User-agent: PerplexityBot User-agent: Google-Extended Allow: / User-agent: * Allow: / Disallow: /admin Disallow: /wp-admin/ Disallow: /cart Disallow: /checkout Disallow: /*?s= Disallow: /search Disallow: /*?filter= Disallow: /*?sort= Sitemap: https://apri-code.com/sitemap.xml
Что robots.txt может, а чего не может
Файл лежит в корне сайта и говорит поисковым роботам, какие адреса не стоит обходить. Директива User-agent называет робота, Disallow закрывает путь, Allow делает исключение внутри закрытого, а строка Sitemap показывает, где искать карту сайта. Порядок правил важен: более точное правило побеждает общее.
Главное недоразумение звучит так: «закрыл в robots.txt — страницы не будет в поиске». Это не так. Запрет касается обхода, а не показа: если на страницу ведут чужие ссылки, она может появиться в выдаче без описания, потому что робот не смог её прочитать. Чтобы убрать страницу из поиска, нужен метатег noindex — и тогда страницу как раз нельзя закрывать от обхода, иначе робот этот тег не увидит.
Читать дальше
Вторая вещь, о которой забывают: robots.txt открыт каждому. Перечисляя там папки админки, тестовые поддомены и служебные пути, вы составляете злоумышленнику карту интересных мест. Закрытый доступ делают паролем и правами на сервере, а не строкой в текстовом файле.
Чего генератор не делает. Он не проверяет, существуют ли перечисленные вами пути, и не видит внутренней логики сайта — правило с опечаткой будет выглядеть валидным. После заливки файл стоит проверить в панели для вебмастеров и посмотреть, как робот читает ключевые адреса.
Частые вопросы
Нужен ли robots.txt небольшому сайту?
Он полезен даже на десяти страницах — хотя бы ради строки с адресом карты сайта. Пустой файл с разрешением на всё тоже нормальный вариант и лучше ошибки 404.
Как закрыть от индексации весь сайт на время разработки?
Надёжнее закрыть его паролем на уровне сервера. Запрет в robots.txt не гарантирует отсутствия страниц в выдаче, а забытая после релиза строка Disallow выключает весь трафик.
Можно ли закрывать страницы с UTM-метками?
Не стоит. Дубли по параметрам решает канонический адрес, а запрет обхода лишь мешает роботу увидеть это указание.
Обязательно ли указывать Sitemap?
Не обязательно, но полезно: это простейший способ показать роботам карту сайта, не заходя в панель вебмастера. Адрес пишите полный, с протоколом и доменом.
Ещё инструменты
Инструмент показал проблему, а чинить некому?
Мы делаем сайты, магазины и поддержку — от адреса домена до почты, которая не попадает в спам.
Нажимая кнопку, вы соглашаетесь с политикой конфиденциальности
Харьков · Киев
