Генератор robots.txt

Файл лежит в корне сайта и говорит поисковым роботам, какие адреса не стоит обходить. Директива User-agent называет робота, Disallow закрывает путь, Allow делает исключение внутри закрытого, а строка Sitemap показывает, где искать карту сайта. Порядок правил важен: более точное правило побеждает общее.

Главное недоразумение звучит так: «закрыл в robots.txt — страницы не будет в поиске». Это не так. Запрет касается обхода, а не показа: если на страницу ведут чужие ссылки, она может появиться в выдаче без описания, потому что робот не смог её прочитать. Чтобы убрать страницу из поиска, нужен метатег noindex — и тогда страницу как раз нельзя закрывать от обхода, иначе робот этот тег не увидит.

Вторая вещь, о которой забывают: robots.txt открыт каждому. Перечисляя там папки админки, тестовые поддомены и служебные пути, вы составляете злоумышленнику карту интересных мест. Закрытый доступ делают паролем и правами на сервере, а не строкой в текстовом файле.

Чего генератор не делает. Он не проверяет, существуют ли перечисленные вами пути, и не видит внутренней логики сайта — правило с опечаткой будет выглядеть валидным. После заливки файл стоит проверить в панели для вебмастеров и посмотреть, как робот читает ключевые адреса.