Генератор robots.txt

Файл лежить у корені сайта й каже пошуковим роботам, які адреси не варто обходити. Директива User-agent називає робота, Disallow закриває шлях, Allow робить виняток усередині закритого, а рядок Sitemap показує, де шукати карту сайта. Порядок правил має значення: точніше правило перемагає загальніше.

Головне непорозуміння звучить так: «закрив у robots.txt — сторінки не буде в пошуку». Це не так. Заборона стосується обходу, а не показу: якщо на сторінку ведуть чужі посилання, вона може зʼявитись у видачі без опису, бо робот не зміг її прочитати. Щоб прибрати сторінку з пошуку, потрібен метатег noindex — і тоді сторінку якраз не можна закривати від обходу, інакше робот цей тег не побачить.

Друга річ, про яку забувають: robots.txt відкритий кожному. Перелічуючи там теки адмінки, тестові піддомени й службові шляхи, ви складаєте зловмиснику карту цікавих місць. Закритий доступ роблять паролем і правами на сервері, а не рядком у текстовому файлі.

Чого генератор не робить. Він не перевіряє, чи існують перелічені вами шляхи, і не бачить внутрішньої логіки сайта — правило, написане з друкарською помилкою, виглядатиме валідним. Після заливання файл варто перевірити в панелі для вебмайстрів і подивитись, як робот читає ключові адреси.