Генератор robots.txt
Оберіть, що закрити від обходу, додайте адресу карти сайта — файл складеться коректно, з правильним порядком правил.
- Безкоштовно
- Без реєстрації
- Працює у вашому браузері — нічого не надсилається
User-agent: GPTBot User-agent: ClaudeBot User-agent: PerplexityBot User-agent: Google-Extended Allow: / User-agent: * Allow: / Disallow: /admin Disallow: /wp-admin/ Disallow: /cart Disallow: /checkout Disallow: /*?s= Disallow: /search Disallow: /*?filter= Disallow: /*?sort= Sitemap: https://apri-code.com/sitemap.xml
Що robots.txt може, а чого не може
Файл лежить у корені сайта й каже пошуковим роботам, які адреси не варто обходити. Директива User-agent називає робота, Disallow закриває шлях, Allow робить виняток усередині закритого, а рядок Sitemap показує, де шукати карту сайта. Порядок правил має значення: точніше правило перемагає загальніше.
Головне непорозуміння звучить так: «закрив у robots.txt — сторінки не буде в пошуку». Це не так. Заборона стосується обходу, а не показу: якщо на сторінку ведуть чужі посилання, вона може зʼявитись у видачі без опису, бо робот не зміг її прочитати. Щоб прибрати сторінку з пошуку, потрібен метатег noindex — і тоді сторінку якраз не можна закривати від обходу, інакше робот цей тег не побачить.
Читати далі
Друга річ, про яку забувають: robots.txt відкритий кожному. Перелічуючи там теки адмінки, тестові піддомени й службові шляхи, ви складаєте зловмиснику карту цікавих місць. Закритий доступ роблять паролем і правами на сервері, а не рядком у текстовому файлі.
Чого генератор не робить. Він не перевіряє, чи існують перелічені вами шляхи, і не бачить внутрішньої логіки сайта — правило, написане з друкарською помилкою, виглядатиме валідним. Після заливання файл варто перевірити в панелі для вебмайстрів і подивитись, як робот читає ключові адреси.
Часті питання
Чи потрібен robots.txt невеликому сайту?
Він корисний навіть на десяти сторінках — хоча б заради рядка з адресою карти сайта. Порожній файл із дозволом на все теж нормальний варіант і кращий за помилку 404.
Як закрити від індексації весь сайт на час розробки?
Надійніше закрити його паролем на рівні сервера. Заборона в robots.txt не гарантує відсутності сторінок у видачі, а забутий після релізу рядок Disallow вимикає весь трафік.
Чи можна закривати сторінки з UTM-мітками?
Не варто. Дублі за параметрами вирішує канонічний адрес, а заборона обходу лише заважає роботові побачити цю вказівку.
Чи обовʼязково вказувати Sitemap?
Не обовʼязково, але корисно: це найпростіший спосіб показати роботам карту сайта, не заходячи в панель вебмайстра. Адресу пишіть повну, з протоколом і доменом.
Ще інструменти
Інструмент показав проблему, а полагодити нема кому?
Ми робимо сайти, магазини й підтримку — від адреси домену до пошти, яка не потрапляє у спам.
Натискаючи кнопку, ви погоджуєтесь з політикою приватності
Харків · Київ
