Генератор robots.txt онлайн
Заполните форму — генератор создаст правильный robots.txt с директивами User-agent, Disallow, Allow и ссылкой на Sitemap.
User-agent: *
Disallow:
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&fbclid&gclid&yclid&_ga&_ym_uid&_openstat /
Sitemap: https://example.com/sitemap.xmlЧасто задаваемые вопросы
Что такое robots.txt и зачем он нужен?
Robots.txt — текстовый файл в корне сайта, который сообщает поисковым роботам, какие страницы можно и нельзя индексировать. Грамотный robots.txt экономит краулинговый бюджет и защищает служебные страницы от индексации.
Какие страницы обязательно закрывать в robots.txt?
Закрывайте: /admin/, /cart/, /checkout/, /thank-you/, дубли (/?sort=, /?filter=), внутренний поиск (/search/), личные кабинеты, PDF-файлы если не нужна их индексация.
Где разместить robots.txt?
Файл должен находиться строго в корне домена: https://example.com/robots.txt. Файл в поддиректории или поддомене работать не будет.
Нужно ли указывать Sitemap в robots.txt?
Не обязательно, но рекомендуется. Строка Sitemap: https://example.com/sitemap.xml помогает роботу найти карту сайта быстрее, особенно если домен новый.
Нужен полноценный SEO-аудит?
Инструменты помогают с точечными задачами. Для системного роста — запросите бесплатный разбор вашего сайта.