SEO Генератор

Генератор robots.txt

Визуальный конструктор с готовыми шаблонами

Шаблоны

robots.txt

User-agent: *
Allow: /

robots.txt: создание правильного файла

Базовые принципы

robots.txt управляет сканированием сайта: он говорит роботам, куда не нужно ходить, экономя краулинговый бюджет для важных страниц. Генератор собирает файл из готовых блоков и типовых шаблонов под популярные CMS.

Обязательный минимум: секция User-agent: *, закрытые служебные разделы и директива Sitemap с полным адресом карты сайта.

Ошибки, которых стоит избегать

Не используйте robots.txt для «удаления» страниц из индекса — для этого есть noindex. Не закрывайте статику (CSS, JS, изображения): без неё поисковик не сможет корректно отрендерить страницу.

После публикации проверьте файл нашим инструментом проверки robots.txt и в панелях вебмастеров — Яндекс и Google покажут, как они интерпретируют ваши правила.

Часто задаваемые вопросы

Куда загружать файл robots.txt?+

Строго в корень сайта: файл должен открываться по адресу вашсайт.ru/robots.txt. В подпапках роботы его не найдут.

Что закрывать в robots.txt интернет-магазина?+

Обычно закрывают корзину, оформление заказа, личный кабинет, результаты поиска, страницы сортировок и фильтров с параметрами (или обрабатывают их через Clean-param для Яндекса).

Нужны ли отдельные правила для Яндекса и Google?+

Чаще всего достаточно общей секции User-agent: *. Отдельная секция для Yandex нужна, если используете специфичные директивы — например, Clean-param, которую Google не поддерживает.

Может ли robots.txt навредить сайту?+

Да, при ошибке: случайный Disallow: / закроет весь сайт от сканирования, а закрытие CSS/JS ухудшит оценку страниц поисковиками. Всегда проверяйте сгенерированный файл перед загрузкой.