SEO Инструмент

Анализ robots.txt

Проверка синтаксиса, правил индексации и рекомендации по улучшению

Что проверяет инструмент?

Анализ правил

  • • Синтаксис директив
  • • Allow / Disallow правила
  • • Crawl-delay значения
  • • Ссылки на Sitemap
  • • User-Agent директивы

Проверки

  • • Блокировка всего сайта
  • • Блокировка Googlebot
  • • Наличие Sitemap
  • • Блокировка CSS/JS
  • • Размер файла

Отказ от ответственности: Данные получены из публичных источников. Мы не сохраняем проверяемые URL и результаты анализа. Используйте только для законных целей.

robots.txt: как проверить и не потерять трафик

Зачем проверять robots.txt

Одна ошибочная строка в robots.txt может закрыть от индексации весь сайт — классический случай: «Disallow: /», забытый после разработки. Инструмент разбирает файл построчно и подсвечивает опасные и ошибочные директивы.

Проверяются группы User-agent, правила Allow/Disallow, Clean-param, Crawl-delay и ссылки на Sitemap, а также типичные синтаксические ошибки.

Практические рекомендации

Закрывайте от сканирования служебные разделы: корзину, личный кабинет, результаты поиска по сайту, страницы с параметрами сортировки. Не закрывайте CSS и JS — поисковикам они нужны для корректного рендеринга.

После изменения файла проверяйте его в Яндекс Вебмастере и Google Search Console: там можно протестировать конкретный URL против текущих правил.

Часто задаваемые вопросы

Что делает файл robots.txt?+

robots.txt указывает поисковым роботам, какие разделы сайта можно сканировать, а какие нет. Файл размещается в корне сайта и читается роботом перед обходом.

Запрет в robots.txt удаляет страницу из индекса?+

Не всегда. Disallow запрещает сканирование, но страница может остаться в индексе Google, если на неё ведут ссылки. Для гарантированного исключения используйте мета-тег noindex или заголовок X-Robots-Tag.

Нужна ли директива Host для Яндекса?+

Нет, Яндекс перестал учитывать Host в 2018 году. Главное зеркало теперь определяется через 301-редиректы и настройки в Яндекс Вебмастере.

Обязательно ли указывать Sitemap в robots.txt?+

Необязательно, но рекомендуется: директива Sitemap помогает роботам быстрее найти карту сайта, особенно если она лежит не по стандартному адресу /sitemap.xml.