Генератор robots.txt для сайта и магазина
Выберите CMS — подставим служебные разделы, которые обычно закрывают от поиска: корзину, личный кабинет, поиск, сортировки. Отредактируйте список, добавьте карту сайта и скачайте готовый robots.txt.
Файл собирается в вашем браузере. После загрузки на сайт проверьте его в нашем инструменте «robots.txt и sitemap».
Что важно в robots.txt
Что закрывать
Страницы без пользы для поиска: корзину, оформление заказа, личный кабинет, поиск по сайту, сортировки и фильтры. Они плодят дубли и тратят краулинговый бюджет — роботы реже доходят до товаров.
Clean-param
Директива Яндекса: говорит, что параметры вроде utm_source не меняют содержимое страницы. Робот склеит такие адреса с основным и не будет считать их дублями.
Чего не делать
Не закрывайте CSS, JS и картинки — поисковики должны видеть страницу как посетитель. Директивы Host и Crawl-delay больше не работают, а Disallow не удаляет страницу из индекса — для этого нужен noindex.
Карточки товаров — не один файл, а тысячи
Проверим описания, фото и SEO-теги всего каталога, исправим ошибки нейросетью — 30 дней бесплатно, без привязки карты.
Частые вопросы
Если не нашли ответ — напишите нам.
В корне сайта: https://ваш-сайт.ru/robots.txt. Для каждого поддомена — свой файл.
Обычно да: сортировки и сочетания фильтров создают тысячи почти одинаковых страниц. Исключение — посадочные страницы фильтров с ЧПУ, которые вы продвигаете: их не закрывайте.
Это типовой набор для CMS, а не готовое решение: проверьте, что под Disallow не попали разделы с товарами и статьями. После загрузки проверьте файл в Яндекс Вебмастере или в нашем инструменте.
Отметьте «Закрыть весь сайт» — получится Disallow: / для всех роботов. Надёжнее дополнительно закрыть копию паролем: robots.txt — просьба, а не запрет.