Проверка robots.txt
и карты сайта sitemap.xml
Прочитаем robots.txt и карту сайта, посчитаем адреса и проверим 10 случайных: отвечают ли они 200 и не закрыты ли от индексации. Найдём сайт, случайно закрытый директивой Disallow: /.
// Проверка
Проверить сайт
Достаточно адреса главной страницы.
Фильтры и поиск по сайту в индексе? Технический SEO-аудит покажет мусорные страницы и что закрыть в robots.txt, чтобы поисковик тратил обход на товары.
SEO-аудит// Что проверяем
Два файла, от которых зависит индексация
Одна строка в robots.txt может убрать из поиска весь магазин.
// Инструменты
Другие проверки
Тоже бесплатно и без регистрации.
Проверяйте весь каталог автоматически
30 дней бесплатно, без привязки карты
// FAQ
Частые вопросы
Если не нашли ответ — напишите нам.
Нужна ли директива Host?
Нет, Яндекс перестал её учитывать: главное зеркало задаётся 301-редиректом. Проверить склейку зеркал можно в проверке редиректов.
Почему в карте сайта не все адреса проверены?
Мы берём 10 случайных адресов, чтобы проверка шла секунды. Полную проверку всех страниц делаем в рамках технического аудита.
Это правда бесплатно?
Да. Регистрация не нужна, карта не нужна. Ограничение одно — несколько проверок в минуту с одного адреса, чтобы сервис не перегружали боты.
Вы сохраняете то, что я проверяю?
Сохраняем только адрес и итоговую оценку — чтобы видеть, какие сайты не получается проверить, и чинить инструмент. Содержимое страниц и фидов не храним.
