Бесплатные инструменты · без регистрации

Проверка robots.txt
и карты сайта sitemap.xml

Прочитаем robots.txt и карту сайта, посчитаем адреса и проверим 10 случайных: отвечают ли они 200 и не закрыты ли от индексации. Найдём сайт, случайно закрытый директивой Disallow: /.

Главная›Инструменты›robots.txt и sitemap

// Проверка

Проверить сайт

Достаточно адреса главной страницы.

Карту ищем в директиве Sitemap, иначе — по адресу /sitemap.xml. Сжатые карты .gz тоже читаем.

// Что проверяем

Два файла, от которых зависит индексация

Одна строка в robots.txt может убрать из поиска весь магазин.

robots.txtЕсть ли файл, не отдаётся ли HTML вместо него, не закрыт ли сайт целиком, указана ли карта сайта.
Карта сайтаЧитается ли XML, сколько адресов, есть ли даты lastmod, нет ли больше 50 000 адресов в одном файле.
Чистота картыАдреса с чужого домена или с http, неработающие страницы и закрытые в robots.txt — по выборке из 10 случайных.

Проверяйте весь каталог автоматически

30 дней бесплатно, без привязки карты

Попробовать бесплатно

// FAQ

Частые вопросы

Если не нашли ответ — напишите нам.

Нужна ли директива Host?

Нет, Яндекс перестал её учитывать: главное зеркало задаётся 301-редиректом. Проверить склейку зеркал можно в проверке редиректов.

Почему в карте сайта не все адреса проверены?

Мы берём 10 случайных адресов, чтобы проверка шла секунды. Полную проверку всех страниц делаем в рамках технического аудита.

Это правда бесплатно?

Да. Регистрация не нужна, карта не нужна. Ограничение одно — несколько проверок в минуту с одного адреса, чтобы сервис не перегружали боты.

Вы сохраняете то, что я проверяю?

Сохраняем только адрес и итоговую оценку — чтобы видеть, какие сайты не получается проверить, и чинить инструмент. Содержимое страниц и фидов не храним.