Бесплатный инструмент
Генератор robots.txt
Соберите корректный robots.txt за секунды: выберите политику, добавьте пути, которые нужно закрыть, укажите краулерам вашу карту сайта и скопируйте результат.
Правила сканирования
robots.txt
Закрытие пути останавливает сканирование, а не индексацию. Чтобы убрать страницу из индекса, откройте её для сканирования и добавьте meta-тег noindex.
FAQ
Вопросы о robots.txt: ответы
Зачем нужен robots.txt?
robots.txt сообщает поисковым краулерам, какие части сайта им можно запрашивать, а какие нет. Он лежит в корне домена (yourdomain.com/robots.txt) и первым делом читается большинством краулеров.
Запрещает ли robots.txt индексацию страницы?
Не надёжно. Disallow запрещает сканирование, но закрытый URL всё равно может попасть в индекс, если на него ссылаются другие сайты. Чтобы убрать страницу из индекса, разрешите её сканирование и добавьте meta-тег noindex.
Нужно ли указывать sitemap в robots.txt?
Да. Строка Sitemap: помогает краулерам найти все ваши URL. Можно указать несколько карт сайта.
Отправляется ли что-нибудь на сервер?
Нет. Файл генерируется в вашем браузере — скопируйте его и загрузите на свой сайт.
Автоматическое SEO-продвижение вашего сайта
SERP Agent проверяет robots.txt, sitemap, индексацию и ещё 30+ технических сигналов, превращает находки в понятные задачи и продвигает сайт в Google и AI-поиске контентом, который сам пишет и публикует.