Создать robots.txt, где запретить доступ к ненужной роботу информации на сайте (тестовые поддомены, серверные логи)

Анна Орлова, копирайтер и редактор SEO контакт
Обновлено: 22.07.2020 в 09:10:01

В файле robots.txt содержатся набор параметров для поисковых роботов. Можно отдельно указать параметры для каждой поисковой системы, или указать данные, которые бы принимали роботы как Google, так и Яндекс.

В данный файл необходимо помещать все технические страницы, файлы, папки, пустые и не нужные страницы, чтобы не захламлять поиск и увеличить доверие поисковой системы к вашему сайту. Файл robots.txt создаётся с применением стандартного синтаксиса, а его директивы понимают роботы всех поисковых систем. Если не создавать этот файл, все страницы сайта будут просканированы без разбора. Это может негативно сказаться на результатах поисковой выдачи.

Для чего еще нужен файл robots.txt:

определение списка индексируемых страниц;
уменьшение нагрузки на сервер при обходе сайта поисковыми роботами;
указание главного зеркала сайта;
указание пути к карте сайта (Sitemap);
определение дополнительных правил обхода страниц через директивы.

Порой, роботы не учитывают директивы из robots.txt. Такое происходит из-за ошибок синтаксиса. Наиболее часто встречаемые:

размер файла превышает 32 КБ для Яндекс и 512 КБ для Google;
в прописанных директивах или ссылках есть опечатки;
формат файла не является текстовым;
файл содержит недопустимые символы;
файл недоступен при запросе к серверу.

Следует проверять корректность и доступ к robots.txt время от времени, а также исследовать его на ошибки в синтаксисе.

Компания "SEO Контакт" - профессионал в сфере поисковой оптимизации сайтов. Мы быстро создадим файл robots.txt, укажем верные правила, запретив доступ роботов к ненужным страницам, например, тестовым поддоменам, техническим доменам, серверным логам, техническим файлам систем управления, категориям и т.п. Таким образом, роботы не обнаружат на сайте дублей страниц и малоинформативных страниц, которые могут препятствовать хорошему ранжированию.