ПОДПИСКА НА НОВОСТИ

Рассылка проводится один раз в месяц

* - чтобы отписаться, введите e-mail повторно

 

Продвижение сайтов >Словарь терминов >

Robots.txt

Robots.txt

Robots.txt представляет собой текстовый файл, размещенный в корневой директории сайта, содержащий инструкции для поисковых роботов. Там могут быть прописаны:

  • запреты на проведение индексации отдельных страниц, разделов и файлов, затрудняющих продвижение сайта;
  • промежутки, которые рекомендовано соблюдать между загрузками файлов с сервера;
  • данные о зеркалах домена.

История появления

Создатели поисковых систем заключили 30 июня 1994 года соглашение, согласно которому появился документ "Стандарт исключений для роботов". Он не относится к официальным или корпоративным договорам, а потому никто не гарантирует, что он будет соблюдаться в дальнейшем. Документ обязан своим появлением ситуации, когда индексация проводилась против желания владельцев веб-сайтов, что становилось причиной медленной и неудобной работы пользователей с сервером.

Как создается файл

Robots.txt представляет собой обычный текстовый файл. Заполняется он только в том случае, если продвижение требует установки запретов по индексации отдельных элементов. На один сайт приходится только один подобный файл, размещаемый только в корне – в других местах он будет просто незаметен для роботов, если там не будет специальных метатегов.

Название обязательно должно прописываться строчными латинскими буквами, так как URL чувствителен к регистру. Поисковые роботы продолжают использовать стандартные алгоритмы, если файл robots.txt:

  • не был заранее создан;
  • пустой;
  • заполнен не по установленному стандарту.

Стандарт заполнения

В robots.txt может быть множество записей, каждая из которых размещается с новой строки в определенном формате, не зависящем от регистра – <поле:> <пробел> <значение> <пробел>. В тексте могут содержаться комментарии, написанные в стандартном для UNIX виде, где "#" означает начало комментария, а конец строки его завершает.

В начале файла обязательно размещается строка User-Agent, затем уже прописывается параметр Disallow, запрещающий индексацию разделов.

  • Строка User-Agent означает имя поискового робота, получающего права доступа. Указывать можно как одно имя, так и несколько. Также можно поставить символ "*", тем самым обеспечив доступ всем поисковым ботам.
  • Строка Disallow содержит URL частично или целиком. Прописанный адрес будет запрещен к индексированию.

Что не следует прописывать в файле

В robots.txt никогда не прописывается путь к панели управления и другим инструментам администратора, так как доступ к этому файлу есть и у простых пользователей сайта. При этом роботы сами никогда не посещают страницы, куда нет ссылок, и где требуется логин и пароль.

Горнин Максим   12 Апр `15
Понравилось? Жмите "Like"!
Поделитесь новыми знаниями, хорошей идеей и интересной мыслью с друзьями!

  • vkontakte
Рассчитать стоимость продвижения

Пожалуйста, заполните форму, и мы свяжемся с Вами в удобное для Вас время.

Свяжитесь с нашим менеджером
И он ответит на ваши вопросы абсолютно бесплатно!

Ваше имя*:
Телефон*:

Заявка на обратный звонок
(с 8-00 до 18-00)

Пожалуйста, заполните форму, и мы свяжемся с Вами в удобное для Вас время.