ПОДПИСКА НА НОВОСТИ

Рассылка проводится один раз в месяц

* - чтобы отписаться, введите e-mail повторно

 

Продвижение сайтов >Словарь терминов >

Поисковые роботы

Поисковые системы, чтобы провести сканирование ресурсов, используют специальных роботов, называемых также пауками или краулерами. Это программы, индексирующие страницы, а затем заносящие полученные данные в базу. Во много принцип действия пауков схож с работой браузера: они оценивают содержимое страницы, затем сохраняют ее на выделенном для этого сервере поисковой системы, после чего осуществляют переходы по гиперссылкам, ведущим в другие разделы.

Разработчиками поисковых систем устанавливается ограничение, уменьшающее максимальный объем сканирования текстовых материалов и глубину, на которую робот отправится при осмотре ресурса. Поэтому оптимизация включает в себя грамотное корректирование имеющихся параметров, чтобы они максимально соответствовали особенностям различных краулеров.

Поисковые алгоритмы задают частоту визитов, порядок обхода сайтов, критерии, по которым определяется релевантность материалов задаваемым пользовательским запросам. В случае, когда на продвигаемый ресурс ведет хотя бы одна внешняя ссылка, паук рано или поздно доберется до него и проведет индексацию; скорость работы зависит от веса линка. В противном случае необходимо вручную добавить адрес сайта в базы данных поисковиков.

Виды пауков

Существуют следующие виды поисковых роботов, различающихся в зависимости от поставленных перед ними задач:

  • Национальные, главные. Занимаются сбором информации с определенного национального домена, например, .ru или .be, а также с остальных сайтов, принятых к индексации.

  • Глобальные. Собирают информацию со всех национальных ресурсов.

  • Индексаторы для различных материалов – видео, аудио или изображений.

  • Зеркальщики. Находят и определяют зеркала сайтов.

  • Ссылочные. Занимаются подсчетом числа ссылок на сайте.

  • Подсветчики. Используются для оформления поисковых результатов, в частности, для выделения запрошенных словосочетаний в тексте.

  • Проверяющие. Проверяют, чтобы ресурс находился в базе данных поисковика, и также контролирует число документов, прошедших индексацию.

  • Стукачи, дятлы. Регулярно проверяют, доступен ли сайт / отдельные страницы / документ по ссылке.

  • Шпионы. Ищут ссылки на ресурсы, которые пока не были проиндексированы поисковиками.

  • Смотрители. Они занимаются повторной проверкой полученных результатов и запускаются в ручном режиме.

  • Исследователи. Их цель заключается в отладке поисковых алгоритмов и изучении отдельных ресурсов.

  • Быстрые роботы. Они работают в автоматическом режиме; их основная задача – проверка даты последнего обновления и оперативной индексации новой поступившей информации.

Обозначения

Когда осуществляется продвижение сайта в поисковой системе, определенное содержимое требуется закрыть от поисковых роботов, например, личную переписку пользователей, Корзины, профили и так далее. Для этого создается и заполняется файл robots.txt. В нем в поле User-agent прописываются имена поисковых роботов для каждой системы:

  • Яндекс – Yandex;

  • Rambler – StackRambler;

  • Google – Googlebot;

  • Yahoo – Yahoo!Slurp или просто Slurp;

  • MSN – MSNBot;

  • Alexa – ia_archivier.

Горнин Максим   26 Апр `15
Понравилось? Жмите "Like"!
Поделитесь новыми знаниями, хорошей идеей и интересной мыслью с друзьями!

  • vkontakte
Рассчитать стоимость продвижения

Пожалуйста, заполните форму, и мы свяжемся с Вами в удобное для Вас время.

Свяжитесь с нашим менеджером
И он ответит на ваши вопросы абсолютно бесплатно!

Ваше имя*:
Телефон*:

Заявка на обратный звонок
(с 8-00 до 18-00)

Пожалуйста, заполните форму, и мы свяжемся с Вами в удобное для Вас время.