Поисковой робот

Поисковой робот – это наиболее конкретная составная часть поисковой машины, сканирующая Интернет на предмет наиболее качественной и релевантной информации. У каждого робота есть определенный график обхода веб-страниц, для повторных индексаций и проверки контента на обновления и актуальность; по итогам таких обходов сайты ранжируются в органической выдаче.

Поисковые роботы принадлежат поисковым системам, например, у Google это User Agent — Googlebot, сканирующий содержание страницы для поискового индекса. В зависимости от популярности и универсальности у роботов могут быть различные компетенции, например:

• Googlebot-Mobile — это робот, индексирующий сайты адаптированные для мобильных устройств;
• Google Search Appliance, gsa-crawler — это поисковой робот нового аппаратно-программного комплекса Search Appliance;
• Googlebot-Image — это робот, сканирующий страницы для индекса графических изображений;
• Mediapartners-Google — это робот, сканирующий контент страницы для определения содержания Google AdSense;
• Adsbot-Google — это робот, сканирующий контент для оценки качества целевых страниц Google AdWords.

Оптимизатору следует учитывать некоторые нюансы, связанные с работой поисковых роботов, то есть: если поисковый робот не умеет работать с фреймовыми структурами, то многие структуры сайта с фреймами будут упущены при индексировании.