Изменение User-Agent роботов Яндекса
С июня 2010 г. все роботы Яндекса переходят на новый формат представления в User-Agent. Новая форма представления информации о роботах позволит владельцам интернет-ресурсов понять, какой именно индексирующий робот заходил на сайт, без заглядывания в соответствующий раздел поддержки Яндекса:
| Тип индексирующего робота | Новое название робота | Старое название робота |
| основной индексирующий робот | Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots) | Yandex/1.01.001 (compatible;Win16;I) |
| робот, определяющий зеркала сайтов | Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector; +http://yandex.com/bots) | Yandex/1.01.001 (compatible;Win16;H) |
| индексатор Яндекс.Картинок | Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots) | Yandex/1.01.001 (compatible;Win16;P) |
| индексатор Яндекс.Видео | Mozilla/5.0 (compatible; YandexVideo/3.0; +http://yandex.com/bots) | - |
| робот, индексирующий мультимедийные данные | Mozilla/5.0 (compatible; YandexMedia/3.0; +http://yandex.com/bots) | Yandex/1.03.000 (compatible;Win16;M) |
| робот поиска по блогам, индексирующий комментарии постов | Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +http://yandex.com/bots) | YandexBlog/0.99.101 (compatible;DOS3.30; Mozilla/5.0; B;robot) |
| робот, обращающийся к странице при добавлении ее через форму «Добавить URL» | Mozilla/5.0 (compatible; YandexWebmaster/2.0; +http://yandex.com/bots) | Yandex/1.03.003 (compatible;Win16;D) |
| робот, индексирующий пиктограммы сайтов (favicons) | Mozilla/5.0 (compatible; YandexFavicons/1.0; +http://yandex.com/bots) | Yandex/1.02.000 (compatible; Win16;F) |
| робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса | Mozilla/5.0 (compatible; YandexDirect/3.0; +http://yandex.com/bots) | YaDirectBot/1.0 (compatible; Win16; I) |
| «простукивалка» Яндекс.Директа | Mozilla/5.0 (compatible; YandexDirect/2.0;Dyatel) | Yandex/2.01.000 (compatible; Win16; Dyatel; D) |
| робот Яндекс.Метрики | Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots) | Direct/2.01.000 (compatible; Win16; Dyatel; D) |
| «простукивалка» Яндекс.Каталога | Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel; +http://yandex.com/bots) | Yandex/2.01.000 (compatible; Win16; Dyatel; C) |
| индексатор Яндекс.Новостей | Mozilla/5.0 (compatible; YandexNews/3.0; +http://yandex.com/bots) | Yandex/2.01.000 (compatible; Win16; Dyatel; N) |
Нововведения связаны с запуском международного поискового сервиса Яндекса yandex.com и необходимостью адаптации поисковых роботов к мировым стандартам наименований user-agent'ов для полноценной индексации иностранных сайтов.
Заметим что информации о том, насколько при этом изменится качество и скорость работы индексирующих роботов, специалисты Яндекса не сообщают. На данный момент для большинства коммерческих сайтов, регулярно обновляющих контент, частота индексации сайта не превышает 4-5 дней. При отсутствии изменений на сайте в течении длительного времени периодичность обхода главной страницы основным индексирующим роботом увеличивается до 2-3 недель.
ул. Академика Шварца
д. 8/3, офис 401
Все права защищены.
сегодня выходной
завтра выходной
послезавтра с 11.00 до 20.00
