Правильный robots.txt для Яндекса
Опубликовано: 01.05.2012г.
В предыдущей публикации был рассмотрен синтаксис и общие правила настройки robots.txt, однако, как показывает практика, далеко не все владельцы сайта знают, как создать "правильный" robots.txt на свой сайт для Яндекса. Ведь именно Яндекс является поисковой системой №1 в России уже более 10 лет. Его доля в последние годы не менее 60% от общего доли поискового трафика создаваемого русскоязычными пользователями России и стран ближнего зарубежья.
Для корректного создания robots.txt необходимо знать не только всю структуру собственного сайта, но и особенности CMS, на которой работает сайт.
Есть несколько общих правил. В поисковом индексе НЕ должно быть таких страниц, как:
Случайно генерируемые CMS страницы сайта без контента или с дублями, как полными, так и частичными
Классическим примером таких страниц, являются версии страниц сайта для печати, pdf версии, страницы пагинации (разбивки контента на отдельные страницы), аннотации.
В случае нахождения таких страниц в индексе, необходимо их запретить в robots.txt.
Пример: Сайт, созданный на Joomla с помощью сторонних компонентов (дополнительных расширений для увеличения функциональности), очень часто генерирует полные копии страниц при прямых запросах к компоненту в разделе сайта /component/ и версии страниц для печати с добавлением параметра ?tmpl=component&print=1 к оригинальному адресу страницы сайта.
В таком случае, правильный robots.txt для Joomla будет выглядеть так:
User-Agent: *
Disallow: /component/
Disallow: *?tmpl=component&print=1
User-Agent: Yandex
Disallow: /component/
Disallow: *?tmpl=component&print=1
Host: site.ru
Примечание: настоятельно не рекомендуется оставлять оригинальные robots.txt от CMS, поскольку по типовому содержанию файлов robots.txt осуществляется поиск сайтов на конкретных CMS с известными уязвимостями вирусами и хакерами для взлома.
Страницы, содержащие конфиденциальную информацию
К таким страницам относятся все страницы (файлы), которые содержат личную информацию о пользователях, данные о товарах и ценах не для общего пользования. Особенно такая проблема может быть актуальной, если сайт используется для автоматической генерации pdf счетов на оплату, систем оплаты, извещений или обмена сообщениями между пользователями.
Пример: Многие интернет-магазины имеют функцию генерации pdf счета для клиента при заказе с последующей отправкой этого счета по email. В случае отсутствия запрета на индексацию pdf файлов в разделе /files/ на сайте велика вероятность попадания данных счетов в публичный доступ.
Если в конкретном случае известна директория (раздел) сайта, где хранятся pdf файлы, то можно запретить весь раздел:
User-Agent: *
Disallow: /files/
User-Agent: Yandex
Disallow: /files/
Host: site.ru
или запретить индексацию pdf файлов из данного раздела:
User-Agent: *
Disallow: /files/*.pdf$
User-Agent: Yandex
Disallow: /files/*.pdf$
Host: site.ru
Страницы, ошибочно генерируемые CMS
Данная проблема особенно актуальна при использовании бесплатных CMS и дополнительных SEF компонентов для создания ЧПУ урлов (человекопонятным адресом страниц). В этом случае, как правило при обходе поисковым роботом сайта данная страница генерируется под стандартным (не ЧПУ) адресом и ЧПУ урлом, созданным компонентом.
Пример: Для запрета индексации страниц под оригинальными не ЧПУ урлами на сайте, созданном на CMS Joomla, robots.txt будет таким:
User-Agent: *
Disallow: /index.php
User-Agent: Yandex
Disallow: /index.php
Host: site.ru
Страницы с не релевантным тематике сайта контентом
К таким страницам могут относится:
- страницы с дополнительной информацией, не касающейся собственно товаров и услуг компании;
- страницы с информацией справочного вида, как FAQ, типовые договора, лицензии, фотогалереи;
- страницы с рекламой и ссылками на другие, в т.ч. партнерские сайты;
- страницы форума, если таковой на сайте есть.
Запрет страниц с не тематическим контентом - это сложная работа, требующего глубокого анализа статистических данных из счетчика Яндекс Метрика и статистики поисковых запросов Яндекс Вордстат.
Решение о запрете таких страниц должно приниматься исключительно только профессиональным специалистом на основе вырабатаной стратегии продвижения сайта по семантическому ядру ключевых слов и словосочетаний.
Пример: на сайте есть раздел FAQ, в котором пользователи имеют возможность задавать вопросы, касаемо приобретения товаров, их цены и наличия. В силу того, что этот раздел постоянно обновляется и растет в объеме, он становится более релевантен с точки зрения поисковой системы ключевым словам и запросам, чем раздел с каталогом продукции, но в силу того, что информация, которую пользователь читает, уже может быть неактуальна, необходимо, чтобы в поисковой выдаче присутствовали только страницы с товарами и услугами, т.е. необходимо справочный раздел /faq/ закрыть от индексации:
User-Agent: *
Disallow: /faq/
User-Agent: Yandex
Disallow: /faq/
Host: site.ru
Примечание: Несмотря на то, что поисковые системы используют схожие алгоритмы для ранжирования сайтов, рекомендуется для основных поисковых систем в Рунете Яндекса и Google использовать отдельные директивы с учетом особенности работы каждой поисковой системы при закрытии от индексации страниц с не релевантным тематике сайта контентом.
