• Автор:

    Flesha
  • Добавлено:

    ноя 08, 2011
  • Комментариев:

    0
  • Просмотров:

    2 292

Яндекс: Новые правила обработки директивы Allow файла robots.txt

Яндекс: Новые правила обработки директивы Allow файла robots.txt

Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используется директива 'Allow', о новых правилах её использования читайте далее.

Пример:
User-agent: Yandex    Allow: /catalog    Disallow: /


# запрещает скачивать все, кроме страниц
# находящихся в '/catalog'

Сейчас для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Примеры:
User-agent: Yandex    Allow: /catalog    Disallow: /


# запрещает скачивать все, кроме страниц находящихся в '/catalog'
User-agent: Yandex    Disallow: /    Allow: /catalog


# запрещает скачивать весь сайт

Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы allow и отказаться от учета порядка. Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит Яндексу соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем.

Если на вашем сайте в robots.txt используются директивы allow и disallow, пожалуйста, проверьте их на соответствие новым стандартам. dle
Вернуться
Информация
Посетители, находящиеся в группе Гости, не могут оставлять комментарии к данной публикации.