|
Yahoo поддерживает “теги исключения” посредством директивы x-Robot-Tag, сообщил Yahoo! Search Blog. В ближайшее время поисковик собирается полностью обновить алгоритмы индексирования и краулинга. Изменения в работе поисковика станут видны в начале следующей недели
x-Robot-Tag предоставляют веб-мастерам больше контроля над индексированием контента сайта. Если раньше прописать запрещающие теги можно было только в META директивах, теперь система позволит запретить индексирование директивой x-Robot-Tag в заголовке html-документа. Прежде всего, поддержка теперь распространяется на тэги noindex, nofollow, noarchive, nosnippet.
• X-Robots-Tag: NOINDEX –не показывать URL сайта в результатах Yahoo! Search.
• X-Robots-Tag: NOARCHIVE – запрещает кэширование страницы в результатах поиска.
• X-Robots-Tag: NOSNIPPET – не показывать сниппет в результатах поиска.
• X-Robots-Tag: NOFOLLOW – запрещает Yahoo! боту обходить ссылки страницы.
Подобная защита станет полезна владельцам ресурсов с закрытым, защищенным платным контентом. Yahoo! идет по стопам поисковой системы Google. Напомним, Google объявлял о подобных изменениях в протоколе исключения роботов еще в июле этого года. Тогда поисковик внес изменения в стандарте REP (Robots Exclusion Protocol), протоколе исключения роботов, используемый файлами Robots.txt для googlebot. А также представил новые META-теги роботов: unavailable_after и X-Robots-Tag.
|
