Новые правила обработки директив Allow и Disallow в файлах robots.txt

Автор: Администратор
Дата публикации: 02 ноября 2012 года
Раздел: Статьи для WEB-мастера
Allow Disallow Yandex, robots.txt

9 марта 2012 года поисковая система Yandex уведомила о том, что правила обработки директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса, были изменены.

По новым правилам, если страница Вашего сайта подпадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' учитываться не будет.

Если на Вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом Вам поможет форма проверки robots.txt поисковой системы Яндекс.

Fatal error: Call to a member function return_links() on a non-object in /var/www/zoleg9992/data/www/e2epro.com/page/footer.php on line 42