Яндекс вводит новую директиву для robots.txt — Clean param

Совсем недавно Яндекс предоставил возможность вебмастерам использовать новую директиву для robots.txt – Clean param. Итак, об этом подробнее.

Если адреса страниц вашего сайта содержат динамические параметры которые не влияют на их содержимое (например идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы Clean-param. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.

Например, на сайте есть страницы:

www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123

Параметр ‘ref=’ используется только для того, чтобы отследить с какого ресурса был сделан запрос и не меняет содержимое, по всем трем адресам будет показана одна и та же страница с книгой ‘book_id=123’. Тогда, если в robots.txt указать Clean-param: ref /some_dir/get_book.pl вот так:

User-agent: Yandex
Disallow:
Clean-param: ref /some_dir/get_book.pl

робот Яндекса сведет все адреса страницы к одному:
www.site.ru/some_dir/get_book.pl?ref=site_1&book_id=123
и будет чаще обходить другие страницы вашего сайта, так как нет необходимости обновлять страницы:
www.site.ru/some_dir/get_book.pl?ref=site_2&book_id=123
www.site.ru/some_dir/get_book.pl?ref=site_3&book_id=123

Синтаксис использования директивы:
Clean-param: p0[&p1&p2&..&pn] [path]
В первом поле через ‘&’ перечисляются параметры, которые нужно не учитывать. Во втором поле указывается префикс пути страниц, для которых нужно применить правило.

Префикс может содержать регулярное выражение в формате, аналогичном robots.txt, но с некоторыми ограничениями: можно использовать только символы A-Za-z0-9.-/*_. При этом * трактуется так же, как в robots.txt. В конец префикса всегда неявно дописывается ‘*’, то есть:
Clean-param: s /forum/showthread.php
означает, что будет сбрасываться параметр s у всех url-ов, начинающихся с /forum/showthread.php. Второе поле указывать необязательно, в этом случае параметр(ы) не будет учитываться для всех адресов страниц сайта. Регистр учитывается. Действует ограничение на длину правила — 500 символов, например:
Clean-param: abc /forum/showthread.php
Clean-param: sid&sort /forumt/*.php
Clean-param: someTrash&otherTrash

Если у вас есть форумы и другие ресурсы для которых эта директива будет актуальна, то обязательно используйте ее. Ведь проблемы с индексацией на таких ресурсах не редкость, и это дает возможность роботу намного лучше индексировать сайт, не обновляя и не загружая постоянно одни и те же страницы с одинаковым контентом.

А если вам нужна дополнительная информация, либо ресурс по созданию robots.txt для сайта, тогда могу посоветовать robots.txt Generator от Google Webmaster Central. Это переводчик на язык robots.txt, который как раз таки поможет тем, у кого создание данного файла вызывает трудности. Теперь чтобы запретить или разрешить индексацию элементов сайта, их нужно просто указать в robots.txt Generator. Правильность созданного вами robots.txt можно будет проверить с помощью анализатора robots.txt — analysis tool. После этого нужно сохранить созданный файл в корневом каталоге сайта.

Соответственно robots.txt Generator создает файлы под Google-бота, но они также понятны многим другим крупным роботам. Следовательно в созданный вами robots.txt нужно будет добавить новую директиву от Яши, как это указано в примере, и все будет ОК 🙂

P.S.

Блог начинающего Астраханского SEOшника, Мишкины Хроники, Пишу о том, что думаю.

———————————————————————————————————

Постовой:

Тема заработка в сети всегда актуальна, а на форуме про интернет заработок как раз таки можно найти актуальные методы и способы.

Если ваш сайт региональной тематики, а этот регион питерский, тогда закажите продвижение сайтов в Санкт-Петербурге, либо веб-аналитику или управление контекстной рекламой.

Все уже наверно знают про новую систему SEOpult. А раз она новая, всегда актуальна инструкция сеопульт по работе с системой.

Можно очень легко и не дорого создать сайт воспользовавшись услугами веб дизайн-студии PoliMax.