Рассмотрим теги,которые входят в состав Robots.txt :

Disallow: это дистрибутив,который запрещает индексацию определенных страниц.
Allow: это дистрибутив,который разрешает индексацию определенных страниц.
User-agent : Этот тег дает информацию о боте для которого стоят настройки.

Исходя из этого,сразу появляется мысль,а как же создать сам Robots.txt и чтобы он был правильный,вот ответ :

Нельзя просто создать Robots.txt и вставить в него дистрибутивы,уж так построена система,рассмотрим на примере,например,каталог статей.

Запрещаем к индексации :

Disallow: /publ/

Разрешаем индексацию :

Allow: /publ/

Также,можно вписать не только адреса модулей,можно так же вписать определенные страницы сайта или модулей.

Важный момент,дистрибутив Allow должен стоять выше своего оппонента Disallow.

Тег User-agent ставится в самом верху,теперь посмотрим,как его настроить.Если вы хотите,что бы информация была открыта только для бота Яндекса,то ставим его так :

User-agent: Yandex

А если мы хотим,чтобы информация была открыта для просмотра всем роботам,то ставим тег так :

User-agent: *

Далее указываем путь к карте сайта :

Sitemap:http://www.имя.домен/sitemap.xml
Sitemap:http://www.имя.домен/sitemap-forum.xml

Если у вас стоит прикрепленный домен (net.ru,com,ru и др),то даем роботам знать об этом,пример :

Host: www.vesucoz.ru

Именно так,не каких http://.

Вот пример готового Robots.txt для uCoz :

Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

Host: www.vesucoz.ru
Sitemap:http://www.vesucoz.ru/sitemap.xml
Sitemap:http://www.vesucoz.ru/sitemap-forum.xml

В начале создания сайта,у вас автоматически ставится дистрибутив Disallow и обойти его не традиционным методом нельзя,а традиционным можно убрать оплатив базовый пакет,который стоит не более 100 рублей,а после написать в Тех поддержку uCoz с просьбой снять с карантина.

Спасибо за внимание.Если у вас есть вопросы или вам помогла моя статья,то прошу оставлять комментарии.

Автор : Rusqa
Сайт автора : VesuCoz.Ru

http://vesucoz.ru