Question

Здравствуйте. Правильный ли robots.txt

  User-agent: *  Allow: /*?page  Allow: /*?ref=  Allow: /stat/dspixel  Disallow: /*?  Disallow: /stat/  Disallow: /index/1  Disallow: /index/3  Disallow: /register  Disallow: /index/5  Disallow: /index/7  Disallow: /index/8  Disallow: /index/9  Disallow: /index/sub/  Disallow: /panel/  Disallow: /admin/  Disallow: /informer/  Disallow: /secure/  Disallow: /poll/  Disallow: /search/  Disallow: /abnl/  Disallow: /*_escaped_fragment_=  Disallow: /*-*-*-*-987$  Disallow: /shop/order/  Disallow: /shop/printorder/  Disallow: /shop/checkout/  Disallow: /shop/user/  Disallow: /*0-*-0-17$  Disallow: /*-0-0-    Host: сайт.ucoz.com   Sitemap: http://сайт.ucoz.com/sitemap.xml

Answer 1

Если у вас на сайте неактивен модуль магазин, удалите директивы:

Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/

так же можно удалить устаревшую директиву:

Allow: /stat/dspixel

а так верно, стандартный роботс, только если у вас на сайте не прикреплен свой домен, а используется стандартный, директиву хост использовать не нужно:

Host: сайт.ucoz.com

Comments

Андрей Рыбаков,

да, вот так - Host: www.site.ru

---

Yuri_Geruk,

А это вот так?

 

Sitemap: www........ru/sitemap.xml 
Sitemap: www........ru/sitemap-forum.xml

---

Андрей Рыбаков,

Андрей, мне вам дублировать свой ответ еще раз или вы прочтете мой ответ выше где я предоставлял пример правильного роботса с правильным содержимым, директиву хост вам остается лишь добавить внизу.

---

Yuri_Geruk,

Я понимаю но у меня прикрепленный домен Получается вот так

 

User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

 

Host: www........ru

Sitemap: http://www........ru/sitemap.xml 
Sitemap: http://www........ru/sitemap-forum.xml

 

---

Андрей Рыбаков,

Выделил, что нужно удалить, вот так будет верно, если конечно у вас не планируется работа с модулем Интернет-магазин.

Answer 2

User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://Ваш-сайт/sitemap.xml 
Sitemap: http://Ваш-сайт/sitemap-forum.xml

Вот правельный robots.txt

Больее подробней о robots Вы можете узнать здесь - http://forum.ucoz.ru/forum/21-13447-1