Question

На ваш взгляд, данный роботс составлен правильно на текущий момент?

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /mchat
Disallow: /search/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
Disallow: /agreement/
Disallow: /stats/
Disallow: /top_users/
Disallow: /adv/
Disallow: /partnership/
Disallow: /abuse/

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml

Host: site.ru

 

Disallow: /agreement/
Disallow: /stats/
Disallow: /top_users/
Disallow: /adv/
Disallow: /partnership/
Disallow: /abuse/

Это лично-созданные страницы, которые в поиске как мне кажется не нужны :)

 

А это, рекомендованное юкозом удалил, т.к. магазином не пользуюсь

Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/

Answer 1

Немного подправил, вот так правильно, внизу директиву хост добавил, вместо site.ru пропишите ваш домен.

Comments

А обязательно? Если учитывтаь то, что кроме главного зеркала сайта больше доменов прикрепленных к нему нет. Ну не считая ваш (.3dn.ru)

---

HaRd,

Если сайт стар, желательно, если домен только был прикреплен к новому пустому сайту, в таком случае не обязательно.

---

Yuri_Geruk,

сайту почти 4 года.

хорошо, спасибо за совет)

---

Yuri_Geruk,

Еще небольшой вопрос.

Стоит ли добавлять эти строчки?

Disallow: /google
Disallow: /twitter
Disallow: /facebook
Disallow: /yandex
Disallow: /vkontakte
Disallow: /ok

 

---

HaRd,

Не стоит, если бы стоило, вы бы эти строки увидели бы в теме на форуме - http://forum.ucoz.ru/forum/21-13447-1 а так нет в них потребности никакой.