Question

Здравствуйте! Я нечаянно удалил robots.txt система создала новый. Под спойлером.

 

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml

Как то сильно отличается он от старого. Является ли он правильным?

---

И ещё у меня на сайте не планируется магазин и форум могули я удалить ,

Disallow: /shop/checkout/
Disallow: /shop/user/

Sitemap: /sitemap-forum.xml

---

И ещё "ещё"

Что значат эти строки?

Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Спасибо всем!

 

Answer 1

Ваш нынешний файл robots.txt является правильным, в нём не нужно ничего удалять.

Disallow: /shop/checkout/
Disallow: /shop/user/

Sitemap: /sitemap-forum.xml

Эти строчки не помешают индексировать интернет-магазин и форум, они наоборот указаны для улучшения индексирования.

Указанные вами строчки исключают из индексации "системные" страницы, если эти правила убрать - ПС будут сообщать о дублях страниц.

Оставляйте всё как есть.

Comments

Спасибо за ответ! Прошу Вас мне для понимания нужно уточнить. Мне НЕ нужен форум и магазин.

Я думаю возможно можно убрать строки касаемые форума и магазина что скажите ?

---

Прощу прощения, не заметил отрицания в вопросе, потому так ответил.

Вы можете удалить эти строчки, ничего, в принципе, не изменится.

---

Спасибо, Роман!