Question

Привет на днях получилось вот такое сообщение в Инструменты для вебмастеров от Google.

http://faq-seo.at.ua/load/0-0-0-57-20    URL restricted by robots.txt    2015-05-18
http://faq-seo.at.ua/dir/8-1-0-5    URL restricted by robots.txt    2015-05-18
http://faq-seo.at.ua/forum/2-5-1    URL restricted by robots.txt    2015-05-18
http://faq-seo.at.ua/forum/4-10-1    URL restricted by robots.txt    2015-05-18
http://faq-seo.at.ua/forum/5-13-1    URL restricted by robots.txt    2015-05-18
http://faq-seo.at.ua/forum/9-16-1    URL restricted by robots.txt    2015-05-18
http://faq-seo.at.ua/index/0-4    URL restricted by robots.txt    2015-05-18
http://faq-seo.at.ua/load/40-1-0-78    URL restricted by robots.txt    2015-05-18

Не подскажите в чем дело?Стоит это исправлять,или не обращать внимание?

Answer 1

Это все страницы(материалов пользователя, ссылки на последнее сообщение форума и страницы добавления материалов). То есть все это дубли, что соответственно не должно индексироваться.

Причин для беспокойства нет, в системном роботсе все эти запреты прописаны и блокируется то, что должно.

Comments

спасибо за ответ,не мог раньше ответить проблемы со светом))

Answer 2

Адрес станицы запрещён для индексации в robots.txt 2015-05-18

Еслисами написали такие Disallow, если сами написали такие запреты в файле, вам и решать что делать .... исправлять или не обращать внимание ....

Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-