Question

Если это запрет индексации страницы материалов новостей и статей, то как это исправить?

Answer 1

приведите примеры списка страниц, которые запрещает данная строчка

Comments

консоль гугл пишет ошибку 8-ми материалов, по причине запрета их индексации в файле роботс (в котором я еще толком не разбираюсь и ничего не менял). Но только что я прочитал, что у них с 9-25 апреля был сбой, из-за которого могут быть проблемы с отчетами индексации. Как понять что в роботс все нормально. От поисковиков мне скрывать нечего. Возможно есть стандарный вариант файла роботс. Подскажите пожалуйста как лучше поступить в этой ситуации?

---

denis bond #2,

Если в вебмастере пишет ошибку ссылаясь на файл роботс, значит все правильно работает так как в роботсе прописаны запреты на индексацию конкретных страниц или разрешения на индексацию. Да, роботы поисковиков ругаются, что им запрещают индексировать, но это нормально так как запрещается то, что не должно индексироваться.  Если ругается на запрет страниц материалов новостей или статей, будьте добры скриншот этой ошибки или проблемы с вашего вебмастера где ругается. Или же полный текст этого сообщения с ссылкой на новость или статью на которую ругается.