Question

как правильно закрыть категории от индекса? но что бы добавленные материалы на сайте попадали в индекс

материалы выводятся на главной странице сайта и в категориях, в категориях материалы повторяются, потому что выбираю нсколько категорий к материалу. категории неуникальные.

 

может просто <meta name="robots" content="noindex, follow"> 

?

Answer 1

Если у вас материал входит в несколько категорий - это не повод закрывать категории отиндексации. То вы придумали и вам насоветовали может закрыть от индексации все. Закрывая каталог от индексации вы закрывает и материалы

Лучше забыть про идею закрытия каталогов через роботс. Даже, если у вас категории не уникальные как вы говорите, они склеятся на физические и все.

Comments

но всё же есть какой-то способ?
может с помощью <meta name="robots" content="noindex, follow"> ?

---

нету способов с блокировками и запретами. пользуйтесь каноникалом, если сильно переживаете. можно нагородить несколько этажей условий и прописать каноникал

---

каноникал используется в материалах...
в разделе и категориях повторяются все материалы. продвигать разделы и категории пока что не буду. поэтому не знаю как лучше поступить. если же просто оставить, то все категории и раздел просто проиндексируется, а также дубли..

---

Каноникал будет основным для ботов, если есть повторы в категориях и разделал то просто смените описание их.

---

какое описание, вы о чём?

---

о том, что вы не дали ссылку на сайт. если нет описания в категориях, то проблем не будет. оставьте как есть

Answer 2

Чтобы закрыть категории, одной глобальной директивы для этого нет. Для каждой категории нужно прописывать вручную.

Как пример, есть у нас категория - http://uwopross.ucoz.ru/news/test/1-0-1

Для запрета индексации в роботс пропишем:

Disallow: /news/test/

Comments

просто категорий много.. придется засорять роботс. есть ли другие варианты?

---

пока другого варианта нет, только так

---

а целый раздел категорий можно закрыть?

---

Да, можно. Для примера есть у нас раздел - http://uwopross.ucoz.ru/publ/pervyj/1 внутри которого еще есть категории, чтобы скрыть раздел и все содержимое пишем в роботс:
Disallow: /publ/pervyj/*

---

в этом случает закрываются и сами материалы... как избежать этого?

---

материал типа http://uwopross.ucoz.ru/publ/pervyj/название//3-3-0-8

---

звездочку в конце удалите то есть:
Disallow: /publ/pervyj/

---

все равно материал запрещен правилом /publ/pervyj/

---

в адрес самого материала входит   /publ/pervyj/