Question

Здравствуйте.   Научите как запретить индексацию отдельно взятой категории в разделе, не нанеся вреда остальным страницам?   И не будет ли запрещена к индексации страница со списком материалов раздела и страница со списком материалов категории?  А если в категории запретить доступ всем кроме друзей, она будет индексироваться? Роботы будут мимо проходит?  Научите.

Answer 1

Например категория: https://ex-hort.ru/skachat-serial-film

• Достаточно в роботс прописать директиву:

Disallow: /skachat-serial-film

запрет будет только на эту категорию, ссылку, материалы внутри категории будут индексироваться, робот ссылки на материалы найдет в карте сайта и просканирует сам сайт.

• Если закрыть доступ группе Гости к категории, робот не увидит ничего и индексироваться ничего не будет. Учитывайте, что если гость ничего не видит, робот так же не увидит и не проиндексирует ничего.