Question

Добый день! Как мне заблокировать индексацию в файле роботс, чтобы страницы с материалом и комментарием не индексировались (при условии что урл имеет вид https://мой-сайт.ру/название материала), а категории и главная индексировалась!

Answer 1

В шаблоне страницы материала и комментариев  в нужных модулях в блок хеад прописать метатег:

<meta name="robots" content="noindex" />

Comments

а через файл роботс? Можно ли сделать так 

User-agent: *
Allow: /категория1/

Allow: /категория2/

Allow: /категория3/

Allow: /категория4/
Disallow: /

---

DirtyDog,

Нельзя, вы хотите запретить не категории, а страницу материала и комментариев, в данной ситуации более корректно тегом делать так как на уровне роботса это не делается.