Индексация некоторых страниц в robots.txt

голоса: 0

Здравствуйте. Вопрос вот в чём. 
Запрещено ли стандартным роботоv robots.txt в ucoz индексирование записей участников форума, например страницы

http://www.uchportal.ru/forum/0-0-1-3-49434
http://www.uchportal.ru/forum/0-0-1-42-23326

Если да, то какой строкой стандартного robots это запрещается. Что то я не нашел. 
Если нет, то почему не запрещается и стоит ли такие страницы запрещать к индексации?

Адрес сайта http://www.uchportal.ru
| Автор: | Категория: SEO
Изменение категории | | Автор: Yuri_Geruk

Ответов: 1

голоса: 0
 
Лучший ответ

Запретить можно директивами, добавить в robots:

Disallow: /forum/0-0-1-3-*
Disallow: /forum/0-0-1-42-*

но все же не советовал бы запрещать, вы по этим страницам можете получить дополнительный трафик на сайт, вам решать.

| Автор:
Выбор ответа лучшим | | Автор: Yuri_Geruk
...