Как запретить в robots.txt индексировать все кроме каталога статей?

Скажите пожалуйста можно ли в роботе указать индексирование только катлог статей и все а остальное запретить

Вот мой робот

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/

User-agent: Google
Disallow: /a/
Disallow: /stat/
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/

Sitemap: http://music-mp3.ucoz.com/sitemap.xml

22.02.2015 | Автор: Андрей Рыбаков | Категория: Вопросы новичков
Редактирование | 22.02.2015 | Автор: Андрей Рыбаков

Ответов: 1

Лучший ответ

Ничего дополнительно прописывать не нужно, стандартный роботс так устроен, что вам ничего лишнего прописывать не нужно, кроме случаев если вы приобрели домен для сайта, тогда придется добавить 1-2 строки.
Вам не стоит беспокоиться, будут индексироваться лишь те модули которые активированы, которые не активированы соответственно индексироваться не будут.
Стоило бы предоставить ссылку на сайт и более детально и информативно все описать.

22.02.2015 | Автор: Yuri_Geruk

Выбор ответа лучшим | 23.02.2015 | Автор: Yuri_Geruk

Если все запретить, так у вас кроме каталога сайтов нет, что запрещать, в таком случае добавить в роботс директиву:
Disallow: /dir/