Как запретить в robots.txt индексировать все кроме каталога статей?

Голоса: +1
Скажите пожалуйста можно ли в роботе указать индексирование только катлог статей и все а остальное запретить

Вот мой робот

User-agent: Yandex
Disallow: /a/
Disallow: /stat/
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/

User-agent: Google
Disallow: /a/
Disallow: /stat/
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/

Sitemap: http://music-mp3.ucoz.com/sitemap.xml
| Автор: | Категория: Вопросы новичков
Редактирование | | Автор: Андрей Рыбаков

Ответов: 1

Голоса: +1
 
Лучший ответ
  1. Ничего дополнительно прописывать не нужно, стандартный роботс так устроен, что вам ничего лишнего прописывать не нужно, кроме случаев если вы приобрели домен для сайта, тогда придется добавить 1-2 строки.
  2. Вам не стоит беспокоиться, будут индексироваться лишь те модули которые активированы, которые не активированы соответственно индексироваться не будут.
  3. Стоило бы предоставить ссылку на сайт и более детально и информативно все описать.
| Автор:
Выбор ответа лучшим | | Автор: Yuri_Geruk
теперь у меня выводится http://www.beatsmymusic24.ru/panel/?a=publ как это убрать?
> теперь у меня выводится http://www.beatsmymusic24.ru/panel/?a=publ как это убрать?
>> что вы понимаете под убрать, может хотите удалить модуль - Каталог статей?
я имею ввиду под основным меню выходит строчка http://www.beatsmymusic24.ru/panel/?a=publ
Ничего подобного не наблюдаю - http://i.imgur.com/lFFJM5g.png вы скриншот предоставьте, что вы видите, здесь экстрасенсов нет
я все сам разобрася
...