Question

Здравствуйте,

как закрыть в robots.txt робота google.com.ua и всех ему подобных с "ua"

поставьте, если не трудно:

User-agent: *
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Comments

объясните, зачем вам закрывать доступ к сайту, вы не хотите чтобы сайт индексировался??

Answer 1

Если вы не хотите чтобы сайт был доступен к индексации и запретить ее для всех роботов, отредактируйте файл роботс, удалите все содержимое и вставьте:

User-agent: * 
Disallow: /

и все, более ничего не нужно, так сайт будет полностью запрещен к индексации для всех роботов.

Comments

Вы не поняли, нужно закрыть индексацию роботов из UA.

Сайт работает только по Ростову на Дону, а в статистике куча заходов и непонятных связей из украины. Возможно ли отделить украинских роботов ))

---

Нет, нельзя, можно запретить от популярных роботов google и яндекс и еще нескольких популярных поисковых систем либо вообще полностью запретить индексацию.

Не обращайте внимание на роботов, сайт посещают, пусть посещают, никакого вреда сайту точно не будет.