Question

как настроить моего робота?

сейчас мой робот выглядит вот так:

User-agent: *
User-agent: Googlebot
User-agent: Yandex
Host: liola-moskva.com
Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*&*
Disallow: /*-0-0-

 

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml

Answer 1

это не нужно

User-agent: Googlebot
User-agent: Yandex

и

Allow: /stat/dspixel

остальное нормально. какие у вас проблемы и зачем вы принялись настраивать robots.txt