Question

Привет всем специалистам! Вопрос такой: правильно ли я прописал файл robots.txt?

У меня раньше было так:

User-agent: *

Allow: /*?page

Allow: /*?ref=

Disallow: /*?

Disallow: /stat/

Disallow: /index/1

Disallow: /index/3

Disallow: /register

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /index/sub/

Disallow: /panel/

Disallow: /admin/

Disallow: /informer/

Disallow: /secure/

Disallow: /poll/

Disallow: /search/

Disallow: /abnl/

Disallow: /*_escaped_fragment_=

Disallow: /*-*-*-*-987$

Disallow: /shop/order/

Disallow: /shop/printorder/

Disallow: /shop/checkout/

Disallow: /shop/user/

Disallow: /*0-*-0-17$

Disallow: /*-0-0-

 

Sitemap: http://yamaster.my1.ru/sitemap.xml

Sitemap: http://yamaster.my1.ru/sitemap-forum.xml

Host: http:// yamaster.my1.ru /

 

Красным это я вписывал хост.

Теперь после смены домена у меня вот так:

User-agent: *

Allow: /*?page

Allow: /*?ref=

Disallow: /*?

Disallow: /stat/

Disallow: /index/1

Disallow: /index/3

Disallow: /register

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /index/sub/

Disallow: /panel/

Disallow: /admin/

Disallow: /informer/

Disallow: /secure/

Disallow: /poll/

Disallow: /search/

Disallow: /abnl/

Disallow: /*_escaped_fragment_=

Disallow: /*-*-*-*-987$

Disallow: /shop/order/

Disallow: /shop/printorder/

Disallow: /shop/checkout/

Disallow: /shop/user/

Disallow: /*0-*-0-17$

Disallow: /*-0-0-

 

Sitemap: http://yamaster.my1.ru/sitemap.xml

Sitemap: http://yamaster.my1.ru/sitemap-forum.xml

Host: http://ja-hozjain.ru/

Красным - это я сейчас вписал. Но что-то подозреваю где-то есть косяк. Зачем мне это синие? Что с ним делать? Нужно ли оно вообще?

И Disallow – это же исключение, правильно. Не многовато их тут? Или нормально.

Плюс при переезде сайта в яндекс, там стоит две галочки:

1. Добавить HTTPS;
2. Добавить WWW.

Их надо обе включать, чтобы сайт индексировался и через хттпс и WWW? Правильно?

И где менять в гугл этот роботс? Во вкладке «инструменты проверки файла robots.txt ? там заменить и отправить?

Так… вроде все спросил)))

Answer 1

Вот так правильней:

User-agent: *

Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

 

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml

 

Host: ja-hozjain.ru

Comments

webanet,

Не знаю что помогло, может удаление в Роботс

 Host: http//www.ja-hozjain.ru/ вот этого красного, может пересохранение через старую панель( я так делал, но через новою)

Но теперь и Яндекс и Гугл, файл Роботс видит. Яндекс говорит вот что :

Видит роботс - https://prntscr.com/grmfs5

Идет обработка ( я так понял на 2 недели) - https://prntscr.com/grmf7q

Гугл тоже стал видеть файл Роботс и при попытке переезда, пишет вот что - https://prntscr.com/grmhgh

И в Гугл не видит Sitemap от нового домена. вот что пишет - https://prntscr.com/grmi7h

блин... что у меня за проблема с этими комментариями - не грузяться картинки, ни по ссылки, ни с компьютера? Приходиться ссылки на скрины давать. Прям десткая болезнь какая-то у меня.)))

---

вы сделали то что я просила? а именно

панель управления - настройки - в самом низу переключитесь на старую панель управления и сохраните. далее панель управления (старая) - настройки - общие настройки - проверьте будет ли стоять галка на Разрешить индексацию системного поддомена - если галка стоит снимите её и сохраните. после сохранения поставьте снова галку на эту функцию и сохраните.

 гугл не принимает карту сайта, потому что вы неправильно добавили сайт в гугл. вы добавили с www, а настроен сайт на показ без www. вот ваша детская болезнь самая страшная. не трогайте настройки. сейчас без www и пусть будет без www. добавьте сайт в гугл без www и пройдет ваша карта сайта. внимательней надо быть

ещё раз дублирую свой вопрос. вы сделали то что я сказала, а именно

панель управления - настройки - в самом низу переключитесь на старую панель управления и сохраните. далее панель управления (старая) - настройки - общие настройки - проверьте будет ли стоять галка на Разрешить индексацию системного поддомена - если галка стоит снимите её и сохраните. после сохранения поставьте снова галку на эту функцию и сохраните.

это очень важно

---

webanet,

Да я сделал.)) перешел на старую, снял голочку, сохранил. Поставил голочку, сохранил. 

Я же говорю не пойму что помогло, толи перезапись роботс( удаление htpps/www) толи это пересохранение. 

Передобавил сайт в гугл без WWW все равно выдает следующие:

https://prntscr.com/grn10g

https://prntscr.com/grn192

---

вот тут вы добавили карту форума? https://prnt.sc/grn192  далее просто добавьте sitemap.xml в поле добавления карты

---

webanet,

Блин... это оказывается надо было просто к той ссылке добавить окончание? (sitemap.xml)

А я целиком вставлял...)))) 

АААААААААААААААААААААА    УРА, УРА УРА  ))))

Отправлено

Запрос на перенос сайта успешно выполнен.
Если запрос был отправлен по ошибке, вы можете его отозвать

Спасибо! До завтра!  ))))))))))

Скоро в бан попаду из-за своей назойливости))))