Question

Привет всем специалистам! Вопрос такой: правильно ли я прописал файл robots.txt?

У меня раньше было так:

User-agent: *

Allow: /*?page

Allow: /*?ref=

Disallow: /*?

Disallow: /stat/

Disallow: /index/1

Disallow: /index/3

Disallow: /register

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /index/sub/

Disallow: /panel/

Disallow: /admin/

Disallow: /informer/

Disallow: /secure/

Disallow: /poll/

Disallow: /search/

Disallow: /abnl/

Disallow: /*_escaped_fragment_=

Disallow: /*-*-*-*-987$

Disallow: /shop/order/

Disallow: /shop/printorder/

Disallow: /shop/checkout/

Disallow: /shop/user/

Disallow: /*0-*-0-17$

Disallow: /*-0-0-

 

Sitemap: http://yamaster.my1.ru/sitemap.xml

Sitemap: http://yamaster.my1.ru/sitemap-forum.xml

Host: http:// yamaster.my1.ru /

 

Красным это я вписывал хост.

Теперь после смены домена у меня вот так:

User-agent: *

Allow: /*?page

Allow: /*?ref=

Disallow: /*?

Disallow: /stat/

Disallow: /index/1

Disallow: /index/3

Disallow: /register

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /index/sub/

Disallow: /panel/

Disallow: /admin/

Disallow: /informer/

Disallow: /secure/

Disallow: /poll/

Disallow: /search/

Disallow: /abnl/

Disallow: /*_escaped_fragment_=

Disallow: /*-*-*-*-987$

Disallow: /shop/order/

Disallow: /shop/printorder/

Disallow: /shop/checkout/

Disallow: /shop/user/

Disallow: /*0-*-0-17$

Disallow: /*-0-0-

 

Sitemap: http://yamaster.my1.ru/sitemap.xml

Sitemap: http://yamaster.my1.ru/sitemap-forum.xml

Host: http://ja-hozjain.ru/

Красным - это я сейчас вписал. Но что-то подозреваю где-то есть косяк. Зачем мне это синие? Что с ним делать? Нужно ли оно вообще?

И Disallow – это же исключение, правильно. Не многовато их тут? Или нормально.

Плюс при переезде сайта в яндекс, там стоит две галочки:

1. Добавить HTTPS;
2. Добавить WWW.

Их надо обе включать, чтобы сайт индексировался и через хттпс и WWW? Правильно?

И где менять в гугл этот роботс? Во вкладке «инструменты проверки файла robots.txt ? там заменить и отправить?

Так… вроде все спросил)))

Answer 1

Вот так правильней:

User-agent: *

Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

 

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml

 

Host: ja-hozjain.ru

Comments

гугл сказал что синтаксис не распознается

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml

может правильнее будет так

 Sitemap: http// ja-hozjain.ru/sitemap.xml
Sitemap: http// ja-hozjain.ru/sitemap-forum.xml

---

конечно. правильный второй вариант. карта сайта прописывается полностью. https и www вам не нужны

---

webanet,

Пробую и так и так - гугл ставит крестики

---

как так вы пробуете? и где гугл ставит крестики

---

webanet,

Пробую так:

 Sitemap: http// ja-hozjain.ru/sitemap.xml
Sitemap: http// ja-hozjain.ru/sitemap-forum.xml

пробую так:

 Sitemap:/ja-hozjain.ru/sitemap.xml
Sitemap:/ja-hozjain.ru/sitemap-forum.xml

пробую так:

 Sitemap: ja-hozjain.ru/sitemap.xml
Sitemap: ja-hozjain.ru/sitemap-forum.xml

Гугл где меняется роботс - в кабинете вебмастера.

---

вы проверяете файл роботса? первый вариант правильный

---

webanet,

А как его проверить. Я там в Гугле ссылку внизу http://ja-hozjain.ru вставил, пишет доступен. Теперь предлагает что-то скачать новый файл роботс (зачем он мне). Я его в кабинете изменил.

Вы там писали про HTTP и WWW говорили они вам не к чему. что вы имели ввиду? то что я про яндекс писал? или в роботс писать не надо...

В общем вот оканчательная версия:

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
 
Sitemap: http//ja-hozjain.ru/sitemap.xml
Sitemap: http//ja-hozjain.ru/sitemap-forum.xml
 
Host: ja-hozjain.ru

---

окончательная версия правильная. после изменений роботс надо дать закачать ибо до обновления роботса в мозге гугла вы будете видеть свои старые ошибки

---

webanet,

Что-то не то. Гугл бот не видет сайт высвечиваестя только это:

User-agent: *
Disallow: /        - отмечено красным и все.

Да и яндекс, ввожу ссылку - http://ja-hozjain.ru/  он пишет "нет рузультов".

Бобик сдох)))

 

 

---

бобик жив, вы скорее всего смотрите инфо по этому адресу http://yamaster.my1.ru/robots.txt кстати обязательно в общих настройках разрешите индексацию по обоим доменам. в гугл и яндекс надо добавить новый адрес http://ja-hozjain.ru/   и там смотреть инфо, а вы смотрите для старого адреса

---

webanet,

Тут выяснил вот что.

если я вставляю вот эту версию:

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://yamaster.my1.ru/sitemap.xml
Sitemap: http://yamaster.my1.ru/sitemap-forum.xml

Host: http://ja-hozjain.ru/

Гугл перестает ругаться, говорит все норм и не появляются крестики. может так и оставить?

---

прочитайте ещё несколько раз то что я написала

вы скорее всего смотрите инфо по этому адресу http://yamaster.my1.ru/robots.txt кстати обязательно в общих настройках разрешите индексацию по обоим доменам. в гугл и яндекс надо добавить новый адрес http://ja-hozjain.ru/   и там смотреть инфо, а вы смотрите для старого адреса

---

webanet,

Я прочитал что вы мне написали. В том то и вопрос: как теперь добавить в яндекс и гугл это все?

И так по порядку. Оставляем этот вариант робост:

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
 
Sitemap: http//ja-hozjain.ru/sitemap.xml
Sitemap: http//ja-hozjain.ru/sitemap-forum.xml
 
Host: ja-hozjain.ru

Далее заходим в яндекс. Что делать? Добавлять новый сайт(ja-hozjain.ru), затем перейти на старый и указать "переезд" на новый. Так?

И в гугл как делать. Тоже добавлять новый ресурс и все по новой?

---

начать с добавления нового адреса и в яндекс и в гугл. но перед этим надо разрешить индексацию обоих доменов как я написала

---

webanet,

Все равно выдает ошибку. Добавил в яндекс , добавил в гугл. но выдает ошибку:

Строки                 Текст                                          Ошибка

26           Sitemap: http//ja-hozjain.ru/sitemap.xml                   Некорректный формат URL файла Sitemap

27           Sitemap: http//ja-hozjain.ru/sitemap-forum.xml          Некорректный формат URL файла Sitemap 

Что-то с этим файлом sitemap  не то. я зашел в него просматреть, я так понял редактировать его нельзя. Но там везде где ссылки встречаются везде пишет старый адрес - yamaster.my1.ru и нигде нет нового  - ja-hozjain.ru 

Может этот сайтмап пожизни остается и его надо оставить как и было, только сменить Host?

Т.е. оставить вот такой вариант Роботс:

User-agent: *
Allow: /*?page
Allow: /*?ref=
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
 
Sitemap: http//yamaster.my1.ru/sitemap.xml
Sitemap: http//yamaster.my1.ru/sitemap-forum.xml
 
Host: https://www.ja-hozjain.ru/

т.к. с измененным Sitemap с новым доменом, везде выдает ошибку.

 

---

Сергей Львов,

В ссылках карт сайта после http пропущено двоеточие у вас так http а должно быть http:

---

Yuri_Geruk,

Ну слава богу... Чертовы двоеточия :::::::::::::::::::))) Я яндексом вроде разобрался( заявка принята, это может занять какое-то время - а сколько времени? Не вкурсе?), сейчас поем, поработаю с гуглом. Поэтому тему пока не закрываю)))

---

Сергей Львов,

Так, всем привет, специалисты! Не соскучились?)))

В общем ситуация такая. Вчера как я уже говорил, добавил в гугли и яндекс сайт с новым доменом.

Яндекс после манипуляций с «переездом» пишет –« заявка принята ожидайте». Сколько не понятно. Да и ладно, дело вот в чем, он уже на старом домене yamaster.my1.ru пишет, что не видит файл роботс, видит только это:

User-agent: *

Disallow: /

 

Тоже говорит и гугл:

Но он пошел еще дальше. Предлагает четыре этапа перехода:

1)Выберите новый сайт из списка

Если ваш сайт отсутствует в списке, добавьте его. Указывайте только корневые домены, например www.example.com или subdomain.example.com.

 

Тут я выбираю новый домен ja-hozjain.ru и с этим проблем нет.

Следующий пункт

 

2) Убедитесь, что переадресация 301 выполняется корректно

Старые URL должны перенаправлять на новый сайт с использованием директив постоянной переадресации 301. ( что вообще это?)

 

 И вот начинаются проблемы. Пишет: Не удалось просканировать ваш сайт. Используйте инструмент Просмотреть как Googlebot, чтобы проверить, доступен ли роботу корневой каталог сайта.

Нажимаем и смотрим, как же его видит Googlebot . Выдает, что заблокировано, проверти файл роботс.

Проверяем файл роботс:

 

User-agent: *

Disallow: /

 

Все больше ничего, как и в яндекс.

Это что получается, переехать невозможно, так как старый домен уже не действует и файл роботс для него уже не существует.

 

Я так понял, переезд возможен, только если ты, параллельно создаешь сайт, наполняешь его контентом, (таким же) и еще при действующем старом сайте, переносишь домен на новый и только после этого закрываешь старый. Правильно?

 

Почему так расписываю по полкам, просто где-то уже встречался такой вопрос и насколько я помню, на него не было внятного ответа. ( не могу найти этот вопрос)

 

В моем случае, я так понял, просто добавить новый сайт(новый домен) и ждать опять тех же 2-3 недели пока по ним появится информация.

 

 Все правильно????

---

Сергей Львов,

• > Яндекс после манипуляций с «переездом» пишет –« заявка принята ожидайте». Сколько не понятно.
• >> От двух недель обычно.  Вам вчера писал, включите индексацию по обеим доменам, а у вас она отключена, пример http://yamaster.my1.ru/robots.txt перейдите в общие настройки http://yamaster.my1.ru/panel/?a=setup почти в самом низу найдите пункт - Разрешить индексацию системного поддомена, вот его отметьте и сохраните изменения.
• > Убедитесь, что переадресация 301 выполняется корректно Старые URL должны перенаправлять на новый сайт с использованием директив постоянной переадресации 301. ( что вообще это?)
• >> С этим все хорошо, перейдя по ссылке http://yamaster.my1.ru/ вас перенаправит на прикрепленный домен, то есть 301 редирект настроен, с этим все хорошо.
• > Нажимаем и смотрим, как же его видит Googlebot . Выдает, что заблокировано, проверти файл роботс.
• >> Ответ на данный вопрос выделил красным выше.

---

Yuri_Geruk,

Зашел в настройки доменов, здесь четыре пункта:

 

1)Автоматически перенаправлять с системного поддомена на прикрепленный домен.( включено)

 

2)Домен  www.ja-hozjain.ru  является приоритетным ( выключено! Наверное, его надо включить?)

 

3)Использовать имя прикрепленного домена для изображений внутри материалов (выключено)

 

4)Разрешить индексацию системного поддомена (включено!) 

Наверное второй пункт надо включить? Так как 4-й "разрешить индексацию системного поддомена включена.

А... и еще забыл спросить. Не могу закрузить Сайтмап - карту сайта на гугл. Он выдает ошибку и не видет его.

---

Сергей Львов,

Проблема в том, что на стандартном домене у вас не использовался пакет платных услуг и на стандартном домене карантин не снят.

---

Yuri_Geruk,

Нет, почему, все было снято и сейчас пишет: Статус индексирования: индексация разрешена

Я зашел в настройки, основные, там не надо менять ничего. 

А то пишет: название сайта "я хоязин" URL вашего сайта: http://yamaster.my1.ru/, разве не должен был тут измениться?

А в панели управления "модули"  уже пишет новый домен: ja-hozjain.ru

---

вы совершенно не читаете то что я пишу. панель управления - настройки - общие настройки - Разрешить индексацию системного поддомена: - поставьте галку и сохраните. если стоит галка на настройке разрешить индексацию системного поддомена - снимаем её - сохраняем, после сохранения ставим галку снова и сохраняем

---

и зачем вы занялись самодеятельностью? вам не нужна и ндексация в яндексе?

исправить это

 Host: http//www.ja-hozjain.ru/

на это

 Host: ja-hozjain.ru

и больше ничего там не трогайте никогда!!!!!!!!!!!!!!!!!!!!

---

webanet,

Ну надо же было как-то домен в поисковики добавить. Вот и добавил. )))Старый то домен с вообще пропал везде, я не думал что столько проблем.   Это хорошо что тестовый сайт, будь он хоть немного раскручен уже бы лил слезы, а так - бог с ним.   Но зато точно знаю, что делать если взбредет в голову, открыть еще один. Эти " бесплатные" конструкторы для этого и созданы, я думаю.   В любом случае, всем большое списибо за терпение! RESPECT   Cейчас новый вопрос буду лепить, если не найду ответа.)))

---

что такое тестовый сайт? войдите в панель управления сайта http://yamaster.my1.ru/ на главной странице статус каранти снят или нет? где адрес основного системного поддомена и был ли к не тестовому сайту прикреплен домен ja-hozjain.ru

---

webanet,

Сайт, на котором учусь работать.

Я сейчас нахожусь в админ панели yamaster.my1.ru карантин я снял с него еще месяц назад.

Статус индексирования: индексация разрешена

в панели управления на " на главной" / модули/ стоит домен уже ja-hozjain.ru

В общем вот скриншоты:

админ панель - https://prntscr.com/grlnn9

 

Настройки - https://prntscr.com/grlo01

https://prntscr.com/grlobz

 

И наконец, прикрепленный домен. https://prntscr.com/grloim 

 

 

 

 

 

 

---

спасибо за скрины. панель управления - настройки - в самом низу переключитесь на старую панель управления и сохраните. далее панель управления (старая) - настройки - общие настройки - проверьте будет ли стоять галка на Разрешить индексацию системного поддомена - если галка стоит снимите её и сохраните. после сохранения поставьте снова галку на эту функцию и сохраните. проделайте это пожалуйста. это важно

---

webanet,

Не знаю что помогло, может удаление в Роботс

 Host: http//www.ja-hozjain.ru/ вот этого красного, может пересохранение через старую панель( я так делал, но через новою)

Но теперь и Яндекс и Гугл, файл Роботс видит. Яндекс говорит вот что :

Видит роботс - https://prntscr.com/grmfs5

Идет обработка ( я так понял на 2 недели) - https://prntscr.com/grmf7q

Гугл тоже стал видеть файл Роботс и при попытке переезда, пишет вот что - https://prntscr.com/grmhgh

И в Гугл не видит Sitemap от нового домена. вот что пишет - https://prntscr.com/grmi7h

блин... что у меня за проблема с этими комментариями - не грузяться картинки, ни по ссылки, ни с компьютера? Приходиться ссылки на скрины давать. Прям десткая болезнь какая-то у меня.)))

---

вы сделали то что я просила? а именно

панель управления - настройки - в самом низу переключитесь на старую панель управления и сохраните. далее панель управления (старая) - настройки - общие настройки - проверьте будет ли стоять галка на Разрешить индексацию системного поддомена - если галка стоит снимите её и сохраните. после сохранения поставьте снова галку на эту функцию и сохраните.

 гугл не принимает карту сайта, потому что вы неправильно добавили сайт в гугл. вы добавили с www, а настроен сайт на показ без www. вот ваша детская болезнь самая страшная. не трогайте настройки. сейчас без www и пусть будет без www. добавьте сайт в гугл без www и пройдет ваша карта сайта. внимательней надо быть

ещё раз дублирую свой вопрос. вы сделали то что я сказала, а именно

панель управления - настройки - в самом низу переключитесь на старую панель управления и сохраните. далее панель управления (старая) - настройки - общие настройки - проверьте будет ли стоять галка на Разрешить индексацию системного поддомена - если галка стоит снимите её и сохраните. после сохранения поставьте снова галку на эту функцию и сохраните.

это очень важно

---

webanet,

Да я сделал.)) перешел на старую, снял голочку, сохранил. Поставил голочку, сохранил. 

Я же говорю не пойму что помогло, толи перезапись роботс( удаление htpps/www) толи это пересохранение. 

Передобавил сайт в гугл без WWW все равно выдает следующие:

https://prntscr.com/grn10g

https://prntscr.com/grn192

---

вот тут вы добавили карту форума? https://prnt.sc/grn192  далее просто добавьте sitemap.xml в поле добавления карты

---

webanet,

Блин... это оказывается надо было просто к той ссылке добавить окончание? (sitemap.xml)

А я целиком вставлял...)))) 

АААААААААААААААААААААА    УРА, УРА УРА  ))))

Отправлено

Запрос на перенос сайта успешно выполнен.
Если запрос был отправлен по ошибке, вы можете его отозвать

Спасибо! До завтра!  ))))))))))

Скоро в бан попаду из-за своей назойливости))))