Question

Доброго времени суток! Зашел в яндекс.вебмастер > страницы в поиске > вкладка исключенные страницы, увидел там удаленную из поиска robots.txt и sitemap.xml.

В роботе комментарий (недостаточно качественная).

В сайтмап (не удалось скачать страницу).

Это плохо или так и должно быть? Роботс должен быть в поиске или нет? Яндекс посещает страницу (судя по статистике юкоз), страници в поиск попадают, уже более 1000. Сайт был добавлен в яндекс 19.05.18.

Answer 1

Так и должно быть. Роботс это файл с правилами индексации страниц сайта и карта с ссылками сайта для индексации, он и карта сайта индексироваться не должны. В поиске эти файлы бьть не должны. Все нормально, так у всех пользователей и не стоит обращать внимание на каждое подобное замечание.

Comments

Спасибо большое! А в случае внесений изминений в роботс, повлияет это на индекс или нет?

---

Eadee,

Смотря что вносить, если будете что-то запрещать индексировать, соответственно роботы обновят данные и будут исполнять правило по запрету которое пропишите. Главное понимать, что пишите, чтобы не сделать еще хуже.

---

Yuri_Geruk,

Прописал хост, сайтмап и дисалоу на одну страницу. Это же не криминал?

---

Eadee,

Нет, все хорошо.