Question

Почему страница /shop/compare , /shop/basket ( => /shop/checkout), /shop/checkout и непонятная страница /index/0-1 есть в Гугле,если в robots.txt они заблокированы?

Answer 1

Если файл роботс недавно изменялся, проблемы могут быть из-за этого. Стоит ожидать следующее объявление поисковой базы.

Comments

Страница заказа там прописана изначально,а страницу сравнения нескромный недель назад прописал.Но вот почему так?

---

robots.txt имеет рекомендательный характер. поисковые системы могут проигнорировать директивы. гугл скачивает сайт полностью. это значит в базе есть все страницы и они и будут там дальше. в выдачу по запросу эти страницы не должны попадать, но если вы делаете прямые запросы на эти страницы вы и получаете их в поиске

---

webanet,

Проиндексировано, несмотря на блокировку в файле robots.txt  Дата обнаружения: 25.05.2019  Статус: Предупреждение https://can-am.com.ua/index/3 Это так же?

---

Can-Am BRP,

Вам выше дан ответ. Гугл не сильно обращает внимание на директивы в роботс и индексирует все подряд. Это яндекс более лоялен и принимает их во внимание.