Question

Проиндексировано, несмотря на блокировку в файле robots.txt

Дата обнаружения: 31.08.2021 как мне исправить .

У себя в файловом менеджере не нахожу и до этого этой проблемы не было.

Answer 1

Это нормально, роботы индексируют сайт, находят запрет и обходят их, для гугл робота это в рамках норм, он может не обращать внимания на запреты и индексировать все. Яндекс робот более лоялен к запретам, но гугл не такой.

Comments

Дак он вообще выбросил все страницы с поиска или возможно подождать не котрое время?

---

Vadimuss,

Прочтите ваше сообщение о чем вы пишите, вы сообщили лишь о блокировке, вам и дан ответ по блокировке, мы не читаем ваши мысли по всем страницам.