Question

Гугл в вебмастере написал: Проиндексировано, несмотря на блокировку в файле robots.txt

И предлагает исправить файл robots.txt.

А прииндексировал совсем уж технические страницы, например: https://hot-music.org/_ld/0/43_Ani_Lorak-we_break.mp3 или https://hot-music.org/_ld/0/42_j-hope_Chicken_.mp3.

Вот вообще не поймузачем индексировал: https://hot-music.org/index/778

 

Что рекомендуется делать в таких случаях? Менять файл robots.txt.как рекомендует гугл? Подскажите.

Answer 1

Ничего не делать, у меня так же отображается в вебмастере гугла. Гугл слишком упертый и ему не слишком важны директивы запретов которые прописаны в роботсе, он их обходит, выкачивает весь сайт несмотря на запреты.