Question

Здравствуйте. Такой вопрос. В Search Console мне сообщают о наличии 50 страниц на данный момент, к которым заблокирован доступ в файле robots.txt Перечислю некоторые примеры страниц к которым закрыт доступ:

http://title24.ru/index/1gamepower_ru/0-43825

http://title24.ru/index/9871329_ru/0-45071

http://title24.ru/index/100_stankov_ru/0-42719

http://title24.ru/index/95it_ru/0-43809

http://title24.ru/index/7567thosesquirtgifs_tumblr_com/0-42529

Почему это происходит - разобрался (url данных материалов начинаеться с цифр - /index/7, /index/9, /index/1), все эти разделы заблокированы в файле роботс.тхт. То бишь, сам гугл бот как только видит после /index/(число) наличие этих цифр - отказываеться их индексировать, потому как получает блок в роботсе. 

Не знаю как поступить, либо убрать эти /index/7, /index/9, /index/1, /index/3, /index/5, /index/8 с файла роботс.тхт либо не знаю что другое можно еще сделать....

 

Answer 1

Убирать ничего не стоит. В файле роботс прописаны директивы для блокирования системных страниц и запрета к индексации страниц дублей. То что вам сообщает робот об этом, это правильно так как задача робота поисковиков уведомить вас о том, что есть такие страницы которые заблокированы для индексации в файле роботс. Они запрещены так как они не должны индексироваться так как являются мусором, дублями и системными страницами. Удалять директивы не нужно, не нужно угождать роботу поисковиков открывая ему полный доступ для индексации дублей и мусора, в итоге если такое сделать в поиске появится много мусора из-за которого ваш сайт в дополнение может попасть под фильтры так как сотни / тысячи дублей не есть хорошо. Оставьте все как есть и не стоит удалять ничего с файла роботс, разве что можете удалить:

Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/

у вас модуля магазин нет и это вам не нужно.