Question

Здравствуйте! Подскажите, правильно ли в данный момент настроен robots.txt

сам robots - https://mobilelegends-forum.ru/robots.txt

Интересует настройка для индексирования системами Google и Yandex.

Google ругался на запрет индексирования, поэтому добавил туда роботов сам.

Сайт добавлен в Яндекс Вебмастер и Google Search Console. В гугле уже на 5 странице отображается, в яндексе вообще нет в выдаче.

Answer 1

Лучше удалить записи:

User-agent: Googlebot
Disallow:
User-agent: AdsBot-Google
Disallow:
User-agent: Googlebot-Image
Disallow:

не нужно запрещать мобильному роботу и роботу для индексации фото посещать(индексировать) ваш сайт.

Comments

а в остальном все хорошо? У меня яндекс уже 5й раз не может получить доступ к фавиконке, пробовал разные рекомендации, от яндекса, от юкоза, прописывал в html код, ничего не помогало, быть может вы знаете решение?

---

Enkin Super,

Да, в остальном хорошо! Яндекс не слишком быстро проверяет иконку, нужно ждать.