Question

прочла на форуме ктонановенького о том, что файл robot.txt является мощнейшим инструментом оптимизации, так как помогает запретить индексирования на сайте того, что не содержит основного контента (исключает файлы движка, дубли контента и т.п.). Так ли это на данный момент? или информация по данному файлу уже является устаревшей?  и второй вопрос: где я могу посмотреть свой файл robot.txt?

Answer 1

Вы сами не понимаете, что читаете о роботсе, вы прочли информацию по сторонней CMS и соединяете это с Юкоз, это делать не разумно. Файл роботс вы можете найти по ссылке http://spoolka.ru/robots.txt

Comments

да, правильно говорите. Вообще непонятного море всего. Мне важно было знать, есть ли у меня этот робот тхт. потому что пишут, что он не всегда есть. и если есть, то бывает, что не правильно написан.  в общем, мой файл роботс тхт написан таким образом, чтобы максимально оптимизировать мой сайт? так это или нет?

---

Юлия Гелемеева,

Да, для каждого сайта прописывается стандартный роботс, максимально обновленный с всеми актуальными директивами, что не требует вашего вмешательства от которого может быть лишь хуже когда пользователь не понимает что делает и в итоге потом возникают последствия в виде сотен ошибок в поисковиках.