Question

помогите пожалуйста как мне правильно азполнить robot txt для яндекса, чтобы они индексировали мой сайт.

Answer 1

он приндексировал одну страницу, и пишет что я запретил доступ к сайту как
это исправить

Не надо пытаться это исправить с помощью файла robots.txt. а пишет так, потому что вы или сами добавлили или сайт попал в поиск в то время, когда было на карантине. После входа главной в выдачу надо ждать от двух недель и начнут входить другие страницы. При этом robots.txt трогать не нужно

Answer 2

У вас стоит стандартный robots.txt, который настроен правильно и ничего изменять не нужно, чтобы Яндекс индексировал ваш сайт, т.к. он и так его индексирует.

Файл robots.txt используется, в частности, для того, чтобы запретить к индексации некоторые страницы вашего сайта

Comments

он приндексировал одну страницу, и пишет что я запретил доступ к сайту как
это исправить

---

Disallow: / #  блокирует доступ ко всему вашему сайту.
Disallow: /index # блокирует все страницы которые начинаются с /index. К примеру можно сделать:

Disallow: /admin # - ПУ не будет индексировать

---

Со стандартным robots.txt сайт индексируется наиболее правильно. Он настроен так, чтобы индексировались только страницы с информацией а не все подряд (например, страница входа или регистрации). Таким образом сайты пользователей uCoz быстро индексируются и получают больший приоритет нежели сайты, в которых индексируется весь мусор и ненужные страницы.

Answer 3

Файл Robots.txt создается на вашем сайте системно, при этом вы его не можете увидеть (редактировать/удалять) в ФМ.
Но! Его можно просматривать всем на вашем сайте по адресу: site.ru/robots.txt

Вы можете создать robots.txt на компьютере и залить его в ФМ, при этом будет использоваться ваш robots.txt.

Инструкцию по созданию и настройки robots.txt вы можете прочитать по адресу: http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml