Question

Подскажите, нужно ли загружать файл (robots.txt) и (sitemap.html) в Гугл  Search Consolе?

Если да то почему

Если нет то почему

Answer 1

1. Роботс нет так как поисковики его автоматически считывают с вашего сайта когда вы добавляете сайт в вебмастер.

2. Карту сайта нужно добавлять чтобы поисковики как можно скорей имели возможность прочесть данные с нее что были добавлены новые материалы и они будут добавлены роботом в очередь на индексацию.

Если не добавлять карту, роботу придется самому ее считывать с файла роботс и это займет больше времени и соответственно это означает что сайт будет дольше индексироваться. Если добавить сайт правильно и сразу же добавить карту сайта в вебмастере, процесс индексации будет быстрей чем без добавления карты.

Comments

а я добавляю страницы сайта сам через (посмотреть как гуглбот -> индексировать), в вебмастере

такие страницы почти сразу попадают в поисковик, но на долго ли это - подскажи?

---

Александр Кузьмин #2,

я так же так добавляю, это легальный метод если вы об этом, страницы не вылетят с индекса если это уникальный некопированный контент

---

Yuri_Geruk,

а почему страницы с таким методом добавления то есть в поисковике то пропадают то опять появляются, правда не все страницы а только некоторые

---

Александр Кузьмин #2,

Это уже зависит от уникальности, если контент не уникальный, поисковик может данный материал просто напросто удалить с выдачи.

---

Yuri_Geruk,

а какая уникальность в процентах должна быть и где проверить её

---

Александр Кузьмин #2,

об уникальности никто вам ничего конкретно не скажет, но точно более 50%

---

Yuri_Geruk,

а где проверять уникальность

---

Александр Кузьмин #2,

можно здесь - http://text.ru/antiplagiat отлично справляется с поставленной задачей

---

Yuri_Geruk,

помогите настроить robots.txt

я хочу чтоб поисковые роботы НЕ находили страницы сайта которые я НЕ добавляю через (посмотреть как гуглбот -> индексировать), в вебмастере гугла.

тоесть хочу чтоб были в поисковике только те страницы которые я сам добавляю через (посмотреть как гуглбот -> индексировать), в вебмастере гугла

вот сайт http://films-hd.at.ua/

вот robots.txt

---

Александр Кузьмин #2,

увы, так как вы хотите не получится, поисковики будут индексировать все что не запрещено в роботсе, а не то, что вы добавите для гугл бота