Question

Доброго времени суток. Появилась большая проблема. Что с в гугле что в яндексе, резко упали просканированные страницы. Я не так давно убрал с файла робот убрал 

Allow: /*?page

Хотел убрать дубликаты страниц. Буквально вчера резко пропали страницы. 

В гугле: http://pastenow.ru/KH3T

Яндекс: http://pastenow.ru/KH3U

До этого было всё хорошо.

В чем может быть проблема? Подскажите пожалуйста.

Answer 1

Убрав данную директиву - Allow: /*?page все страницы пагинации должны были попасть в исключения и не индексироваться то есть вылететь с индекса, перейдите в исключенные страницы и проверьте сколько у вас их там.

Comments

В яндексе немного добавилось исключение страниц. В гугле ничего не нашел. Но как могла пропасть 5027 страниц из просканированных. Хотя сайт в поиске есть и на странице в гугле, "Статус индексирования" 7 458. Примерное количество и есть в выдаче. Может на сайт фильтр наложили? Помогите пожалуйста, паника....

---

Алексей Козлов,

Если фильтр, с данным вопросом вам стоит писать в поддержку яндекса, перейти по ссылке - https://webmaster.yandex.ua/site/feedback.xml - нужно выбрать сайт, а после тему обращения в левой колонке - "Безопасность сайта". Форма для написания письма откроется при нажатии ссылку "Рекомендации не помогли".

---

Yuri_Geruk,

В тех поддержку написал. А что делать с Гугл? Может действительно это произошло из за удаления Allow: /*?page?

Так как товара на сайта много и само собой много страниц 1,2,3 и т.д.

---

Алексей Козлов,

От части да, может быть, так как страниц пагинации много, в общем, возвращайте данную директиву которую удалили или смотрите сами по своему усмотрению, у вас материалов много и соответственно страниц пагинации так же, если они все вылетели с индекса, будет приличное число.

---

Yuri_Geruk,

Вообщем, на сей момент, файл робот выгялядит так. Надеюсь всё правльно.

User-agent: *
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/order/
Disallow: /shop/printorder/
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-
Host: www.avtomag329km.ru

Sitemap: /sitemap.xml
Sitemap: /sitemap-forum.xml
Sitemap: /sitemap-shop.xml

---

Yuri_Geruk,

А что Вы посоветуете сделать? Как лучше сделать на моем месте?

---

Алексей Козлов,

Конечно же не рекомендуется удалять директиву - Allow: /*?page так как она позволяет роботам без запретов ходить по страницам и индексировать контент, вот вы удалили и часть страниц пагинации вылетела, конечно это не смертельно, я лично для своего блога удалил данную директиву так как от страниц пагинации в индексе нет пользы.

Как я и говорил, решать вам, можете вернуть, а можете и не возвращать все равно роботы смогут индексировать сайт.

---

Yuri_Geruk,

Спасибо большое за ответ. Успокоили меня. Надеюсь это не сильно повлияет на посещяемость?

---

Алексей Козлов,

не должно, это просто как бы директива позволяющая роботам индексировать материалы без перепон, но всеже они все смогут увидеть в карте сайта и это не есть проблемой

---

Yuri_Geruk,

Последний вопрос)))) А почему гугл так себя повел? Из Гугл вебмастер из Проиндексированных страниц оставил только 5, тоесть не самого магазина а страницы опалты доставки и т.д. Остальные просто испрарились?

Извините за назойливость.

---

Алексей Козлов,

где испарились, перейдите в гугл и в поисковой строке вставьте следующий запрос:

site:http://www.avtomag329km.ru/

после увидите 8 тыс 30 страниц в индексе, а вы говорите 5, не там смотрите.

---

Yuri_Geruk,

Тогда получается этому не верить http://pastenow.ru/KH8K

---

Алексей Козлов,

подождите недельку может 2 и данные обновятся, пока на это не обращайте внимания

---

Yuri_Geruk,

Спасибо большое Вам. Очень благодарен.