Question

Сайт пропал из выдачи гугл. Контента на нём не много, но достаточно для существования как визитки компании.

При поиске сайта в гугле site:invascooter.3dn.ru/

выдаёт странную приписку в конце результатов поиска: Контент, предположительно изображающий жестокое обращение с детьми, удален со страницы. Сообщить о нарушении

предполагаю что конкурентом были сгенерированы ложные ссылки на сайт и размещены на  других ресурсах по негативным запросам (типа жестокого обращения и т.д).

Причина подозрений в том, что сервер юкоз возвращает поисковику ответ 200 вмместо ответа 404 на не существующие урлы типа:

http://invascooter.3dn.ru/load/koljaski_ehlektricheskie/otto_bock/otto_vosk_a200/нш889щщ9щзх--х-х-

При обычном переходе по данной ссылке выдаётся стандартное окно 404 а исходный код страныицы это подтверждает, но анализ отклика сервера даёт ответ 200.

Анализ ответа сервера делал здесь: http://mainspy.ru/otvet_servera

Таким образом сайт не защищён. Поисковик может индексировать всякий бред сгенерированый злоумышлеником и размещённый в интернет как ссылка на мой сайт.

Как сделать чтоб вместо ответа 200 поисковику приходил ответ 404 на не существующие страницы?

 

---

Answer 1

Прежде всего не стоит волноваться раньше времени, если бы Google что-то заблокировал на вашем сайте, вы это сможете увидеть в вебмастере.

Перейдите по ссылке - https://www.google.com/webmasters/tools/security-issues?hl=ru далее выберите ваш сайт, если сообщений никаких нет, значит у вашему сайту никаких санкций не было применено.

К тому же ваш сайт еще не проиндексирован вовсе, более вероятно, что сообщение гугла относится к доменной зоне 3dn.ru  а не конкретно к вашему сайту.

Если страница отдает ответ 404, то соответственно поисковиками она не индексируется, а если и была проиндексирован когда работала, после была удалена, со временем такие страницы вылетают с поиска и нет причин для беспокойства.

Делать преждевременные выводы на основе проверки онлайн сканера http://mainspy.ru/otvet_servera не стоит.

Comments

Да нет.. волноваться есть о чём. Сайт уже давно присутствовал в выдаче. А по основным запросам на яндексе он и до сих пор находится в топе. В понедельник он пропал из гугла совсем.

Критических замечаний в вебмастере нет. Только о наличии страниц заблокированых в роботе. Робот стандартный. Ничего там не менял. А то что мы визуально видим 404 страницу - это роботу гугла не важно. Его интересует отклик сервера а сервер даёт команду что со страницей всё хорошо и её можно индексировать. Т.е. отклик 200 проходит на длюбую билеберду после слеша. Так можно разместить подобные ссылки на порносайтах с неблагоприятными анкорами. После генерирования пару тыщ таких ссылк сайт идёт в Баню.

Похоже с моим это и произошло. Буду выходить из ситуации покупкой нового домена. Но на будущих сайтах хочу знать как устранить подобную проблему?

---

Vladimir Majula,

Перейдите в заблокированные и предоставьте скриншот урлов страниц которые там заблокированы.

---

http://invascooter.3dn.ru/load/koljaski_ehlektricheskie/meyra_optimus/optimus_1/10-1-0-17

вот один из них таких 16

---

извините выложил не то что вы просили. ошибся...

вот скрин.

---

Vladimir Majula,

Все правильно, в роботсе ссылки с знаком ? блокируются с помощью директивы:

Disallow: /*?

эти ссылки мусор и они блокируются в роботе, у меня других ссылок подобного рода что-то около 4 тыс, но я знаю, что это ненужный мусор который не должен индексироваться.

О домене вы правильно решили, лучше иметь свой домен и быть спокойным, что он не будет заблокирован Google или же в соц-сетях как это часто бывает.

---

С доменом тоже не всё однозначно. Ведь в Яндексе, рамблере, Мейле - здесь меня индекс вполне устраивает.  а в них проиндексирован нынешний домен. Если перееду на другой, то в гугле позиции может и восстановятся но как поведут себя остальные поисковики. Ведь в панели инструментов нужно будет поставить галочку для индексации страниц по новому адресу. Не знаю что делать...

---

Vladimir Majula,

На первый месяц, после того как прикрепите домен, нужно ставить галочку в общих настройках сайта:

Разрешить индексацию системного поддомена

Позволяет поисковым системам индексировать системный поддомен. При наличии 301 редиректа будет произведена склейка системного поддомена с прикреплённым доменом. Советуем включить данную опцию.

после того как склейка произойдет, и сайт проиндексируется по новому домен, можно спокойно отключать данную галочку, все сайта перейдет на новый домен благодаря склейке.

Советовал бы прочесть дополнительно материал http://forum.ucoz.ru/forum/21-38634-1

И да чуть не забыл, после прикрепления домена, открыть файл роботс и в самый низ добавить директиву хостс:

Host: site.ru

вместо site.ru ваш прикрепленный домен, данная директива укажет поисковым системам какой у вас домен является основным.

---

С этим я разберусь. Но сейчас в разработке сайт по мебельной теме - опять конкурентов у заказчика много. Я хочу знать как обезопасить сайт от подобной оказии с ссылками? В других системах люди исправляют ошибку изменение файла .htaccess а на юкозе к нему доступа нет. Чтоб было понятно о чём я говорю, вот ссылка на подобное разбирательство: http://searchengines.guru/showthread.php?t=144346

---

Vladimir Majula,

Ответ 200, значит то, что сервер где расположен ваш сайт доступен, в том случае если был бы недоступен получили бы другой ответ, 200 будет всегда когда сервер работает даже в том случае если пропишете ссылку вида - http://invascooter.3dn.ru/ррррррррррррррррррррррррррррррррр на самом деле таких ссылок нет и робот их не обнаружит.

Проблему можно придумать на пустом месте, но на самом деле ее нет.

---

Ясно. Спасибо за ответы!

---

Мне тоже показалось что тема закрыта. Ан нет... В том и проблема что урлы юкоза откликаются на 200 при любой абракадабре после слеша.

Проверьте других. Вот пример:

По анализу отклика на запрос https://reg.2domains.ru/ выдаётся код 303 т.е. идёт перенаправление.

Добавляем абракадабру после слеша https://reg.2domains.ru/t6yhuiu77u - вуаля - отклик 404

А то по вашему получается что сервис анализа отклика вообще невозможно заставить возвратить такой код по юкоз сайту

Ввожу для анализа http://invascooter.3dn.ru/load - 200

Ввожу для анализа http://invascooter.3dn.ru/loa - тоже 200

Проблема не высосана с пальца - она есть. Как её решить для юкоз?

Например так, как она решена для сайта на которм мы сейчас ощаемся:

http://www.ucoz.ru/u7jiui8 - код 404

http://www.ucoz.ru/ - код 200

Answer 2

Ваша проблема не из-за ответа сервера. Ваша проблема из-за поддомена 3dn.ru. Чтобы решить проблему вам надо прикрепить домен. Инструкция по прикреплению тут http://forum.ucoz.ru/forum/50-28494-1

Comments

Проблема не в домене третьего уровня! Вот пример:

Подаём на анализ: http://www.linux.org.ru/forum/talks/10004993 - отклик 200

Подаём на анализ: http://www.linux.org.ru/forum/talks/ан6ррг - отклик 404

Если проблему нельзя решить непосредственно на сайте то она заключается в некоректной настройке сервера юкоз.

Получается что сервер даёт добро поисковику на индексацию пустых и корявых страниц. У меня после создания сайта таких образовалось некоторе количество. Из них проиндексировано более 65 при общем числе страниц в индексе чуть больше 100. Пришлось в ручную исключать их из индекса.

Дело в том, что злоумышленику ничего не стоит наплодить кучу таких ссылок, разместить их где-то с плохими анкорами, а поисковик их посчитает рабочими и зарегистрирует как внешние ссылки на ваш сайт. Так можно убить поисковую выдачу любого конкурента а сам сайт загнать под бан.

Похоже, что с моим именно это и произошло. Т.к. по анализу яндекс мастера на сайт зарегистрировано более 2000 ссылок с точным вхождением

---

Vladimir Majula,

Вам дан окончательный вердикт, Google регулярно блокирует бесплатные домены 3 уровня как от Юкоз так и других конструкторов, именно это и произошло и это не первый инцидент, вы еще вначале правильно сориентировались, покупайте домен второго уровня.

Далее продолжать общение в данной теме бессмыслено, ответ дан и более здесь добавить уже нечего, действуйте.