Question

Вот такое письмо от яндекса вэбмастер мне сейчас пришло. Как правильно выставить эту директиву?

На вашем сайте paranormal-news.ru некоторые страницы с GET-параметрами в URL дублируют содержимое других страниц (без GET-параметров). Например, https://example.com/tovary?from=mainpage дублирует https://example.com/tovary. Из-за их обхода информация о важных для вас страницах может медленнее передаваться в поисковую базу, что может влиять на состояние сайта в поиске.

Вот примеры страниц и дублирующих их страниц с незначащими GET-параметрами:

comments_order:
http://paranormal-news.ru/news/u_muravev_nashli_superrazum/2007-09-12-91
paranormal-news.ru/news/u_muravev_nashli_superrazum/2007-09-12-91?comments_order=asc
comments_order:
http://paranormal-news.ru/news/tirannozavr_vozmozhno_byl_takim_zhe_umnym_kak_i_obezjany/2023-01-11-18479
paranormal-news.ru/news/tirannozavr_vozmozhno_byl_takim_zhe_umnym_kak_i_obezjany/2023-01-11-18479?comments_order=asc
comments_order:
http://paranormal-news.ru/news/chernaja_magija_s_kuricej_i_gvozdjami_ne_vernula_moskvichke_muzha/2014-11-29-10154
paranormal-news.ru/news/chernaja_magija_s_kuricej_i_gvozdjami_ne_vernula_moskvichke_muzha/2014-11-29-10154?comments_order=asc
comments_order:
http://paranormal-news.ru/news/realnye_strashnye_istorii_ot_polzovatelej_reddit_chast_20/2023-03-18-18576
paranormal-news.ru/news/realnye_strashnye_istorii_ot_polzovatelej_reddit_chast_20/2023-03-18-18576?comments_order=desc
comments_order:
http://paranormal-news.ru/blog/okonchatelnoe_i_podrobnoe_predskazanie_na_2015_god_ot_dmitrija_ivanova/2015-01-26-1338
paranormal-news.ru/blog/okonchatelnoe_i_podrobnoe_predskazanie_na_2015_god_ot_dmitrija_ivanova/2015-01-26-1338?comments_order=asc
Если эти страницы действительно являются дублями, рекомендуем использовать директиву Clean-param в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице.

Как оставить в поиске нужную страницу
Добавьте в файл robots.txt директиву Clean-param, чтобы робот не учитывал незначащие GET-параметры в URL. Робот Яндекса, используя эту директиву, не будет много раз обходить повторяющийся контент. Значит, эффективность обхода повысится, а нагрузка на сайт снизится.
Если вы не можете добавить директиву Clean-param, укажите канонический адрес страницы, который будет участвовать в поиске. Это не уменьшит нагрузку на сайт: роботу Яндекса всё равно придётся обойти страницу, чтобы узнать о rel=canonical. Поэтому мы рекомендуем использовать Сlean-param как основной способ.

Answer 1

Добавьте в роботс директиву:

 Disallow: /*?

это решит вопрос.

Comments

Большое спасибо!