Question

Обязательно ли нужно в robot txt прописывать эти правила и для чего они?

Disallow: /google
Disallow: /twitter
Disallow: /facebook
Disallow: /yandex
Disallow: /vkontakte

Answer 1

Данные директивы используются, для системы соц-комментирования.

А точнее, данные директивы используются, для блокирования авторизационных страниц через соцсети, пример:

вк: ваш сайт/vkontakte