Question

Я не хотел открывать сайт (пока что), но случайно снял карантин. Можно ли прописать в robots директиву, чтоб временно закрыть весь сайт от индексации? И вообще: можно ли "прикрыть" снятый с карантина сайт?

Answer 1

Отредактировать файл роботс, удалить все и оставить лишь директиву:

User-agent: *
Disallow: /

хотя не советовал бы этого делать так как после когда нужно будет начать индексацию, вы удалите данную директиву и вернете все что там было до, то робот уже так быстро не начнет индексировать сайт так как он запомнит, что ваш сайт полностью запрещен и придет на несколько недель позже.

Советовал бы походу добавлять уже материалы и пусть по ходу индексируется, конечно решать вам.