Как скачать сайт с вебархива
- Установка Ruby в Windows
- Как запустить программу Ruby в Windows
- Как скачать сайт с web.archive.org на определенную дату ?
- Как скачать лишь файлы фото, скрипты, стили и шрифты ?
Бывают в жизни любого из администраторов сайтов ситуации, когда необходимо восстановить сайт, который перестал функционировать, а бэкап сайта утерян, или не был сохранен.
Сегодня Мы расскажем как восстановить сайт с web.archive.org и будем мы это делать прямо на компьютере с операционной системой Windows 10.
Наша цель: восстановить оригинальные статьи и картинки, дизайн сайта.
И так, приступим! Данная статья поможет скачать сайт с web.archive.org тем, кому требуется восстановить от пару десятков статей до тысяч.
Установка Ruby в Windows
Ruby достаточно популярный язык на котором написано много полезных программ. В качестве примеров можно привести знаменитые WPScan, WhatWeb, Wayback Machine Downloader и много других.
Установив Ruby в Windows, вы сможете запускать программы, написанные на этом языке, конкретно нас интересует программа Wayback Machine Downloader.
Для установки перейдите на страницу: https://rubyinstaller.org/downloads
Вы увидите много вариантов установщика, которые различаются не только версиями, но и составом скаченных файлов. Исполнимые файлы являются самодостаточными установщиками для Windows, которые включают язык Ruby, окружение выполнения, важную документацию и прочее.
Если вы не знаете, какую версию установить, чтобы начать знакомство с Ruby, то рекомендуется установщик Ruby+Devkit * (x64).
Он предоставляет самое большое число совместимых gem (пакеты Ruby) и устанавливает MSYS2-Devkit вместе с Ruby, благодаря чему gem с C-расширениями могут быть скомпилированы сразу после завершения установки.
Запустите скачанный файл. Соглашаемся с лицензионным соглашением и на следующей странице выставляем все галочки которые там будут предложены, если же будут отмечены по умолчанию, все оставляем как есть и завершаем установку.
Рекомендуется установить MSYS2, поскольку кроме упомянутой выше возможности компилировать пакеты для Ruby, MSYS2 обеспечивает консольное окружение с функциями Linux (примерно как это делает Cygwin, но с дополнительными возможностями).
Оставьте галочку на последнем окне для настройки инструментов разработчика MSYS2 и нажмите Finish.
Далее нам предлагается установка компонентов Ruby:
1 - MSYS2 base installation 2 - MSYS2 system update (optional) 3 - MSYS2 and MINGW development toolchain Which components shall be installed? If unsure press ENTER [1,3]
жмем Enter и устанавливаем все компоненты по умолчанию без выборочной установки.
Всё завершено, для выхода нажмите ENTER
на этом установка Ruby в Windows 10 завершена.
Как запустить программу Ruby в Windows
Начнём с программы Wayback Machine Downloader, которая полностью восстанавливает сайты из веб архива.
Для установки Wayback Machine Downloader открыть командную строку: нажать сочетание клавиш Win-R, набрать cmd и нажать ENTER.
и выполнить команду:
gem install wayback_machine_downloader
Проверяем, что все установилось правильно вызвав справку командой:
wayback_machine_downloader --help
Запустим для проверки работоспособности программы загрузку тестового сайт из вебархива:
wayback_machine_downloader http://raduga-kanevsk.ucoz.ru
Следовательно "http://raduga-kanevsk.ucoz.ru" - адрес восстанавливаемого сайта, меняем на свой!
Программа в процессе выполнения загрузки архива сайта:
Все сайты по которым качается архив сохраняются в папку websites которая находится на компьютере в C:\Users\ваш-профиль — у Вас это: Этот компьютер => Локальный диск (С:) => Пользователи => Имя пользователя => websites.
Как скачать сайт с web.archive.org на определенную дату ?
На сайте web.archive.org вводим адрес нужного сайта и жмем ENTER
В открывшемся календаре выбираем 2 даты - начало и конец поиска.
Копируем адрес ссылки: нас интересует то, что выделено (1-2):
Начало поиска http://web.archive.org/web/20230327194856/http://raduga-kanevsk.ucoz.ru Конец поиска http://web.archive.org/web/20231003201927/http://raduga-kanevsk.ucoz.ru
Запустим в командной строке Windows команду, которая выглядит вот так:
wayback_machine_downloader -f20230327194856 -t20231003201927 raduga-kanevsk.ucoz.ru
Таким образом мы скачаем архив по заданным параметрам. Файлы сайта будут сохранены в папке пользователя на диске C: «websites/raduga-kanevsk.ucoz.ru».
Как скачать лишь файлы фото, скрипты, стили и шрифты ?
Чтобы не качать все подряд, можно задать конкретные параметры фильтра и скачать лишь то, что вам нужно не ожидая скачивания всего сайта с архива.
Пример команды которую нужно выполнить в командной строке:
wayback_machine_downloader https://site.clan.su --only "/\.(gif|jpg|jpeg|png|js|ttf|woff|woff2|eot|svg)$/i" --directory downloaded-backup/
В данной строке с параметрами фильтра вам остается лишь прописать адрес вашего сайта, вставить в командную строку, нажать Enter и дождаться пока все выкачается. Файлы будут скачаны на диск C в папку Пользователи - downloaded-backup.
Теперь остается открыть папку с файлами и смотреть что необходимо и например восстановить файлы которые были случайно удалены с FTP сайта.