Блог Константина

Как скачать сайт целиком в Mac OS?

В конце прошлого года мне нужно было выкачать несколько сайтов, потому что в ручную сохранять текстовую информацию дело очень кропотливое и долгое.

Начал искать соответствующие приложения. Но, как оказалось, этих приложений единицы, к тому же стоят они не мало.

Mac OS UNIX-подобная операционная система, следовательно, можно попробовать выкачать с помощью wget. Но не тут-то было, wget отсутствует в Mac OS. Пошел на поиски wget для Mac OS и вскоре нашел нужный пакет. Ну а дальше установка и работа в консоли.

Устанавливаем wget 3244.

Как скачать сайт в mac os

Переходим на рабочий стол. Вы можете сохранить сайт в другом месте.

Как скачать сайт в mac os

В консоли выполним следующую команду:

wget -r -k -l 1 -p -E -nc http://yandex.ru

Как скачать сайт в mac os

После скачивания на рабочем столе появилась папка www.yandex.ru

Как скачать сайт в mac os

Переходим в папку, щелкаем по файлу index.html и в открывшемся браузере видим локальную копию Яндекса.

Как скачать сайт в mac os

А теперь немного подробнее о параметрах wget.

-r – данный параметр указывает на то, что нужно рекурсивно переходить по ссылкам на скачиваемом сайте.

-k – данный параметр используется для того, чтобы wget преобразовал все ссылки в загруженных файлах для последующего просмотра в автономном режиме.

-l – данный параметр задает максимальную глубину вложенности страниц, которые wget должен скачать. В своем примере я указал 1 (единица), в результате загрузилась только главная страница. Рекомендуется устанавливать данный параметр на значении 5-8. Если установить большее значение, то wget может “зарыться” так глубоко, что скачивание будет идти бесконечно.

-p – данный параметр нужен для того, чтобы загрузить все файлы, которые нужны для корректного отображения страниц (изображения, css, java и т.д.).

-E – данный параметр добавляет к загруженным файлам (страничкам) расширение .html.

-nc – данный параметр исключает перезапись существующих файлов. Это может быть полезно, если сайт не загрузился за раз, либо загрузка была прервана по каким-либо причинам.

Как видите, все очень просто!

Данная публикация была вам полезна?

Помоги автору сайта, расскажи друзьям...

Комментариев: 34
  1. Большое спасибо! Благодаря Вам, смог сохранить необходимый сайт, не понял как все произошло, но задача выполнена, следовал вашим понятным подробным инструкциям. Еще раз Большое Спасибо!

  2. Игорь, пожалуйста! Действительно, все просто и не надо устанавливать дорогие приложения.

  3. Дмитрий | 2015-06-22 в 13:37:09

    просто супер! спасибо хотя я чайник в этом деле просто внимательно прочитал и все сделал как написано скачал сайт который мне нужен! Автор спасибо!

  4. Дмитрий, пожалуйста!

  5. Подскажите пожалуйста, а что делать, если все страницы на сайте прописаны через http:// ? тогда скачивается только index.html, какую глубину бы не устанавливал. и следовательно все данные кроме главной грузятся с сайте донора.

    Заранее благодарю за ответ.

  6. Anton, странно, я уже скачал много сайтов, все страницы начинаются с http. Проблем не возникало. Может не правильно понял ваш вопрос...

  7. Konstantin, наверное не правильно поняли. Не скачиваются страницы, которые в коде прописаны через http://

    Прикрепляю пример в скриншоте:

    http://monosnap.com/image/Zqb8lvdJYHlVSsGYXoy5cThsLMfUev

    Данные файлы не скачаются, так как прописаны через http://, а не просто директориями со слешем в начале.

    Вот когда прописано так, тогда скачиваются:

    /services/third-party/requirejs/2.1.15/require.min.js

  8. Anton, я скачивал сайты с js, но таких проблем не было. Даже не знаю почему у вас так.

  9. -e robots=off заставит wget игнорировать robots.txt

  10. Добрый день!

    Хочу загрузить большой сайт со всей базой товаров. Около 2 миллионов.

    На сайте работает поиск по сайту. Будет ли он работать на моем компьютере по завершению загрузки?

    Сайт весит 2 ТБ.

  11. Здравствуйте, Артур!

    Я сомневаюсь, что такой большой сайт можно будет скачать и ссылки потом будут работать правильно. Но попробовать можно.

  12. тоже Артур) | 2015-12-11 в 01:58:35

    Спасибо! Все круто!

  13. Артур, пожалуйста!

  14. Андрей | 2016-02-02 в 13:13:20

    Спасибо большое! Автор ты просто спаситель!

    Все работает, оперативку не жрет, не глючит, А про скорость я вообще молчу!

    ЭТО ГЕНИАЛЬНО

  15. Андрей, пожалуйста! wink

  16. Спасибо, дорогой друг!!!grin

  17. Мария, пожалуйстаwink

  18. Привет. Скачал, проинсталировал. Куда стала не понятно. Ни чего на рабочем столе нет. Использую El Capitan.

  19. Goood_Luck, привет. Wget нет нив программах, ни на рабочем столе. Вся работа с этим пакетом идет через консоль!

    Начиная со второй картинки все описано (команды), на видео тоже все подробно.

  20. Всё получилось, но к сожалению скачать смог только титульную страничку, несмотря на значение после -l

  21. Goood_Luck, попробуйте так: wget -r -k -l 5 -p -E -nc http://yandex.ru

    Скопируйте эту команду в буфер и вставьте в консоли.

  22. Всё сделал как Ва написали. Вот результат:

    Загружено: 1 файлов, 50K за 0.1s (339 KB/s)

    Встречена неполная или недопустимая многобайтовая последовательность

    Встречена неполная или недопустимая многобайтовая последовательность

    Встречена неполная или недопустимая многобайтовая последовательность

    Встречена неполная или недопустимая многобайтовая последовательность

    Преобразование yandex.ru/index.html... 0-33

    Преобразовано 1 файлов за 0.004 секунд.

  23. Goood_Luck, я не знаю почему у вас скачивается только одна страница. Попробуйте другой терминал, например, скачайте iTerm2 http://iterm2.com/.

  24. ЗАВЕРШЕНО --2016-02-27 23:05:31--

    Общее время: 0.9s

    Загружено: 1 файлов, 50K за 0.1s (337 KB/s)

    Встречена неполная или недопустимая многобайтовая последовательность

    Встречена неполная или недопустимая многобайтовая последовательность

    Преобразование yandex.ru/index.html... 0-33

    Преобразовано 1 файлов за 0.007 секунд.

    13 MacBookPro:Desktop Mac$

  25. Goood_Luck, может быть в Капитане такой способ не работает... Я скачивал сайты на Yosemite.

  26. Александр | 2016-03-07 в 19:12:45

    привет, не скажите возможно ли (и как) при этом скачивать сайт требующий авторизации?

  27. Привет, Александр. Не скажу, не пробовал...

  28. у меня тоже скачивает не на рабочий стол, а в папку пользователя, поиск в помощь

  29. Подскажите, а как изменять скачанный сайт?

  30. Иван, чтобы "изменять" скачанный сайт, нужно знать основы html...

  31. Сергей | 2017-01-01 в 02:44:57

    Добрый день. Проблема со скачкой сайта с https

    Логи

    iMac-Sergej:~ sergej$ wget -r -k -l 5 -p -E -nc https://arno-werk.ru

    --2017-01-01 00:37:17-- https://arno-werk.ru/

    Resolving arno-werk.ru... 178.210.88.172

    Connecting to arno-werk.ru|178.210.88.172|:443... connected.

    OpenSSL: error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

    Unable to establish SSL connection.

    Converted 0 files in 0 seconds.

  32. Сергей, здравствуйте.

    Не знаю чем помочь. Может у вас последняя версия Mac OS? И wget работает некорректно?

  33. Скажите, а есть ли возможность поставить на паузу закачку? Или просто отключиться от сети и когда она появится зскачивание продолжится автоматически?

  34. Vadim, считаю, такой возможности нет.

Оставьте комментарий!

grin LOL cheese smile wink smirk rolleyes confused surprised big surprise tongue laugh tongue rolleye tongue wink raspberry blank stare long face ohh grrr gulp oh oh downer red face sick shut eye hmmm mad angry zipper kiss shock cool smile cool smirk cool grin cool hmm cool mad cool cheese vampire snake excaim question

Комментарий будет опубликован после проверки

Имя и сайт используются только при регистрации