Рекурсивный эквивалент загрузки (`wget -r`) для Firefox?

31736
rascher

У меня есть веб-сайт, и я хочу загрузить все страницы / ссылки на этом веб-сайте. Я хочу сделать wget -rпо этому URL. Ни одна из ссылок не выходит «за пределы» этого конкретного каталога, поэтому я не беспокоюсь о загрузке всего Интернета.

Оказывается, нужные мне страницы находятся за защищенным паролем разделом сайта. Хотя я мог использовать wget для ручного согласования файлов cookie, мне было бы намного проще просто «войти» из браузера и использовать какой-нибудь плагин firefox для рекурсивной загрузки всего.

Есть расширение или что-то, что позволит мне сделать это? Многие расширения фокусируются на получении медиа / картинок со страницы (хе-хе-хе), но меня интересует весь контент - HTML и все.

Предложения?

Спасибо!

редактировать

DownThemAll кажется классным предложением. Может ли это сделать рекурсивную загрузку? Как, например, загрузить все ссылки на странице, а затем загрузить все ссылки, содержащиеся на каждой из этих страниц и т. Д.? Чтобы я в основном отражал все дерево каталогов по ссылкам? Вроде как -rвариант wget?

14

3 ответа на вопрос

7
Shibu

DownThemAll не выполняет рекурсивную загрузку. Он только захватывает ссылки с текущей страницы. Загружаются только HTML-страницы связанных URL-адресов. Изображения и носители на связанных страницах не загружаются.

6
nik

SpiderZilla предназначена для этого, но немного устарела (2006).
Он основан на ксероксе веб-сайта HTTrack .
Который имеет обновленные версии для всех платформ.

Существует также еще один более старый аддон, который может позволить вам подключить wgetсаму себя (среди прочего).

Тем не менее, я тоже чувствую, что DownThemAll, вероятно, хороший выбор.
Если вы знаете, что вы хотите отразить, выбор правильных ссылок не должен быть проблемой.
И вы всегда можете поставить галочку «Все».

Итак, +1, для DownThemAll, если вы хотите придерживаться браузера.
И используйте HTTrack, если вам нужен автономный инструмент (а wget не удобен).

Обновление: вы также можете посмотреть голоса HTTrack на этот вопрос о вознаграждении,
Как я могу скачать весь сайт .

DTA не поддерживает рекурсию Hayden Thring 9 лет назад 0
3
user

You can use wget -r with cookies from browser, extracted after authorization.

Firefox has "Copy as cURL" option in the context menu of the page request in the Network tab of Web Developer Tools, hotkey Ctrl+Shift+Q (you may need to reload the page after opening the tools): screenshot

Replace curl's header flag -H with wget's --header, and you have all needed headers, including cookies, to continue the browser session with wget.

Похожие вопросы