Зеркальное отображение веб-сайта, имеющего страницы, использующие простой JavaScript

1040
Lyubomyr Shaydariv

Существуют простые и удобные инструменты для загрузки веб-сайтов, которые позволяют создавать локальные зеркала простых сайтов, не имеющих JavaScript-инфраструктуры. Тем не менее, иногда бывают случаи, когда сайт выглядит простым (и даже достаточно старым, чтобы быть настоящим сайтом с веб-версией 1.0), но ни один из таких инструментов загрузки не может его отразить. Я попытался сделать локальное зеркало для этого фан-сайта (например, у него есть некоторые транскрипции, которые не могут быть найдены в другом месте, и некоторые более редкие вещи), используя HTTrack Site Copier, Free Download Manager и wget. Все они делали простые зеркала без содержания. Я видел несколько скриптов на этих страницах, и, вероятно, это мешает зеркалированию.

Как я могу зеркалировать веб-сайт с включенным простым JS? Возможно, есть решение на основе веб-браузера, которое может поддерживать JS из коробки (любое расширение для браузера и т. Д.)?

Заранее спасибо.

1
Извините, но что вы подразумеваете под зеркалом веб-сайта? Dave 10 лет назад 0
@ c0dev не уверен, что возможный дубликат может помочь, потому что это решение опирается на wget. Я не могу заставить wget работать, чтобы удовлетворить мои потребности. Однако я видел http://wget.addictivecode.org/FeatureSpecifications/JavaScript в этом вопросе, и я проверю это позже. Lyubomyr Shaydariv 10 лет назад 1
@DaveRook Я имею в виду «сделать точную (более или менее) копию веб-сайта». Пожалуйста, извините, если мой английский не в порядке. Lyubomyr Shaydariv 10 лет назад 0
Ах, я вижу - нет, твой английский отличный, я просто не был уверен. Почему бы просто не попробовать сохранить сайт на свой компьютер? В IE вы можете сохранить весь сайт Dave 10 лет назад 0
@DaveRook спасибо. :) Насколько я знаю, все основные браузеры могут сохранять только отдельные веб-страницы, но не целые веб-сайты. Проблема с этим сайтом в том, что он использует, насколько я вижу, некоторый JavaScript для динамической загрузки контента. Я просто хочу сделать рекурсивную копию сайта (как это делают веб-сканеры), но, к сожалению, ни один из этих инструментов не может сделать это (по крайней мере, для того, что я пытался) в этом случае. Lyubomyr Shaydariv 10 лет назад 0
Возможный обман http://superuser.com/questions/14403/how-can-i-download-an-entire-website ИЛИ http://superuser.com/questions/114769/how-to-download-the-entire- Веб-страница-с-CSS-JavaScript Dave 10 лет назад 0
@DaveRook У меня установлен IE 10, и наиболее похожая функция - «Веб-архив, один файл». Это сохранило файл 28 КБ. С точки зрения зеркалирования это почти «ничто». Или, может быть, я что-то упустил. Lyubomyr Shaydariv 10 лет назад 0

1 ответ на вопрос

0
Lyubomyr Shaydariv

In this particular case I've ended up with the following bash script:

#!/bin/bash DOWNLOAD="wget -m -p -E -np -k" SITE="http://homepage.tinet.ie/~themma" $DOWNLOAD $SITE/ $DOWNLOAD $SITE/songs/ $DOWNLOAD $SITE/songs/songs.html $DOWNLOAD $SITE/songs/disco.html $DOWNLOAD $SITE/links/ $DOWNLOAD $SITE/other/ $DOWNLOAD $SITE/tour/ for i in `seq 1 8`; do $DOWNLOAD $SITE/images/bar_0$i.gif $DOWNLOAD $SITE/images/bar_0$i-over.gif $DOWNLOAD $SITE/images/bar_0$i-bar_03_over.gif done for i in `seq 1989 2003` do $DOWNLOAD $SITE/images/$i.gif done

I couldn't simulate JavaScript behavior, sure, but since the site is extremely simple, that's not much to analyze it to write a wget-based shell script. It's a little tricky, but it works. Thanks everyone for suggestions.

I don't mark this answer as the best one, because my answer implements a particular case only. So any ideas regarding the more general case is really welcome (any "intelligent" cmd-line tools, browser extensions, etc).

Похожие вопросы