Что я использую, чтобы загрузить все PDF-файлы с веб-сайта?

13440

Мне нужно скачать все PDF-файлы, представленные на сайте. Проблема в том, что они не указаны ни на одной странице, поэтому мне нужно что-то (программа? Фреймворк?), Чтобы сканировать сайт и скачивать файлы, или, по крайней мере, получить список файлов. Я попробовал WinHTTrack, но не смог заставить его работать. DownThemAll for Firefox не сканирует несколько страниц или целые сайты. Я знаю, что есть решение, так как я не мог быть первым человеком, которому представили эту проблему. Чтобы вы посоветовали?

5

4 ответа на вопрос

10
miku

С http://www.go2linux.org/tips-and-tricks-of-wget-to-download-files :

wget -r -A pdf http://www.site.com
3
Michael

У Google есть возможность вернуть только файлы определенного типа. Объедините это с опцией «site», и у вас будет свой «сканер».

Пример: http://www.google.com/search?q=site:soliddocuments.com+filetype:pdf

1
Alistra

Используйте некоторую библиотеку для веб-сканирования, например. в рубине http://www.example-code.com/ruby/spider_begin.asp

0
Pablo Santa Cruz

Если ссылки на файлы PDF отсутствуют, сканер не поможет, и у вас есть только два варианта:

  1. Получить список откуда-то еще (запросите список у веб-мастера сайта)
  2. Получить список из списка каталогов WebSite. Хотя, если они отключили эту опцию на своем веб-сервере, вы не сможете ее использовать.
Наконец-то мы встретились - привет, Пабло;) miku 13 лет назад 1

Похожие вопросы