Составление списка ссылок на сайте и их действительность

375
Malfist

Я хотел бы просканировать свой веб-сайт и создать список внутренних и исходящих ссылок, а также их конечный пункт назначения и HTTP-код (по крайней мере, для внутренних ссылок). Как я могу это сделать?

Обратите внимание: меня не интересует содержание страницы, кроме как найти в ней ссылки.

-1
Рекомендации по программному обеспечению здесь не выполнены. Так как мне нравится ваша картинка, посмотрите здесь http://wummel.github.io/linkchecker/ Matthew Williams 10 лет назад 0
Уже попробовал linkchecker, я не могу заставить его выплевывать список всех ссылок на странице. Я просто проверяю, что они действительны и сообщает об ошибках. Malfist 10 лет назад 0
Пожалуйста, покажите, что говорит ваше исследование и что вы уже пробовали. slhck 10 лет назад 0

1 ответ на вопрос

1
Awal Garg

The following might be considered:

http://www.httrack.com - Allthough its built to download websites, but you can just generate a report with all link.

http://scrapy.org/download/ - Its most suitable (I think) for your needs.

I have personally used HtTrack on Windows. Its available for Linux as well. If you need additional details, add a comment.

Хотя лоскутный будет работать, поэтому я принял этот ответ. Тем не менее, я использовал инструмент, который генерирует карты сайта. Malfist 10 лет назад 0

Похожие вопросы