Если вы работаете в Linux, я бы использовал страницу чтения Bash-скрипта с wget и анализировал ее, ища ссылки, а затем сканировал эти ссылки. Используйте Google для этого, есть множество готовых скриптов.
Если бы в Windows я использовал ваш любой предпочтительный язык с расширением cURL, чтобы получить содержимое страницы вместо wget
. Если вы читаете вики-страницу, это страница «Смотри также», даже если она направлена на wget
. Копай на этом.
PS Ваш вопрос кажется немного ленивым.