Как я могу скачать 1 миллион файлов?
Я перепробовал множество менеджеров загрузки, все они очень медленные при импорте списка URL, в настоящее время я ждал 20 часов на Download Master, я также пробовал Internet Download Manager и JDownloader, есть ли другое программное обеспечение, которое может обрабатывать импорт URL и загрузка быстрее?
В Linux это очень легко wget
Однако я предполагаю, что вы пользователь Windows.
Если это так, вы можете достичь аналогичных результатов, используя Powershell, если вы используете Powershell 3 или выше.
cd перейдите в каталог, в котором вы сохранили файл urls.txt. Напримерcd C:\Users\jay\DocumentsGet-Content urls.txt | ForEach-Object Если вы устанавливаете Cygwin, вы можете использовать Wget для загрузки всего в файл, содержащий список URL-адресов.
Поместите все URL в файл с именем urls.txt, вы можете запустить эту команду:
$ wget -i urls.txt
Если вы ищете эффективность, выполнение нескольких заданий в PowerShell, вероятно, является одним из лучших подходов, но требует небольшого опыта написания сценариев.
Я заполнил файл миллионом записей, а затем рассчитал время для команды, чтобы прочитать его обратно, потребовалось 13,5 с (у меня стандартный жесткий диск 7,200 об / мин).
$down = New-Object "System.Net.WebClient" Get-Content "C:\YourFile.txt" | Foreach-Object { $down.DownloadFile($_, $_.Split("\")[-1]) } Просто как простой однопоточный пример, но он будет радостно улететь в фоновом режиме, если время не имеет существенного значения. В противном случае вы можете разделить файл, вручную или программно, и использовать Start-Job { //code here// }для каждого раздела.
Конечно, это полностью зависит от формата вашего файла и того, как вам нужно их сохранить и тому подобное, но все это возможно в PowerShell.
Существует небольшая программа для Windows под названием Mass Download, которая много раз мне очень помогала: http://www.softpedia.com/get/Internet/Download-Managers/Mass-Download.shtml . Надеюсь, это поможет вам!