как можно загружать большие файлы кусками

1223
aidn

Я пытаюсь загрузить файл объемом 40 ГБ и сохранить его непосредственно на USB-накопителе, потому что на локальном жестком диске недостаточно места для файла.

Я также ограничен загрузкой 10 ГБ в день при подключении к Интернету, и мой USB отформатирован в формате FAT32, поэтому он не может обрабатывать файлы размером более 4 ГБ.

Есть ли способ загружать пару блоков по 4 ГБ этого файла каждый день, а затем соединять их вместе, когда они все загружены?

Я использую Windows 10, а также у меня есть живой USB-ключ Kali Linux.

6
Вы не сказали, какой протокол - FTP? HTTP? BitTorrent? Rsync? Без этой информации трудно дать хороший ответ. Toby Speight 7 лет назад 3

1 ответ на вопрос

5
dirkt

Если сайт, с которого вы загружаете, поддерживает возобновленную загрузку, вы можете использовать либо curlс --continue-atопцией, либо wgetс --start-posопцией.

Хотя есть --max-filesizeопция для curl, она просто отказывается скачивать файл.

Таким образом, вы можете прервать загрузку, когда файл достаточно велик, или использовать дополнительную программу, например pv(вам, вероятно, придется установить этот пакет).

Пример. Предполагается, что «десятичный» ГБ безопасен, 4 ГБ = 4000000000, поэтому используйте, например,

curl --continue-at 8000000000 http://your/file/url | pv -S --size 4000000000 > your-file-name 

скачать третий кусок. (Надеюсь, curl правильно обрабатывает большие числа, я проверял только маленькие).

Обе являются стандартными программами для Linux, я не знаю, доступны ли они и для Windows.

Можете привести пример (завиток), потому что я новичок в Linux aidn 7 лет назад 0
+1 Хотя «собрать их вместе, когда они все скачаны» - тривиальная задача, если у вас есть опыт работы с Linux, я бы включил подсказку для будущих новичков. Командой будет `cat chunk1 chunk2 chunk3…> / mnt / another-filesystem / file-name`. Kamil Maciorowski 7 лет назад 0

Похожие вопросы