Как быстро распаковать файл 7-Zip (7z) размером 1 ТБ (5 миллионов файлов), хранящийся на NAS

1706
yeyl

На устройстве NAS, работающем в режиме iSCSI, имеется 7-Zip (7z) файл (размер: 1 ТБ, содержащий около 5 миллионов файлов). Файл 7-Zip был сжат в режиме «только хранилище, а не сжимать».

Когда файлы находятся на обычном жестком диске, скорость сжатия очень высокая (10-20 М / с). Но когда файл 7-Zip (7z) находится в NAS (iSCSI), почему скорость распаковки составляет чуть менее 1 М / с?

Может ли кто-нибудь помочь в этом, как я могу быстро распаковать огромный 7-Zip (7z) файл на NAS (по крайней мере, достичь половины скорости сжатия)?

0
Какова цель декомпрессии? если вы распаковываете данные как с устройства ISCSI, так и с него, это может быть проблемой. возможно попробуйте распаковать с устройства ISCSI, но на локальный жесткий диск. David Dai 8 лет назад 0
спасибо за внимание Я распаковываю файл из iscsi в iscsi. Моя основная цель - переместить 5 миллионов файлов с локального жесткого диска на iscsi. Но скорость очень и очень низкая, если я перемещаю файлы в папках. Поэтому я сжимаю файлы в файл 7z на локальном жестком диске, поэтому скорость перехода на iscsi в 50 раз выше, чем в папках. Но теперь возникает проблема: мне приходится долго ждать декомпрессии T_T. Я также смущен тем, что скорость распаковки в iscsi намного ниже, чем на локальном жестком диске. yeyl 8 лет назад 0
Какой марки и модели ваш NAS? Daniel B 8 лет назад 0
Synology DS1815 + yeyl 8 лет назад 0
Вы только что усугубили вашу проблему. Теперь вам все еще нужно создать все эти файлы на устройстве NAS, и вы должны одновременно получать данные с NAS. David Schwartz 8 лет назад 0

2 ответа на вопрос

1
Keltari

If I were to take a guess, you are using your computer to decompress/unarchive the file on the NAS. This means you are transferring parts of the file from the NAS to your computer, which is a major bottleneck.

You would save time by transferring the archive to your computer first and then decompressing it.

Спасибо за совет. Да, я использую свой компьютер для распаковки файла на NAS. Моя главная цель - переместить 5 миллионов файлов с локального жесткого диска в NAS. Если я передаю файлы напрямую в папки, скорость слишком низкая. Поэтому я сначала сжимаю файлы, а затем скорость передачи одного файла высокая. Но теперь я столкнулся с проблемой: низкая скорость декомпрессии. Есть ли способы скопировать огромное количество файлов с локального жесткого диска на НАС быстро? yeyl 8 лет назад 0
@yeyl Ты только что усложнил ситуацию. Забудьте о сжатом файле, это тупик. Вернитесь к поиску * хороших * решений вашей первоначальной проблемы - как перенести большое количество файлов на устройство NAS. David Schwartz 8 лет назад 0
0
Daniel B

Your NAS looks reasonably powerful. To gain any advantage, it needs to do the extracting itself. Otherwise, it’s even slower than just copying the files over as is. That’s because now you have double the disk access and double the network transfer.

If the iSCSI volume is inaccessible on the NAS itself, there is nothing you can do but copy the files as is. At most, you could clone the whole disk.

If caching (on the client accessing the iSCSI volume) is not enabled, it will severely reduce small-file performance.

Похожие вопросы