Используйте tar, но воздержитесь от gzipping части. Весь смысл TAR состоит в том, чтобы преобразовать файлы в один поток (это означает, что архив на ленте). В зависимости от вашего процесса вы можете записать поток на диск и скопировать его, но, более эффективно, вы можете передать его (например, через SSH) на другую машину - возможно, распаковав его одновременно.
Поскольку процесс является скорее вводом-выводом, а не интенсивным использованием ЦП, процесс пареллизации процесса не сильно поможет, если вообще поможет. Вы уменьшите размер передаваемого файла (если файлы не совсем делятся на размер блока), и вы сэкономите много, не имея при этом назад и вперед для согласования каждого файла.
Чтобы создать несжатый файл tar:
tar -cf file.name /path/to/files Для потоковой передачи по сети:
tar -c /path/to/files | ssh user@dest.domain 'cd /dest/dir && tar -x' Примечание. Если записать промежуточный файл на жесткий диск в соответствии с примером 1, на самом деле может быть быстрее сжать файл при достаточной степени сжатия, поскольку это уменьшит объем записи на диск, что является медленной процесс.