Сохранит ли rsync значительный объем передаваемых данных для сжатых / зашифрованных файлов?

1240
qazwsx

Сохранит ли rsync значительный объем передаваемых данных для синхронизации

1) почтовые файлы,

2) ASCII-файлы, зашифрованные GPG, и

3) файлы Mathematica .mx,

соответственно?

Типичный сценарий состоит в том, что у меня уже есть старая копия, и сжатый и / или зашифрованный файл НЕ является единственным файлом для синхронизации, то есть могут существовать несжатые и незашифрованные файлы.

1
Вы говорите о случае, когда у вас уже есть более старая копия этих файлов в удаленной системе? Или это новая копия? Zoredache 12 лет назад 0
Это для первого случая. qazwsx 12 лет назад 0

2 ответа на вопрос

1
mikebabcock

В случае, когда вы выполняете rsync'ом только один файл, и этот файл зашифрован или сжат, единственная полоса пропускания, которую вы, скорее всего, сэкономите, - это отсутствие необходимости передавать его вообще, если оно не изменилось.

Однако, если у вас был каталог, полный файлов ZIP, JPEG или GPG, rsync по-прежнему передает только те файлы, которые были изменены, и является отличным способом простой передачи только новых файлов.

Примечание: я считаю полезным по возможности синхронизировать несжатые данные, а затем при необходимости сжать их для хранения на обеих сторонах ссылки. Таким образом, вы можете сэкономить пропускную способность передачи. то есть:

mkdir /tmp/torsync cd /tmp/torsync unzip /home/me/somefile.zip rsync -avz . remote:/tmp/somefile ssh remote 'zip -r somefile.zip /tmp/somefile' 

YMMV конечно.

OT: с его опциями резервного копирования я считаю rsync полезным, даже если он не экономит полосу пропускания, поскольку создает резервные копии замененных файлов, что позволяет мне легко получать исторические копии.

Последующие действия: это относится ко всем форматам, в которых используется сжатие или шифрование, но я не знаком с пользователями Mathematica.

Относится ли ваше описание ко всем трем типам? qazwsx 12 лет назад 0
1
RedGrittyBrick

Проблема с зашифрованными или сжатыми файлами заключается в том, что даже если в данных изменяется только один байт, все остальное содержимое файла отличается, а не только измененный байт данных.

Это побеждает одну стратегию, используемую rsync для уменьшения передачи данных, а именно - передачу только измененных разделов файла, а не всего файла.

Поэтому не сжимайте данные, если вам не нужно место на диске (в этом случае используйте сжатие на диске, поскольку оно прозрачно для таких приложений, как rsync).

Не шифруйте данные, если только вам не требуется защита конфиденциальности данных в случае кражи или потери компьютера (или диска). (Сохраняйте резервные копии своих данных, особенно ключей шифрования или ключей восстановления). Опять же, шифрование всего диска, вероятно, будет наименее вредным для производительности rsync (но, скорее всего, приведет к катастрофической потере данных в случае сбоя жесткого диска и недоступности резервных копий данных или при переустановке ОС без резервного копирования ключ восстановления для других дисков данных / разделов)

Выше предполагается, что (значительное количество) соответствующих несжатых / незашифрованных файлов, вероятно, будут время от времени частично изменяться - путем какого-либо редактирования или добавления, - хотя основная часть данных в файле остается неизменной.

В конкретном случае zip-файлов, если он содержит много файлов и изменились только некоторые из них, rsync может избежать повторной отправки большей части zip-файла. Вы можете получить аналогичное поведение из gzip с ключом --rsyncable (хотя он стоит небольшую степень сжатия). psusi 12 лет назад 2
Rsyncrypto объявляет себя как rsync-дружественное шифрование. https://rsyncrypto.lingnu.com/index.php/Home_Page Matthew Hannigan 6 лет назад 0

Похожие вопросы