Стоит ли выполнять дедупликацию данных при резервном копировании для фотографа?

340
adrianlambert

Я создаю файлы изображений RAW плюс небольшой выбор файлов JPEG, полученных от мастеров RAW. Созданные JPEG-файлы очень, очень редко редактируются снова, но когда они из-за повторного сжатия, весь файл изменится. При редактировании изображений RAW я использую программное обеспечение, которое вносит изменения неразрушающим образом. Файл предварительного просмотра и метафайл (XMP <40 КБ) создаются вместе с каталогом, который вместе отслеживает изменения.

Я управляю резервным копированием файлов предварительного просмотра и каталога в отдельной системе, поэтому в этом вопросе меня интересуют только RAW, XMP и JPEG.

Я хочу создавать резервные копии всех файлов RAW, JPEG и XMP вне офиса через WAN-соединение на основе новых и измененных файлов в файловой системе, которая проверяется на наличие изменений один раз в день.

Дедупликация, кажется, работает, читая части файлов и создавая слабые хэши для сравнения со всеми другими частями файлов. Если обнаружено, что хеш совпадает с другим, создается более сильный хэш и части сравниваются снова. Если части все еще создают тот же самый хэш, тогда вторая часть не загружена. Вместо этого система резервного копирования указывает дублированную часть файла на ранее сохраненную копию.

Мой вопрос ...

  • Если файлы RAW не меняются и…
  • JPEG будет редко меняться и…
  • Файлы XMP могут содержать измененные части файлов и…
  • Требования к ЦП / ОЗУ для дедупликации очень высоки и…
  • Учитывая, что дедупликация данных может уменьшить объем передаваемых данных ...

... стоит ли использовать дедупликацию?

0
какую ОС и какую ФС вы используете или готовы рассмотреть? В настоящее время я работаю новичком в btrfs, для которого существует проект [duperemove] (https://github.com/markfasheh/duperemove/tree/v0.09-branch), который предлагает внеполосную (но онлайн) дедупликацию , Если вы примените это к исходной файловой системе, она также должна быстрее создавать резервные копии, используя `btrfs send` (я думаю). Напротив, если вы используете `rsync`, я не думаю, что дедупликация ускорит вашу резервную копию. gogoud 9 лет назад 0
Я использую Synology NAS (ext4) и загружаю в crashplan. Люди, которые использовали аварийный план, обычно комментируют ресурсоемкий процесс дедупликации как ограничивающий фактор скорости резервного копирования. Спасибо за ответ. adrianlambert 9 лет назад 0
Это не плохой вопрос. Но проблема в том, что это огромная головная боль - не только для вас - но и для всех пользователей систем управления цифровыми активами, и на 100% никто не может прийти к единому мнению о том, как лучше всего обращаться с источниками по сравнению с производными изображениями. И «решение» действительно сводится к тому, что лучше всего подходит для вашего конкретного процесса. Ничто другое не может определить это за пределами этого. JakeGould 9 лет назад 1
Я не думаю, что вы рассматриваете мой вопрос так, как я надеялся. Я хотел бы наилучшим образом определить, насколько дедупликация редко изменяющихся данных будет полезна для объема данных, которые могут быть заархивированы в течение определенного периода времени. Т.е. что быстрее? Включение дедупликации или дедупликация эффективно отключаются в системе, скорость которой снижается в процессе дедупликации. adrianlambert 9 лет назад 1

0 ответов на вопрос

Похожие вопросы