Самый быстрый способ скопировать или скопировать или создать резервную копию каталога с ТБ данных (файлов изображений) в нем

951
Nagarajan S R

Здравствуйте, вы можете предложить очень эффективный и высокопроизводительный вариант для копирования файлов (ТБ данных в виде изображений) с одного диска на другой.

Я видел варианты, такие как cp, rsync и т. Д., Но хотел бы получить второе мнение от вас, ребята, которые надежно опробовали и протестировали такой сценарий.

У меня также есть требование, как показано ниже:

  1. Основной диск -> где хранятся файлы после записи
  2. Вторичный диск, который использует rsync для резервного копирования с основного диска.
  3. Третий диск, который теперь создаст резервную копию вторичного диска, а затем удалит ненужные файлы с первичного, чтобы вторичный и третий диск снова синхронизировались

Примечание: 1. Обратите внимание на использование сервера также, поскольку файлы изображений также будут параллельно считываться другими процессами. 2. Я пытаюсь выполнить резервное копирование с дополнительного диска на третий. Нужен ваш совет для 3 шага

0

1 ответ на вопрос

0
davidgo

К сожалению, копирование диска происходит медленно. Там нет дешевого способа обойти это.

Похоже, что RSYNC - хороший путь, потому что вы не хотите постоянно копировать все данные на диске. Возможно, вы захотите проверить, что ваш rsync не пропускается на основе контрольной суммы (т. Е. Без флагов -c или --checksum), предполагая, что вы можете полагаться на временные метки и размер файла. Если содержимое файла изменяется (что звучит маловероятно), вы можете значительно ускориться, выполнив «--inplace --no-whole-file», чтобы скопировать только те биты, которые изменились.

Конечно, есть и другие стратегии, которые стоит рассмотреть на уровне блоков. Переход на ZFS (или DRBD, Gluster или MooseFS) и репликация данных на уровне блоков могут оказаться более эффективными в зависимости от того, какие изменения вы делаете, насколько интенсивен ваш трафик и т. Д.

Спасибо за подход. Я постараюсь изучить другие варианты, которыми вы поделились. Кроме того, файлы никогда не будут изменены. Они могут быть удалены, но не изменены. Так что бы вы мне предложили. Nagarajan S R 7 лет назад 0

Похожие вопросы