Зеркало с резервной копией измененных файлов

281
Yannick Wurm

у нас есть некоторые большие требования к хранилищу (геномные данные), для которых нам нужно купить некоторое место для архивирования (писать один раз, читать редко, файлы остаются легкодоступными, каждый пользователь должен иметь доступ к своей собственной папке «архив»). «Простое» и относительно дешевое решение состоит в том, чтобы получить большой блок NAS, вмещающий шестьдесят дисков по 6 ТБ = 360 ТБ свободного пространства. (например, днук, 45драйв ...)

Но что, если есть пожар / наводнение / воровство? Простое решение: возьмите вторую такую ​​же, установите ее в другом здании / студенческом городке и обеспечьте быстрое соединение для ежедневного зеркалирования между подчиненными. Для этого существует простое программное обеспечение.

Это защищает от катастрофы. Но это не защищает от наивных пользователей, которые случайно удаляют свои файлы и хотят вернуть их через месяц.

Существует ли простое программное решение, которое обнаружит, когда файлы изменены или удалены, и переместит / скопирует старые файлы в другое место? (в идеале это должно происходить на «ведомом»; для этого мы могли бы купить дополнительную коробку NAS).

Есть идеи? Спасибо! Янник

1
Для этого мы используем инкрементные резервные копии rsync со ссылками, но он не отслеживает и не обнаруживает изменения, он просто выполняется по расписанию. Windows имеет «Предыдущие версии» через теневые копии общих папок. ssnobody 8 лет назад 0
Хм - спасибо @ssnobody, что [кажется уместным] (http://www.mikerubel.org/computers/rsync_snapshots/). Использовали ли вы инкрементные резервные копии rsync со связью с данными, включая некоторые файлы в масштабе ТБ и, например, 50 миллионов маленьких файлов? Yannick Wurm 8 лет назад 0
Я не пробовал это лично в таком масштабе, мы используем его на нескольких файловых серверах и веб-сервере, где максимальный объем памяти составляет ~ 6 ТБ, а файлы размером более 4 ГБ редки. Я не думаю, что у него будут проблемы с копированием, хотя в ОС встроены жесткие ссылки, и если ваша система уже обрабатывает файлы размера TB, я не думаю, что это вызовет дополнительные проблемы. ssnobody 8 лет назад 0

1 ответ на вопрос

1
Angstrom

If you are on Windows, Bvckup 2 is pretty much exactly what you need.

Incremental propagation of modified files is not a big issue. Any backup/sync software can do it. The trick is to have the rename detection supported. There are two ways to do it - first is to parse the file system log (NTFS has one, for example) to see the actual changes, second is to scan both locations and then run some sort of comparative analysis to understand if any of the deleted files match any of the newly created ones. I don't know a single backup software that works with the journals, so the first option is not really an option. For the second option you will need to have a software that generates backup plans, i.e. it first scans the trees, then analyzes them, then spits out the list of steps to be performed (rather than reconcile the changes immediately at the scan phase, as robocopy /mir does it, for example). The issue here is the size of your backup. Very few backup apps won't choke on few million files, leave alone of 50 mil. I've used the above app successfully with a 6 mil backup and I suspect that it should be able to chomp through your case as well.

спасибо @angstrom - к сожалению, не на windows ... все наши вещи на серверах Linux Yannick Wurm 8 лет назад 0

Похожие вопросы