Лучший способ скопировать большое содержание раздела со многими жесткими ссылками

501
emi

У нас был почти 16 ТБ LVM с ReiserFS. Теперь мы хотим добавить больше дисков, но мы не можем продолжать использовать ReiserFS, поскольку его максимальная емкость составляет 16 ТБ. Этот том используется для создания дополнительных резервных копий с помощью RSync, который жестко связывает неизмененные файлы.

Мы знаем, что мы можем использовать rsyncили fsarchiverвыполнить это, но оба они очень медленные и занимают огромные объемы памяти, так как должны помнить inode каждого файла.

Мы использовали ddи sshдля копирования раздела во временное место, и теперь мы хотим изменить тип раздела на ext4 64bit (или другой тип, если кто-то знает лучшее решение).

0

1 ответ на вопрос

0
Theodore Ts'o

Если вы хотите изменить тип файловой системы, вам придется использовать такой инструмент, как rsyncили tarили fsarchiver. Главное, что я думаю, это рассмотреть возможность поиска другой системы резервного копирования, чем использование rsyncи использование жестких ссылок.

Проблема заключается в том, что жесткие ссылки и использование дублирующих каталогов для инкрементных резервных копий являются очень неэффективной структурой данных для хранения информации о резервных копиях. Это одна из причин, почему использование rsyncдля копирования всех этих резервных копий является медленным и болезненным. Это также означает, что использование fsckдля выполнения проверки целостности собирается занять много памяти для того, чтобы убедиться, что количество ссылок на все файлы будет принимать большое количество памяти --- по той же причине, что rsync, tar, fsarchiver, и т.д. ., потребуется большой объем памяти.

Поэтому я рекомендую взглянуть на систему резервного копирования, такую ​​как bacula, которая использует правильную базу данных для хранения каталога резервных копий файлов, вместо того, чтобы пытаться использовать каталоги для хранения этой информации. И использовать это как возможность перейти к гораздо более масштабируемому решению для резервного копирования.

Знаете ли вы какой-либо способ перехода с моих инкрементных копий в систему bacula? А может, у bacula уже есть инструмент для импорта? emi 8 лет назад 0
Одним из преимуществ использования дерева жестких ссылок в качестве системы резервного копирования является то, что каждый каталог верхнего уровня выглядит как снимок. Поэтому самое простое, что нужно сделать, - это создать сценарий оболочки, который создает монтирование привязки из первого снимка, скажем, / backup / 01-01-2014, к некоторому постоянному имени каталога --- в / files, и Затем сделайте резервную копию / файлы. Затем удалите связывающее монтирование, а затем создайте связывающее монтирование из следующего шейпшота - т.е. / backup / 01-08-2014 - в / files и затем сделайте bacula следующую резервную копию. Он должен иметь возможность замечать неизмененные файлы и не создавать их снова. Theodore Ts'o 8 лет назад 0
Я до сих пор не могу проголосовать за ваш ответ. Я вернусь, когда соберу достаточно репутации;) emi 8 лет назад 0

Похожие вопросы