Есть ли способ резервного копирования дедуплицированного диска NTFS с помощью rsync или другого инструмента linux?

469
tenshimsm

Есть ли способ Linux или инструмент, который знает о дедупликации Windows в NTFS? Здесь я использую rsync для синхронизации файлов с общих файловых серверов AD. Общие ресурсы монтируются только для чтения с помощью mount.cifs в Linux.

Поскольку Linux не знает о дедуплицированных файлах, он синхронизирует все копии.

Я включил службу дедупликации в Windows Server 2012 R2, потому что на диске 2 ТБ у меня было только 190 ГБ свободного места. После активации дедупликации (+ - через неделю) мое свободное место стало 860 ГБ

Общие ресурсы находятся в среде AD, где различные пользователи из разных комнат / секторов хранят данные. У них есть привычка делать копии одного и того же файла в другую папку, которую они считают резервной копией. - tenhimsm 4 минуты назад редактировать

Я начинаю «миграцию» в BTRFS. Я начну использовать Snapper. Но это требует некоторых изменений. И так как мне нужно синхронизировать эти файлы на другой диск, чтобы начать тестирование снимков и т. Д.

0
Непонятно, в чем ваша проблема. Почему дублирование имеет значение, если вы монтируете ресурсы только для чтения? Seth 6 лет назад 0
@ Сидит, у меня тоже был момент WTF. Я думаю, что он имеет в виду «осведомлен о дедупликации» при чтении общего ресурса, поэтому каждый блок читается не более 1 раза, даже если на него ссылаются несколько файлов. Любой другой способ интерпретации, который не имеет никакого смысла. Tonny 6 лет назад 0
@ Seth Это имеет значение. Просто предоставление информации, которая, я думаю, может помочь. Проблема в том, что Linux не знает о дедуплицированных файлах при каждом запуске rsync, поэтому он синхронизирует все копии одного и того же файла. tenshimsm 6 лет назад 0
Я включил службу дедупликации в Windows Server 2012 R2, потому что на диске 2 ТБ у меня было только 190 ГБ свободного места. После активации дедупликации (+ - через неделю) мое свободное место стало 860 ГБ tenshimsm 6 лет назад 0
Ваш вопрос плохо сформулирован. Вот почему не ясно, почему это важно. Если у вас такая огромная экономия ... что вы делаете, у вас так много дубликатов файлов? Общий ресурс не предоставляет никакой информации о дедупликации, поэтому вы не сможете понять это, просто прочитав общий ресурс. Почему бы не использовать FS с поддержкой дедупликации для системы Linux? Seth 6 лет назад 0
@Seth Общие ресурсы находятся в среде AD, где различные пользователи из разных комнат / секторов хранят данные. У них есть привычка делать копии одного и того же файла в другую папку, которую они считают резервной копией. tenshimsm 6 лет назад 0
@ Seth Я начинаю "миграцию" в BTRFS. Я начну использовать Snapper. Но это требует некоторых изменений. И так как мне нужно синхронизировать эти файлы на другой диск, чтобы начать тестирование снимков и т. Д. tenshimsm 6 лет назад 0
@ Мой бедный вопрос? Это так сложно понять? tenshimsm 6 лет назад 0
Ваш первоначальный вопрос не прояснил, с какой стороны вы хотите знать дедупликацию и / или почему вы хотите, чтобы ваша сторона Linux знала о дедупликации Windows. Тем более, что вы используете `rsync`, а это не так. Он не был беден, как некоторые другие, но ему не хватает деталей, чтобы люди могли быстро понять, что вы хотите сделать, и дать людям возможность предложить дополнительные подходы, которые могли бы работать, но при этом не были так прямолинейны. Seth 6 лет назад 0

2 ответа на вопрос

1
Keltari

Я не знаю ни о каких инструментах резервного копирования, которые «осведомлены о дедупликации». Однако из-за того, как работает дедупликация, я сомневаюсь, что она будет. Возможно, что программное обеспечение для резервного копирования улучшилось с тех пор, как я смотрел в последний раз.

Тем не менее, можно делать оптимизированные резервные копии дедуплицированных томов. Эта статья MSDN описывает подробно. По сути, ваш инструмент резервного копирования делает инкрементные резервные копии. Создавая резервные копии только измененных файлов с момента последнего резервного копирования, ваш инструмент не создает резервные копии новых файлов со своими дедуплицированными фрагментами.

1
Christopher Hostage

Если ваша цель - выполнять резервное копирование, не тратя пространство на дубликаты файлов, рассмотрите возможность резервного копирования на другой дедуплицированный диск на другом сервере (Windows или Linux). Я не знаю ни о каких приложениях резервного копирования с поддержкой дедупликации ... они обычно работают внутри ОС и видят файлы, представленные ОС. Вы также можете рассмотреть возможность использования ссылок Windows вместо копий файла. Или, если есть целые каталоги, которые идентичны, рассмотрите их размещение в C: \ SharedFiles или C: \ Users \ Public.

Похожие вопросы