Могу ли я столкнуться с потерей данных при использовании отправки ZFS для копирования пула на сервер без памяти ECC?

984
Jay

У меня есть файловый сервер OmniOS с массивом ZFS raidz2, который я хочу сделать резервную копию на другой машине через гигабитный Ethernet. Другая машина представляет собой систему Linux (Ubuntu 12.04) с не-ecc RAM, подключенной к куче внешних жестких дисков USB 3.0. Я хочу использовать ZFS на внешних жестких дисках машины резервного копирования и ZFS отправлять / получать для резервного копирования данных. Целостность данных и предотвращение тихого повреждения файлов являются главными приоритетами. В идеале я хотел бы смонтировать внешние жесткие диски с машины linux на сервер OmniOS, как если бы они были локальными дисками (то есть: доступ на уровне жестких дисков на уровне блоков), чтобы вся контрольная сумма zfs выполнялась на OmniOS машина, потому что она имеет 8 процессорных ядер и ECC RAM, в то время как машина Linux представляет собой «настольный» (HTPC) двухъядерный с не ECC RAM.

Можно ли это сделать с помощью iSCSI? Можно ли это сделать с помощью ATA через Ethernet? (внешние жесткие диски отображаются в Linux как диски SATA, то есть: / dev / sdb, / dev / sdc, / dev / sdd и т. д.)

Если бы я использовал ZFS в Linux на машине резервного копирования, какой риск я бы взял на себя с помощью своих резервных копий в связи с немым повреждением?

Спасибо за любой вклад.

Справочная информация:

Я нахожусь в процессе создания виртуализированного сервера "все" и сейчас пытаюсь найти лучшее решение для резервного копирования. На сервере будет работать OmniOS (производная opensolaris) как встроенная виртуализированная сеть SAN, в которой все мои данные будут храниться в массиве RAIDz2 (версия RAID6 для ZFS, резервирование двух дисков). Сервер также будет работать с кучей других вещей, таких как стек LAMP и MythTV Backend для записи телепередач из соседней стойки кабельного телевидения и т. Д. Это в первую очередь медиа-сервер, полный музыки, изображений, фильмов и записей телевизионных шоу.

Я очень обеспокоен целостностью данных. Учитывая объем данных, которыми я располагаю, и объем, которым они манипулируют (транскодирование для потоковой передачи через Интернет, внутренняя потоковая передача фильмов на многие локальные системы отображения мультимедиа, постоянное добавление фотографий в гигабайтах и ​​т. Д.), Очень вероятна скрытая коррупция. Вот почему я использую ZFS все, ECC RAM и т. Д.

У меня есть внешнее (и BluRay) резервное копирование всего, что является критически важным (моя работа, мои воспоминания и т. Д.), Но мне нужно реализовать локальное резервное копирование для некоторых носителей (у меня недостаточно пропускной способности интернет-соединения, чтобы выдвинуть 80 гигабайт HD TV показывает на удаленном сервере каждый день).

У меня HTPC под управлением Ubuntu Linux с интерфейсом MythTv и XBMC (я был нерешителен) на расстоянии около 600 футов от главной серверной комнаты, на другом этаже здания. Он подключен к серверной комнате через Gigabit Ethernet (он проходит через сетевой коммутатор на этом этаже, поэтому 600 футов кабеля Ethernet не представляет проблемы). Он содержит набор внешних жестких дисков емкостью 2 ТБ (если вам интересно, WD MyBook Essentials), подключенных через USB 3.0, которые скрыты в запертом настенном блоке. Я хотел бы зарезервировать все на эти жесткие диски.

2

1 ответ на вопрос

2
Mike Fitzpatrick

Насколько велик риск для моих данных из резервной копии в связи с бесшумной коррупцией?

ZFS очень серьезно относится к целостности данных, и мой личный опыт отправки / получения ZFS - это надежность. Я бы посоветовал вам реализовать отправку / получение наиболее простым способом и использовать очистку, чтобы убедиться, что обнаружено любое повреждение.

Я регулярно использую ZFS send / receive для резервного копирования RAIDZ на внешние USB-накопители емкостью 1 ТБ 2,5 дюйма.

Только один раз я обнаружил ошибку (обнаруженную при очистке) на резервном диске. Очистка выполнялась через некоторое значительное время после отправки / получения, поэтому я не могу быть уверен, была ли ошибка введена во время передачи или произошла через некоторое время после того, как данные уже были на диске, но я сильно подозреваю, что последнее .

Резервный диск представлял собой один диск без RAIDZ, моментальных снимков или нескольких копий, ZFS не могла восстановить один поврежденный блок, но это было тривиально исправить вручную, скопировав исходный файл.

Я согласен с тем, что отправка / получение ZFS выглядит достаточно надежно, по крайней мере, на серверном оборудовании. Мой вопрос, связанный с риском, который я принимаю, касался в основном отсутствия оперативной памяти ECC на «резервной» машине. ZFS выполняет большую часть работы с вашими данными в памяти перед их записью на диск. Я бы использовал зеркальные резервные диски для резервирования (в отличие от RAID), чтобы предотвратить вычисления четности без поддержки ECC (более рискованно, IMHO). Оснащен ли аппарат для управления внешним жестким диском вашего потребителя ECC RAM? Рад слышать, что кто-то уже успешно использует диски с ZFS в качестве носителя для резервного копирования. Jay 11 лет назад 0
@ Джей, да, машина использовала ECC RAM. Я согласен с вами, что ECC желателен для резервного копирования, но он не будет защищать ваши данные при перемещении по сети или после записи на диск. Mike Fitzpatrick 11 лет назад 0
[Блог Джеффа Бонвика] (https://blogs.oracle.com/bonwick/entry/zfs_end_to_end_data) дает некоторое представление о сквозной целостности данных ZFS. Цитата: «Пул хранения ZFS на самом деле представляет собой просто дерево блоков. ZFS обеспечивает изоляцию ошибок между данными и контрольной суммой, сохраняя контрольную сумму каждого блока в указателе его родительского блока, а не в самом блоке. Каждый блок в дереве содержит контрольные суммы для всех его дочерних элементов, поэтому весь пул самопроверка. " Mike Fitzpatrick 11 лет назад 0
Я согласен с вашим подходом. Я не гуру ZFS, но я чувствую, что риск иметь zpool на настольном компьютере с не-ECC будет меньше, чем сложность монтажа удаленных дисков на сервер через Ethernet. ECC устраняет менее вероятную проблему повреждения памяти - и очистка пула с несколькими копиями, скорее всего, обнаружит любые проблемы из-за повреждения диска. STW 10 лет назад 0

Похожие вопросы