Какой вид периодического обслуживания следует выполнять для резервного копирования жесткого диска?

С профессиональной точки зрения, ваши варианты:

1. Молиться.
2. Сделайте несколько копий на нескольких устройствах.

В вашем «варианте 1» (гораздо больше места) вы можете очень незначительно увеличить свои шансы, делая несколько копий на одном и том же оборудовании, но факт заключается в том, что аппаратное обеспечение дает сбой, что нередко делает весь диск нечитаемым. Одна копия не является жизнеспособной стратегией резервного копирования.

Мне неясно, является ли это фактической резервной копией (файлов на основном устройстве) или архивом (файлов, удаленных с основного устройства). Дополнительная копия несколько важнее, если вы вообще заботитесь об архивном случае - в В случае с резервной копией теоретически существует первичная копия, поэтому вам нужно сделать как минимум две ошибки, прежде чем вам не повезет.

Если у вас больше свободного места, чем для резервных данных - ваш вариант 1 в вопросе - или если у вас есть несколько копий данных, у меня есть идея, что «что-то делать»; если вы думаете, что SpinRite действительно помогает с «обслуживанием» жесткого диска и / или хотите полностью перезаписать, а затем переписать каждый бит ваших данных, это будет сделано.

Должны ли вы что-то делать или нет, я не слишком уверен ... кажется, что бит-гниль или деградация данных действительно существуют, и такие вопросы, как этот здесь, на superuser, и этот на сервере, похоже, советуют выполнять резервное копирование или, возможно, ошибку. корректирующий или отказоустойчивый RAID (но только для одного жесткого диска я бы выбрал несколько резервных копий и проверок хэша / CRC и не беспокоился о том, что делать в случае сбоя RAID).

Я склоняюсь к более простому и ленивому подходу «ничего не делать», но следующее, по крайней мере, хорошо: «убедитесь, что я все еще могу читать свои данные раз в год, и с тем же успехом могу переписать это тоже» .

Linux DIY Emulation некоторых функций обслуживания SpinRite

Многие люди убеждены, что SpinRite действительно работает, но он не бесплатный, и я использую Linux, так что я слушал, как Стив Гибсон КАК работает SpinRite? видео, и он говорит, что SpinRite сейчас делает:

• Читает весь диск
• Переворачивает биты и записывает их
• Читает их снова
• Переворачивает биты обратно и записывает их
• Читает их снова

Если диск обнаруживает какие-либо (незначительные) проблемы, это должно «побудить сам диск заменить плохие сектора на хорошие».

Как часто вы должны это делать? Стив говорит: «Никто не знает, как часто это происходит, но каждые несколько месяцев должно быть достаточно часто» . Я просто угадываю каждые 6 месяцев или каждый год или около того.

badblocks

Процесс чтения / переворачивания / чтения / переворачивания звучит почти идентично тому, что badblocksпроисходит, когда он использует тестирование в режиме записи ( -wопция), только на самом деле он не «переворачивает» ваши данные, но разрушительно записывает, читает и переворачивает все биты на разделе:

С помощью этой опции badblocks сканирует плохие блоки, записывая некоторые шаблоны (0xaa, 0x55, 0xff, 0x00) на каждый блок устройства, читая каждый блок и сравнивая содержимое.

Неслучайно, эти шаблоны в двоичном виде: 10101010, 01010101, 11111111, 00000000.

Так что badblocks пишет, читает и переворачивает биты довольно тщательно, и это тоже бесплатно. Если вы mke2fsзапустили badblocks (с badblocks -cc), он сохранит список badblocks, так что ext2 / 3/4 их избежит, если они были найдены.

Недостатком является то, что тестирование записи badblocks деструктивно, поэтому для работы вам понадобится как минимум два раздела (чтобы сохранить и записать ваши данные).

• Храните две копии ваших данных на жестком диске, каждый на разных разделах! ,
  Это позволяет перезаписывать каждый бит в одном разделе с 10, 01, 11, 00, что удваивает ваши шансы на восстановление в случае возникновения проблемных областей. И сохраняйте список контрольных сумм / хэшей для ваших файлов данных, таких как CRC32 или MD5 (хотя MD5 / SHA очень медленны по сравнению с CRC, и CRC не должна пропускать случайные ошибки)
• Каждые несколько месяцев:
  1. Прочитайте ваши резервные копии и убедитесь, что они все еще соответствуют контрольным суммам / хэшам.
  2. "Псевдо" -бит-перевернуть раздел с помощью badblocks -wили mke2fs -cc( Только ОДИН раздел, не перезаписывать все ваши данные, только одна копия!)
  3. Скопируйте ваши данные обратно в перевернутый раздел
  4. «Псевдо» -бит-перевернуть другой раздел (еще не перевернутый)
  5. Скопируйте ваши данные обратно в этот перевернутый раздел

Это похоже на простое переформатирование и копирование ваших данных обратно, но быстрый / стандартный формат обычно не записывает в каждый сектор, так что вы можете в конечном итоге не изменять / переворачивать многие биты

Лучшее решение - это всегда несколько копий на нескольких устройствах .
Я читал, что оптические носители могут быть читаемыми в течение 10, 20, может даже 50+ лет, и два идентичных диска / ISO будут соответствовать gddrescue(ниже).
Облачное хранилище часто бесплатно на несколько ГБ, поэтому хранение файлов (возможно, зашифрованных) может быть хорошей идеей, особенно если объемы продолжают расти.

Кроме того, сохранение ваших файлов в архиве с исправлением ошибок может помочь, если обнаружатся какие-либо ошибки, но потерять один файл из миллиона может быть не так плохо, как потерять целый архив из миллиона файлов. Если бы существовало какое-либо отдельное программное обеспечение для исправления ошибок, такое как ECC-CRC, это могло бы помочь, но я не знаю ни одного, и дополнительная копия данных была бы еще лучше.

Тангенциально связанный, SpinRite также «очень старается» читать данные с поврежденного сектора жесткого диска, считывая данные с разных направлений и скоростей, что также очень похоже на gddrescueслучай, если (или когда) у вас возникнут проблемы с чтением ваших данных, gddrescue также может прочитать две копии данных с ошибками и, надеюсь, собрать одну полную хорошую копию, и у меня возникает соблазн сделать две (или более) одинаковые копии вашего раздела данных dd, но затем, если badblocks найдет какие-нибудь поврежденные сектора, вы не мог избежать их, так как это изменило бы идентичные копии.

Поскольку большинство постеров здесь, кажется, пропустили это, я рекомендую ответить на конкретный вопрос вашего вопроса, используя этот отличный пост: « Какой носитель следует использовать для долгосрочного хранения больших объемов данных (архивирования)? в качестве руководства. Я не буду ссылаться на ссылки и исследования оттуда, поскольку он проделал отличную работу, и чтение всего поста лучше, чем краткое изложение для этого случая.

Ограничив себя одним жестким диском в холодном хранилище (в автономном режиме), с двумя указанными опциями вы должны подключать диск каждые пару лет или около того и раскручивать его. Самая главная причина для этого состоит в том, чтобы не дать смазке шпинделя затвердеть и схватиться. Смазка шпинделя будет затвердевать в течение долгого времени, и прядение диска один раз в некоторое время может значительно задержать эту возможность. Если вы хотите получить представление о важности смазки для жесткого диска, посмотрите, сколько усилий приложит Minebea, производитель двигателей для жестких дисков в своем докладе об этом .

Пока диск подключен, вы также можете запустить некоторую диагностику SMART, чтобы найти признаки надвигающегося отказа либо электроники, оборудования или платы. Хотя, согласно исследованию, представленному на FAST'07 Google и Университетом Карнеги-Меллона (победившему в этом году в номинации «Лучшая статья»), тест SMART может указывать на неудачу, но «проходной» тест не может свидетельствовать о хорошем здоровье. Тем не менее, проверка не повредит. Да, это старое исследование, но никто, кажется, не заменил его чем-то более новым.

Если накопитель поработает некоторое время и получит доступ к данным, это также восстановит силу магнитных полей, в которых хранятся данные. Некоторые утверждают, что в этом нет необходимости, основываясь на полных анекдотических свидетельствах, но, как показывают исследования, это указывает на то, что ослабление магнитных полей возможно. Я представляю три документа из Университета Висконсин-Мэдисон: Паритет загрязнение, Повреждение данных, и диск-Pointer коррупцией . Прочитав их, вы можете решить, насколько их выводы угрожают вашим данным, и сколько усилий стоит защитить от них.

Предлагаемая процедура курирования

Я не знаю, какую ОС вы используете, какие инструменты у вас есть или предпочитаете, и какую файловую систему вы выбираете. Поэтому мои предложения будут только общими, что позволит вам выбрать инструменты, которые лучше всего соответствуют вашей конфигурации и предпочтениям.

Во-первых, это настройка для хранения. Перед сохранением файлов на жесткий диск создайте их архивы. Это не подразумевает сжатие и не избегает его. Выберите формат архива, который даст вам возможность восстановления после ошибок или «самовосстановления». Не создавайте один огромный архив, скорее архивируйте вещи, которые принадлежат друг другу, создавая библиотеку архивов. Если вы выбрали сжатие, убедитесь, что оно не мешает восстановлению после ошибок. Для большинства форматов музыки, видео, фильмов и изображений нет смысла делать сжатие. Такие форматы файлов уже сжаты, и попытка сжать их редко занимает место, иногда создавая большиефайлы, и тратит впустую ваше время и мощность процессора в сделке. Тем не менее, заархивируйте их для исправления ошибок выше. Затем создайте контрольную сумму для каждого файла архива, используя алгоритм дайджеста по вашему выбору. Безопасность здесь не проблема, просто проверка работоспособности файла, поэтому MD5 должно быть достаточно, но все будет работать. Сохраните копию контрольных сумм с архивными файлами, иво-вторых, на том же жестком диске - возможно, выделенный каталог для общего сбора контрольных сумм. Все это сохраняется на диск. Далее, и это очень важно, это также сохранить на этом жестком диске инструменты, которые вы использовали для создания контрольных сумм и для восстановления архивов (и также распаковывать их, если вы использовали сжатие). В зависимости от вашей системы это могут быть сами программы или могут потребоваться установщики для них. Теперь вы можете хранить жесткий диск, как вы выбираете.

Во-вторых, хранение. Нынешние жесткие диски достаточно защищены от физического удара (сотрясения и подпрыгивания), но толкать его тоже нет смысла. Храните его так, как вы упомянули в своем вопросе. Я хотел бы добавить, чтобы попытаться избежать областей, где он может подвергаться воздействию электромагнитных сил. Например, не в той же замкнутой, как у вас панель автоматического выключателя или над радиостанцией HAM. Молния далеко, это то, что вы не можете избежать, но, скажем, пылесос и мощность можно избежать. Если вы хотите стать экстремальным, возьмите для него щит Фарадея или сумку Фарадея. Из вас два предложения либо бессмысленны, либо плохи. Изменение его физического положения во время хранения не повлияет на все, что имеет значение, и встряхивание можетнаносить ущерб, не должен, так как большинство дисков имеют хорошую защиту от G-удара, но это возможно.

Последний периодические меры. По расписанию вы выбираете, ежегодно или раз в два года, например, удалить его из хранилища и повторно подключить его к компьютеру. Запустите тест SMART и прочитайте результаты. Будьте готовы заменить диск, когда результаты SMART покажут вам, не «в следующий раз», а «на этот раз». Пока он подключен, проверьте все архивные файлы по их контрольным суммам. Если какая-либо из них не прошла проверку, попробуйте использовать возможности восстановления в формате архива для восстановления этого файла, воссоздания архива и его контрольной суммы и повторного сохранения. Так как вы также указали вариант 2 как «достаточно много» свободного места, скопируйте архивы в новые каталоги и затем удалите оригиналы. Простое «перемещение» их может вообще не двигать. Во многих новых файловых системах перемещение файла изменит каталог, в котором он указан, но содержимое файла останется там, где оно есть. Копируя файл, вы заставляете его писать в другом месте, затем вы можете освободить место, удалив оригинал. Если у вас много архивных файлов, ни один из них не будет настолько большим, чтобы заполнить свободное место на жестком диске. После того, как вы проверили или восстановили все файлы и переместили любые файлы, которые хотите, восстановите упаковку и сохраните ее до следующего раза.

Дополнительные вещи, на которые стоит обратить внимание. Когда вы обновляете свою систему или, что еще хуже, переключаетесь на другую ОС, убедитесь, что у вас все еще есть возможность читать этот жесткий диск в новой конфигурации. Если у вас есть что-то, что не является простым текстом, убедитесь, что вы не потеряете возможность читать файл как сохраненный. Например: документы MS-Word могут иметь уравнения, созданные в одном формате, более новые версии не могут их прочитать. Смотрите это для этой самой проблемы. Однако Word - не единственный возможный источник проблем, и даже форматы с открытым исходным кодом не гарантируют, что ваши данные будут ориентированы на будущее. Для серьезной ошибки в этой области прочитайте о неудачном проекте Digital Domesday Book, По мере появления новых технологий рассмотрите возможность обновления вашей коллекции. Если у вас есть фильмы, сохраненные в виде файлов AVI, и вам больше нравится MKV, конвертируйте их. Если у вас есть документы для обработки текстов и вы обновили свою программу, сохраните архивированные документы в новом формате.

Я всегда чувствовал хитрость в том, чтобы предположить, что ваш диск не удастся . Есть несколько способов отказа, которые являются случайными. Для неслучайных сбоев - здесь есть два аспекта - диск и файловая система.

Хотя это немного необычный источник - этот поток reddit предполагает, что один данный бит может перевернуться через 10 лет или около того, хотя я подозреваю, что один перевернутый бит будет незаметно обрабатываться ECC - либо в файловой системе, либо на самом диске.

Обычно вы можете найти возрастные «крупномасштабные» проблемы с периодическими тестами SMART - рассматривая такие вещи, как ожидающие перераспределения секторов. С относительно короткими рабочими циклами, вы не должны видеть много, но мы здесь немного параноики. Еще раз, пока все не станет действительно плохо, ваш диск, скорее всего, будет молча обрабатывать это в ECC.

Наконец, существует риск внезапной смерти привода или контроллера . Теоретически, вы можете управлять двигателем, управляя им при контролируемых, прохладных температурах, которые, как известно, увеличивают срок службы привода, но я никогда по-настоящему не заботился о приводах.

Предполагается, что накопители имеют определенное количество ускорений и замедлений (здесь это не проблема), и я подозреваю, что правильное извлечение диска позволит сбрасывать данные на диск, и есть инструменты для отключения дисков. Я верю, что hdparm сделает это, но мне нужно немного больше тестирования.

Наконец, я выбираю диски, которые, как известно, длятся . Я также чередую внешние диски каждые несколько лет, перемещая старые диски вниз по иерархии.

В теории файловых систем, таких как рефы и ZFS предназначены для снижения риска потери данных, хотя интегральных суммы данных. По крайней мере, у вас не будет файлов, которые будут повреждены молча. Выбор их из более распространенных файловых систем, вероятно, уменьшит вероятность потери данных, но пока нет «простого» способа их развертывания в настольной ОС. ZFS имеет достаточно приличную поддержку для Linux и не для Windows, а ReFS еще не дошла до рабочего стола Windows. Они предназначены для использования нескольких копий на одном или нескольких дисках для фактического восстановления, поэтому здесь не сработает.

Магнитные носители могут со временем исчезать, и в результате получается плохой бит или сектор. Одним из решений может быть обновление магнитной части раз в несколько лет.

Самый простой способ - скопировать и перезаписать весь жесткий диск, хотя это может не обновить адрес сектора, который является «заголовком» сектора, который позволяет встроенному программному обеспечению устанавливать на него головку. Обновление адреса сектора может потребовать переформатирования диска (глубокий формат - не быстрый).

Альтернативное решение - использовать продукты для регенерации дисков. Эти продукты сканируют диск на физическом уровне, читая каждый сектор и его адрес и перезаписывая оба, чтобы обновить магнитные данные.

Дополнительным бонусом является то, что в случае ошибки чтения эти продукты будут пытаться использовать несколько методов чтения, чтобы сохранить данные, пометить сектор как плохой и переназначить его в резервный сектор (большинство жестких дисков имеют запасные сектора), поэтому данные сохранены.

Вот несколько таких продуктов:

• DiskFresh (бесплатно для частного и некоммерческого использования или $ 25) - часть утилит Puran, которые получают хорошие отзывы. Он только информирует вас о наличии поврежденных / поврежденных секторов и не выполняет расширенное восстановление.

• SpinRite ($ 89 с гарантией возврата денег) - Это не обновлялось довольно много лет, хотя несколько лет назад он все еще сохранял мой диск. Я бы не стал доверять гарантии возврата денег, так как товар довольно старый.

• HDD Regenerator ($ 89,99 с гарантией возврата денег) - новый продукт с хорошими отзывами.

Для полноты информации для читателей, ищущих безопасное долговременное хранение, я хотел бы отметить, что существуют продукты DVD и Blu-Ray с однократной записью и навсегда, коммерчески маркированные как M-DISC или Archival Disc.

Никакое обслуживание не должно выполняться вообще. Повторное подключение накопителя и его включение представляет более высокий риск, чем непрерывная работа, и намного выше, чем дежурство в коробке. Так что проверка его очень часто на самом деле увеличит вероятность повреждения.

Как вы храните это отлично, но не забывайте о температуре . Не позволяйте этому быть экстремальным. Что именно вы используете в качестве резервного диска? Некоторые из них более долговечны, чем другие.

Что вы можете сделать, так как у вас достаточно места, как вы заявили, сделать две копии одинаковых данных на жестком диске . В случае плохих секторов у вас все будет хорошо. Из того, что я заметил, большинство накопителей сегодня получают повреждения сектора в начале накопителя (первые несколько ГБ), но это в основном из-за операционной системы (не ваш случай). Как правило, поврежденные сектора изначально появляются в большинстве случаев кластеризованными вместе, поэтому наличие двух копий данных на одном диске помогает.

Если у вас есть всего несколько критически важных файлов, было бы неплохо сохранить их в другом месте, просто для безопасности. Сделайте зашифрованный архив и положите его на флешку или отдайте тому, кому доверяете.

Как видно из рекомендаций других, один резервный ресурс не является надежным решением, если резервная копия имеет какую-либо ценность. Опыт работы с электронными устройствами научил многих из нас (трудным путем), что это не вопрос ЕСЛИ, а КОГДА устройство резервного копирования выйдет из строя.

Жесткие диски предназначены для относительно короткого хранения данных. Две отличные статьи: https://serverfault.com/questions/51851/does-an-unplugged-hard-drive-used-for-data-archival-deteriorate и сколько времени неиспользуемый жесткий диск теряет свои данные? обсудить срок службы данных, хранящихся на жестком диске. Как всегда, ваш пробег может отличаться.

Решение для резервного копирования, которое вы описываете, лучше, чем вообще никакого резервного копирования, но у вас все еще есть единственная точка отказа. Имея резервную копию на одном устройстве, вы рискуете потерять ЕДИНСТВЕННУЮ копию своих данных в результате пожара, наводнения, кражи, взрыва, отказа устройства и т. Д. Таким образом, вопрос заключается в следующем: ваши усилия по сохранению вашей резервной копии - достойный расход вашего времени?

Для достижения цели, т. Е. Резервной копии, на которую можно положиться, требуется более одной резервной копии. Если вы собираетесь хранить данные на жестком диске, резервное копирование требует периодического «обновления», чтобы противостоять долговременному ухудшению качества данных, присущему жестким дискам. Если бы я был в вашей обуви, я бы купил второй резервный диск, похожий на оригинальный, и раз в год копировал бы данные с основного диска на дополнительный диск. В конце каждого года выполняйте в обратном порядке процесс и копируйте данные с дополнительного диска обратно на основной диск. Полоскать и повторять каждый год. Один из дисков должен оставаться вне офиса, удаленным от вашего местоположения, чтобы избежать потери единственной копии данных в случае стихийного бедствия.

Я не смог найти достоверных, научно обоснованных данных по этому вопросу. Вообще говоря, есть два аспекта этой проблемы:

1. Гниение битов : различные физические эффекты могут перевернуть биты, хранящиеся в магнитных доменах, хранящихся на пластинах жесткого диска, что приведет к повреждению данных на жестком диске. (диск все еще полностью функционален)
2. Механические проблемы : включение / выключение привода, вращение или остановка пластин, условия хранения и естественное старение могут сделать привод непригодным к использованию через некоторое время. (данные все еще могут быть нетронутыми и восстанавливаемыми)

Немного гнили обсуждается в этой теме с 2008 года. Пользователь arnaudk писал:

Из того, что я могу выяснить, похоже, что вам потребуется около 22 лет (подробности ниже), чтобы вы потеряли свои данные из-за размагничивания с тепловым приводом, если бы жесткий диск просто неподвижно сидел при комнатной температуре в темном углу. На самом деле, это время будет немного короче из-за механических вибраций и внешних магнитных полей, возникающих из-за всего, начиная от двигателя самого жесткого диска и заканчивая грозами в 50 км.

Приемлемые уровни затухания сигнала варьируются в зависимости от конструкции системы, но обычно колеблются в пределах 10-20% [ref4], поэтому для получения 20% полной битовой области потребуется (-1/326000) * ln (0,8) = около 22 лет для всей битовой области слабее, что приводит к возможной потере данных только из-за эффектов теплового размагничивания.

^{(прямая ссылка на пост)}

Это единственная оценка, которую я смог найти. Если это правильно, вы можете смело перезаписывать весь диск каждые 5 лет, чтобы «обновить» данные.

Механические проблемы - еще большая загадка. Backblaze - это компания, которая использует в своем центре обработки данных тысячи жестких дисков потребительского уровня и регулярно публикует обновления о своем благополучии. По их оценкам, после 4 лет вращения 24/7 20% жестких дисков умерли, и если тенденция сохранится, через 6 лет половина из них исчезнет. Это более или менее соответствует цифрам из этого документа Google . Однако это не стандартный вариант использования жесткого диска, и мы вряд ли сможем сравнить его с диском, который находится в автономном режиме в коробке. Я не знаю ни о каких исследованиях, которые занимались этим делом.

В общем, если вы действительно заботитесь об этих данных, вы должны хранить две их копии и переносить их на новый жесткий диск, прошедший стресс-тестирование, каждые 5 лет или около того. Это должно держать магнитные домены и оборудование достаточно свежими, но YMMV.

Увеличение срока службы жесткого диска является одним из вопросов, в котором вы получите лучший результат, выполнив наименьшее количество. Разверните его, поместите на твердую платформу вдали от сильной жары, влажности, пыли или радиации, где достаточно циркуляции воздуха и наименьшая вероятность того, что ребенок разбил его случайно. Вы можете ожидать от своего жесткого диска долгой жизни до тех пор, пока не придет время обновить его.

Возможно, трудно признать, что в качестве потребителя вы можете сделать очень мало (даже ничего), чтобы продлить срок службы жесткого диска. Но, безусловно, есть способы повысить вероятность выживания ваших данных: ReFS, RAID и резервное копирование.

Поверьте, индустрия работает над повышением долговечности самих данных, а не жестких дисков.

По моему опыту, частое переключение со старта / останова (холостого хода / бега) плохо для жестких дисков, лучше держать их всегда крутящимися, если вы хорошо, что это будет потреблять больше электричества. (Протестировано на нескольких системах с одними и теми же жесткими дисками из одного и того же магазина, где одни жесткие диски всегда вращаются, а другие нет)

На всех серверах мы проводим регулярные тесты SMART в день и короткие тесты SMART в выходные, что, по крайней мере, может дать представление о сбое жесткого диска. Если вы используете ZFS, то достаточно регулярно выполнять «чистку» один раз в месяц для корпоративных версий жестких дисков и один раз в 2 недели для жестких дисков потребительского уровня.

Хороший, достойный источник питания также является одним из факторов здорового жесткого диска, а также ИБП, которые предотвращают случайное отключение электричества от жесткого диска. (Внешние жесткие диски получают питание от компьютера, поэтому это относится и к ним)

Вибрация / тряска во время работы жесткого диска для них тоже не годится. (Особенно важно для портативных HDD - не перемещать их во время работы)

Кроме того, выбор правильной модели для конкретных рабочих мест жесткого диска (видеонаблюдение, сетевое хранилище, настольный компьютер ...) - это способ продлить их жизнь