Какую файловую систему следует использовать для большого объема дискового пространства в Linux (> 32 ТБ)?

1465
bjcubsfan

Я пытаюсь сделать большую файловую систему в Linux, но столкнулся с проблемами многих распространенных файловых систем.

  • В JFS есть ошибка, которая не позволяет расширение более 32 ТБ.
  • В XFS есть ошибка в fsck, которая заставляет машину использовать всю доступную память, и происходит сбой при запуске fsck на диске, который содержит большой объем данных (~ 20 ТБ).
  • EXT4 ограничен 16 ТБ из-за проблемы с e2fsprogs.
  • BTRFS будет хорош, но в настоящее время у них нет fsck, который мне понадобится.

Есть другие идеи?

4
Зачем вам "нужен" fsck? ZFS не имеет fsck и не нуждается в этом по своему замыслу. jlliagre 13 лет назад 0
Сколько места мы здесь говорим? beatgammit 13 лет назад 0
У нас 200TB дисков. Мы постоянно добавляем данные, но сейчас у нас есть около 30 ТБ данных. Если fsck разработан, это нормально. Что касается BTRFS, в их [wiki] (https://btrfs.wiki.kernel.org/index.php/Main_Page) указан список того, что вы не сможете восстановить после сбоя или потери питания. Мы иногда терпим крах и теряем власть, поэтому нам нужно что-то, что справится с этим. Я полагаю, что ZFS будет работать, и рассмотрит это. Есть недостаток, что это только на предохранителе, хотя. bjcubsfan 13 лет назад 0

2 ответа на вопрос

4
Majenko

Это может быть не так быстро, как другие, поскольку это всего лишь система, основанная на предохранителях в Linux, но ZFS может соответствовать всем требованиям ...

Название первоначально расшифровывалось как «Zettabyte File System». Оригинальные селекторы имен оказались похожими на имя, а файловая система ZFS имеет возможность хранить 2 58 зетабайт, где каждый ZB равен 2 70 байтов.

ZFS - это 128-битная файловая система, поэтому она может адресовать 1,84 × 10 в 19 раз больше данных, чем 64-битные системы, такие как NTFS. Ограничения ZFS разработаны так, что они никогда не встретятся. Некоторые теоретические ограничения в ZFS:

  • 2 48 - Количество записей в любом отдельном каталоге
  • 16 эксабайт (16 × 10 18 байт) - максимальный размер одного файла
  • 16 эксабайт - максимальный размер любого атрибута
  • 2 56 зеттабайт (2 78 байт) - максимальный размер любого zpool
  • 2 56 - Количество атрибутов файла (фактически ограничено 2 48 для количества файлов в файловой системе ZFS)
  • 2 64 - Количество устройств в любом zpool
  • 2 64 - Количество zpools в системе
  • 2 64 - Количество файловых систем в zpool

Есть люди, которые говорят, что в земной коре недостаточно атомов, чтобы сделать массив хранения файлов достаточно большим, чтобы превзойти ограничения ZFS.

0
Robin Roth

ZFS является возможным решением, но в настоящее время можно также использовать файловые системы, которые вы исключили в начале

  • ext4: петабайтная файловая система не должна быть проблемой в последних версиях e2fsprog и kernel
  • btrfs: имеет рабочий btfsck и может также масштабироваться до больших размеров.

Похожие вопросы