Какую файловую систему я могу использовать для большого количества небольших данных?

450
hirschme

Я копировал ~ 3,7 ТБ данных с одного внешнего диска объемом 4 ТБ с файловой системой HFS +, на другой внешний диск объемом 4 ТБ с файловой системой exFAT. Новый жесткий диск был заполнен после того, как только ~ 75% данных могли быть переданы, из-за, я предполагаю, размера единицы размещения exFAT, занимающего больше места на файл для файлов маленького размера.

Я копирую много (~ миллионов) маленьких файлов (1,5 КБ каждый). Поэтому я пытаюсь понять, как это сделать.

Поэтому мне нужна файловая система, которая удовлетворяет следующим требованиям:

  • Размер блока достаточно мал, чтобы я мог вместить миллионы файлов размером 1,5 КБ, занимая минимум места. (здесь exFAT имеет проблему)

  • Совместимость с Linux для чтения / записи. (здесь HFS + имеет проблему)

  • Умеет сделать 4T раздел на Linux. (здесь у ext4 проблемы)

Любая альтернативная файловая система?

ОБНОВЛЕНИЕ: Этот вопрос был помечен как уже отвеченный в другом посте ( Оптимизация файловой системы для большого количества маленьких файлов? ). Однако принятый ответ не работает для меня:

mkfs.ext4 -b 1024 /dev/your_partition  Warning: specified blocksize 1024 is less than device physical sectorsize 4096 /dev/sdc: Cannot create filesystem with requested number of inodes while setting up superblock
2
EXT4 не имеет проблем при создании разделов 4ТБ. GabrielaGarcia 5 лет назад 1
ИМХО, лучшей файловой системой является [ZFS] (https://en.wikipedia.org/wiki/ZFS), которая имеет много преимуществ перед другими, она хорошо поддерживается на всех BSD и Linux и даже на Windows (в ранних бета-версиях). Если вы хотите быть более совместимым, то NTFS от Microsoft будет работать над `ntfs-3g`, она может быть доступна практически на любых платформах. Не используйте exFAT наверняка, в основном это старая система FAT32, но с удаленными максимальными ограничениями, которая не поддерживает какую-либо проверку целостности, а также тратит пространство, используя огромный размер кластера. Alex 5 лет назад 2
Еще один для zfs ivanivan 5 лет назад 0
@GabrielaGarcia проблема крошечных файлов, а не размер тома. \ @hirschme максимальный размер тома для ex4 - 1EiB. См. [Файловая система для миллионов маленьких файлов] (https://serverfault.com/q/6711/343888), [Какая самая высокопроизводительная файловая система Linux для хранения большого количества маленьких файлов (HDD, а не SSD)?] (https://unix.stackexchange.com/q/28756/44425), [Оптимизация файловой системы для большого количества маленьких файлов?] (https://superuser.com/q/1181868/241386), [Файловая система большого числа файлы в одном каталоге] (https://serverfault.com/q/43133/343888). Но вы должны уточнить, если ваши файлы 150 или 1,5 КБ phuclv 5 лет назад 1
Возможный дубликат [Оптимизация файловой системы для большого количества маленьких файлов?] (Https://superuser.com/questions/1181868/optimizing-file-system-for-lots-of-small-files) phuclv 5 лет назад 1
@phuclv спасибо за предложение, я исправил размер файла в вопросе и обновил с возможным повторяющимся сообщением hirschme 5 лет назад 0
@phuclv Я знаю. Я не собирался отвечать на реальный вопрос, просто исправляя часть "сделать раздел 4T ... здесь у ext4 проблемы". Не имеет GabrielaGarcia 5 лет назад 0

0 ответов на вопрос

Похожие вопросы