Конфигурация и спецификации RAID сервера хранилища кластера (проверка работоспособности)

278
Ondrian

Мы планируем купить кластер для научных расчетов, в настоящее время мы находимся в процессе составления спецификаций. Мы не совсем уверены, какими должны быть спецификации сервера хранения .

Сам кластер будет содержать ~ 200 вычислительных узлов, соединенных сетью с малой задержкой (для параллельных вычислений), и будет использоваться прибл. 25 пользователей.

Хранение будет ок. 200 ТБ доступного пространства и будет использоваться для выполнения вычислений (у вычислительных узлов не будет дисков) и не должно служить резервной копией данных (т. Е. Нам не требуется защита от потери данных промышленного уровня).

Я придумал следующее; комментарии и предложения очень ценятся.

Характеристики:

  • Технология ZFS для создания единого тома и защиты от сбоев дисков
  • используйте настройку RAID-Z2 или RAID-Z3 для нескольких пулов с четностью 25%, что означает 8 дисков на RAID-Z2 или 12 дисков на RAID-Z3.
  • какая-то технология кеширования с использованием SSD (для увеличения скорости ввода / вывода часто используемых файлов)
  • 10 Гбит newtork (или даже 100 Гбит, если это возможно)

Вопросы и заметки:

  • Мы обеспокоены скоростью ввода-вывода, несколько (25+) процессов будут записывать большие объемы данных в хранилище
  • Мы не будем читать / записывать большое количество маленьких файлов (это не будет разрешено)
  • Мы ожидаем, что диски выйдут из строя в течение срока хранения (~ 5 лет), и мы не хотим терять данные, но частичная потеря данных в течение этого времени (скажем, один раз) является приемлемой - какова вероятность такой установки?
  • Сколько горячих резервов (по отношению к общему количеству дисков) мы должны запросить?
  • Я действительно не знаю, какая такая технология кэширования (если есть) доступна
  • Компоненты кластера будут работать под управлением Linux

Редактировать:

Обратите внимание, что я не ищу совета по аппаратным спецификациям - мои вопросы в основном направлены на то, какое поведение я должен ожидать при использовании указанной настройки ZFS (RAID) . Спецификации оборудования приведены здесь только для того, чтобы указать размер моей системы.

0

0 ответов на вопрос

Похожие вопросы