Централизация данных AWS

469
Benjamin Jones

Я хочу централизовать около 1 ТБ данных в AWS для 3 в помещениях (5 пользователей в каждом месте). Мы растем, но все еще маленькие. Каждое местоположение имеет 30 / 5mpbs соединение. Каждый имеет свой собственный сервер Linux. Я верю, что знаю, что делать, но у меня есть пара вопросов.

1.) Поскольку данные будут находиться в облаке, я хочу оптимизировать трафик между локальными системами и AWS. Существует ли версия Branch Cache для Linux? Или что-то хранить локально между помещением и облаком? Хранилище - это ТОЛЬКО ЕСЛИ мы не можем найти другого решения.

2.) Я лучше с s3, ebs, efs? (Существует пакет, который будет монтировать S3 Bucket).

3.) Если я выберу ebs / efs (с экземпляром), будут ли скорости передачи медленнее или быстрее по сравнению с s3? S3 использует оптимизацию?

0
Какого рода данные, как к ним получают доступ и как их используют, и обмениваются ли эти данные местами? Я знаю, что это довольно широкий или расплывчатый набор вопросов, но есть много, много вещей, которые могут пойти не так по глобальной сети, которые отлично работают в локальной сети. Если вы говорите о чем-то вроде базы данных MS-Access (Jet), вы даже не захотите попробовать это. Другие случаи не так однозначны, но для понимания применения требуются дополнительные детали. Michael - sqlbot 7 лет назад 0
Конечно . Файлы, такие как документы, изображения и любые другие приложения, сохраненные файлы. Из того, что я прочитал, присоединение Ebs к экземпляру может привести к подключению на прем через samba, но без кеширования или оптимизации. Буду ли я лучше с чем-то вроде cachefs или, может быть, Toffee / WAN прокси для оптимизации? Benjamin Jones 7 лет назад 0
Реальная проблема заключается в деньгах, потому что, если я использую технологию оптимизации WAN, такую ​​как русло, я не особо экономлю много денег, концентрируясь на AWS. Benjamin Jones 7 лет назад 0
Да, для файлов, которые открываются и сохраняются людьми, вам почти наверняка понадобится что-то, чтобы обеспечить некоторую волшебную локальную оптимизацию. Конечно, локальное хранение 1 ТБ данных, даже на избыточных дисках, не является дорогостоящим предложением в наши дни. Возможно, то, что вам действительно нужно из облака, - это скоординированное резервное копирование / синхронизация / зеркало, а не «централизация» в общем первичном резервном хранилище. 1 ТБ будет стоить вам 30 долларов на S3, 100 долларов на EBS или 300 долларов на EFS, но не поддавайтесь соблазну попытаться эмулировать файловую систему с S3. Это не один, и s3fs прилагает смелые усилия для преодоления разрыва, но этого недостаточно. Michael - sqlbot 7 лет назад 0

2 ответа на вопрос

0
Amos Shapira

Похоже, работа для Amazon Storage Gateway . Хотя я никогда не использовал его сам, поэтому не могу дать больше подробностей, чем на этой странице.

0
Adir Akerman

Сначала определитесь с типом облачного хранилища. Amazon AWS предлагает несколько различных вариантов хранения. Более подробную информацию можно найти здесь .

  1. S3 (Simple Storage): сервис статического хранения, предназначенный для архивирования, статических веб-сайтов или распространения мультимедиа. Максимальный размер файла одного объекта S3 составляет 5 ТБ. Производительность оптимизирована для передачи больших объемов данных.

  2. EBS (Electric Block Storage): постоянное хранилище для баз данных, приложений, хранилище. Лимит хранения 16 ТБ. Доступ только из 1 экземпляра EC2, который содержится в одной зоне доступности.

  3. Amazon EFS (Elastic File System): работает как управляемая сетевая файловая система, но в облаке. Его можно использовать для всех экземпляров AWS EC2. Максимальный размер файла составляет 52 ТиБ. Производительность более гибкая, чем другие варианты.

Что касается оптимизации ваших данных, есть Amazon Storage Gateway. Или есть такие сервисы, как Datapath.io. Кроме того, Amazon предлагает AWS Direct Connect для выделенного соединения между вашими серверами и AWS. Чтобы обеспечить более согласованное соединение, вы также можете приобрести выделенные IOPS за плату.

Оптимизация производительности AWS - это сочетание выбора правильного типа хранилища и экземпляров для ваших индивидуальных данных, управления передачей данных и эффективного сетевого конвейера.

Похожие вопросы