Варианты масштабируемых товарных GPU серверов для CUDA?

Question

gpu
gpgpu

Варианты масштабируемых товарных GPU серверов для CUDA?

2328

Dave S 2012-08-23 в 00:28

Я занимаюсь машинным обучением, которое приносит огромную пользу от использования графического процессора. Я нахожусь в пределах моей текущей настройки (рабочая станция с одним GTX580), и у меня действительно нет места для другого компьютера дома. Поэтому я собираюсь построить сервер GPU (и, возможно, несколько из них) и пытаюсь найти наиболее экономичный способ сделать это.

В идеале я хотел бы создать что-то вроде серверов Tesla от NVidia (например, s2075), но с GTX580s вместо карт Tesla. Это позволяет установить 4 карты в корпус высотой 1U, который затем подключается через удлинители PCI-e к хост-системе. DIY-версия этого, кажется, не существует.

Так что мой следующий план - перейти на 4u и, в основном, включить стандартную сборку Quad SLI. Я бы, вероятно, использовал 2 блока питания по 850 Вт для питания 4 карт. Охлаждение также может быть проблемой.

Так что мои вопросы конкретно таковы:

Если я в основном использую графический процессор и использую только процессор для обработки базовой логики и прочего, разумно ли использовать младший процессор, такой как i3?
Если я захочу найти друг друга, разве это не будет довольно дорого / потреблять много энергии?
Я поступаю неправильно, и есть ли гораздо более простой и экономически эффективный способ создания числовых процессоров GPU, а не хранить их в моей квартире?

4

NVidia перечисляет несколько компаний, которые предлагают облачные графические процессоры по требованию для ваших приложений, Amazon является крупным игроком: http://www.nvidia.com/object/gpu-cloud-computing-services.html Есть даже бесплатная тест-драйв: http://aws.amazon.com/gpu/ jozzas 11 лет назад 0

Amazon предлагает их, но они медленные (https://groups.google.com/d/msg/theano-users/2w8b3GB2AU4/XgChVNLcFQoJ), и они стоят абсолютного состояния (~ 20 000 долларов в год). Я большой поклонник AWS, но для этого конкретного случая я не думаю, что это хороший выбор. Dave S 11 лет назад 0

Вы планируете проводить вычисления 24/7, 365 дней в году? Сервис Amazon предоставляется по запросу и стоит ~ 2 доллара в час. Если вы планируете нуждаться в чем-то круглосуточном, возможно, это лучше * сделать *, но вам нужно будет провести анализ затрат / выгод. jozzas 11 лет назад 1

Карта Quad SLI или Quad GPU? (SLI предназначен для рендеринга графики. Четыре карты могут использоваться как четыре * вычислительных * источника). Hennes 10 лет назад 0

4 ответа на вопрос

1

Keltari 2012-08-24 в 03:32

Большинство серверных шасси не рассчитано на количество тепла, которое собираются произвести 4 карты. И, похоже, ваши приложения будут подталкивать карты к пиковым уровням. Вам обязательно нужно будет внимательно следить за температурой отдельных карт, а также процессора. Вам вполне могут понадобиться дополнительные вентиляторы или даже перейти на решение с жидкостным охлаждением.

Другая проблема - это шум. Если это в пространстве Коло, ничего страшного. Тем не менее, вы сказали, что это может пойти в вашей квартире, и это может быть проблемой. Поклонники на потребительских видеокартах варьируются от поставщика к поставщику. Даже «тихие» вентиляторы на видеокартах имеют шум, и вы умножите его на 4, не говоря уже о дополнительных вентиляторах, используемых для охлаждения. Опять же, жидкий охлаждающий раствор может быть хорошим решением.

Да, вы абсолютно правы в этом. Жидкостное охлаждение может быть действительно хорошим выбором - я не рассматривал его годами, но подозреваю, что рынок / оборудование с тех пор сильно повзрослели. Шум - Да, наверное, этого не обойти. Вентиляторы на 580-х довольно громкие, так что даже при жидкостном охлаждении он все равно будет звучать как реактивный двигатель. Dave S 11 лет назад 0

жидкостное охлаждение удаляет вентиляторы и использует полые радиаторы, которые позволяют охлаждающей жидкости проходить через него. Keltari 11 лет назад 0

Asus DirectCU должен держать карты круче, хотя это может быть дороже titus 11 лет назад 0

1

titus 2012-09-02 в 04:36

If you need single floating point performance, go with the GTX680, it is also more power efficient, you won't pay as much for electricity. If you need double floating point performance go with GTX 580.
Take a look at this blog post.
Also renderstream had a blogpost about an 8GPU 4U server. It's 14k$. The fixed the BIOS to get it working with all 8 cards. I think just the barebones server is 3k$.
I'm also looking to maybe build such a machine in the future, I'm not sure yet if it's worth the trouble and just rent one when I need it. It might be a good idea to split the cost and share a machine but we might end up stepping on each others toes.

0

Sirex 2012-08-23 в 00:38

I'm pretty sure amazon offer such a thing.

Likely for a lot cheaper than you'll be able to do it also.

http://aws.amazon.com/hpc-applications/

http://hpc.nomad-labs.com/archives/65

That would remove a lot of the complexity in what you want to do.

Спасибо за ответ, но AWS - плохой выбор для этого. 1) это медленно (ссылка в комментарии выше, но вот обсуждение: https://groups.google.com/d/msg/theano-users/2w8b3GB2AU4/XgChVNLcFQoJ) и 2) это действительно дорого, например, 20 000 долларов в год. Dave S 11 лет назад 0

Это облачные вычисления. Вы не должны управлять этим 24/7. Кластер из 8 терафлопов стоит 17 долларов в час. Сколько часов террафлоп требует ваша работа? Sirex 11 лет назад 0

Accepted Answer · 2012-08-24 03:11:38

Я провел немного больше исследований и собираюсь ответить на этот вопрос сам, если кто-то захочет сделать что-то подобное.

AWS (и другие поставщики) предоставляют услуги облачных вычислений на GPU. Это прекрасно работает для определенных приложений, но, конечно, не для всех. Насколько я могу судить, кластеры виртуализированных графических процессоров, как правило, работают медленнее, чем фактическое оборудование, которое они рекламируют, и они дороги, если вы используете его довольно регулярно. Приложения, в которых может быть целесообразно создавать собственное оборудование, включают 3D-рендеринг и определенные типы машинного обучения, которые выигрывают от использования графического процессора. Если вы делаете только периодические вычисления чисел, облачный GPU - хороший выбор.

Итак, на мой первоначальный вопрос - лучший выбор для серверов с графическим процессором. В настоящее время GTX580 (~ $ 400) является отличным качеством по сравнению с НАМНОГО более дорогими картами Tesla и Quadro, и производительность сопоставима. Quadro 6000 в настоящее время стоит 6000 долларов и работает примерно так же по тестам GPGPU (особенно NQueens), что и 580. У Tesla больше встроенной памяти. 680 ограничен для GPGPU и не будет работать так же хорошо, как 580. Поэтому в середине-конце 2012 года купите GTX 580.

Кажется, Quad SLI не стоит того. 4x SLI не в 4 раза быстрее. Но вы все равно можете добавить 4 GPU в вашу систему с 2x SLI, это, кажется, довольно хороший компромисс. Или просто оставьте их как отдельные карточки.

Похоже, вам понадобится шасси 4u, если вы хотите поместить его в стойку. Вы, вероятно, захотите 2 источника питания 750 Вт.

На процессоре - я не могу получить прямой ответ на этот вопрос. Для себя я, вероятно, получу нижний конец i5, а не i3.

Оттуда просто соберите столько систем, сколько вам нужно, поместите их в стойку (совместно или в серверной комнате), и все будет хорошо. Вы, вероятно, ищете менее 2500 долларов за единицу для теоретических 6 тфлопс с 4 gtx580s. Это довольно хороший удар для вашего доллара.

Для сравнения, nvidia tesla s1070 делает 4 тфлопа и стоит что-то вроде $ 8000-10 000. Но это «корпоративная» цена за производительность, которую вы можете получить намного дешевле.

Счет за электроэнергию меня тоже интересовал, я не могу получить прямой ответ на этот вопрос, я подозреваю, что он будет высоким.

Варианты масштабируемых товарных GPU серверов для CUDA?

4 ответа на вопрос

Похожие вопросы