Создание импровизированного «суперкомпьютера» путем подключения нескольких используемых ПК в локальной сети

Предупреждение: большая часть знаний здесь носит теоретический характер и должна быть подкреплена фактами, основанными на конкретных потребностях

Вы, вероятно, могли бы / должны создать кластер. Если вы собираетесь для новых систем, самые дешевые системы многоядерные звучит как хорошая ставка (если вы идете на старых ИЗБЕЖАТЬ PENTIUM капельницы, если вы не хотите, чтобы более эффективно, чем вы обрабатываете обогревать помещение. Я хотел бы рассмотреть двухъядерный с частотой 2 ГГц Система немного лучше, чем один процессор с частотой 4 ГГц, если только у вас не было одного потока, требующего большой мощности (чего у вас нет). Я бы отметил, что в целом новые версии процессоров общего назначения обычно имеют тенденцию быть лучше, чем те, которые они заменяют, особенно в последнее время, так как энергопотребление стало проблемой. Если бы я хотел разобраться с мелочами, я бы посмотрел на различные поколения процессоров и тесты для них, чтобы получить более четкое представление об эффективности и сила.

Вы, вероятно, захотите рассмотреть загрузку рабочих систем с минимальной операционной системой, со стандартными образами через сеть, используя PXE, чтобы сэкономить на хранилище для каждой отдельной системы - поскольку ваши требования к оперативной памяти минимальны, вы, вероятно, можете иметь всю ОС в оперативной памяти, так как вы используете это только для одной цели

Возможно, вам понадобится программное обеспечение, которое может быть запущено в кластере (IE, примите это во внимание при разработке - возможно, с MPI, настройте программное обеспечение кластера и т. Д. При этом я видел МАССОВЫЕ массивы товарные ПК, связанные вместе в университете для кластера, поэтому его правдоподобно

С другой стороны, учитывая, что массивная распараллеливание является вашей главной целью, и вы собираетесь работать с массивно параллельными рабочими нагрузками, вы можете рассмотреть альтернативы кластеру x86 - в Ubuntu есть 48-ядерный кластер, который они построили из совмещенных плат разработки (I Я думаю, что кластер систем Raspberry Pi будет ... интересным и достаточно эффективным, если вы не возражаете против огромного количества странных маленьких недорогих систем).

У Journeyman Geek есть очень хорошие замечания по настройке собственного кластера, но я также хотел бы добавить, что в зависимости от вашей рабочей нагрузки может быть дешевле использовать что-то вроде Elastic Map-Reduce. Если ваша рабочая нагрузка может быть превращена в проблему Map-Reduce, вы должны обратиться к ней. После учета стоимости покупки компьютеров, электричества, охлаждения и обслуживания, возможно, будет дешевле запустить его на Amazon (0,10 долл. США в час для самого низкого стандартного уровня от Amazon, 0,045 долл. США в час, если вы используете текущий спот). цена экземпляра))

Если вы готовы приложить немного больше усилий, вы можете использовать свой собственный механизм параллельной обработки и использовать микроэкземпляр еще дешевле ($ 0,02 / час для полного экземпляра, $ 0,007 / час по текущей спотовой цене). Собственный пакет Amazon Map-Reduce не будет работать на нем. Это может быть очень полезно, если вместо этого ваш процесс связан с процессором, если память связана как микроэкземпляры быстрее, чем маленький стандартный образ, но у них нет памяти и меньше оперативной памяти.

Другим вариантом, который вы можете рассмотреть, является запуск вашей программы внутри BOINC . Это имеет преимущество существующей системы, которая уже имеет сложную часть распределения и сбора «рабочих мест». Это также позволяет вам привлечь больше людей к запуску вашей программы. Вы можете привлечь друзей или даже случайных людей в Интернете для запуска вашей программы, если вы достаточно рекламируете ее. Это позволяет вам иметь (потенциально) массивный кластер компьютеров для запуска программ без затрат на запуск большого количества небольших компьютеров и продолжающихся затрат на электроэнергию.

Обратите внимание, что я никогда не программировал на BOINC, поэтому вам придется выяснить сложность этого. Для стартовой платформы, я думаю, сэкономленное время без необходимости заново изобретать BOINC уравновесит сложность ее использования.