Есть ли способ распределить задания кодирования x264 по нескольким компьютерам (чтобы увеличить скорость кодирования)?

25781
Breakthrough

Кто-нибудь знает о текущем, активном решении для кодирования видео x264 на многих компьютерах (через сеть), чтобы увеличить кодирование FPS?

Брауни указывает на кроссплатформенность и открытый исходный код, но, как вы все знаете, я обычно использую Windows.

Программы, о которых я слышал, и почему я не верю, что они подходят:

  • x264farm : не активно развивается. Хороший интерфейс, но не поддерживает двухпроходное кодирование и не работает с более новыми сборками x264.
  • ЭЛДЕР : Опять же, не активно разрабатывался, но моя проблема заключалась в том, что он не работал с новыми сборками x264, и его было очень сложно настроить (читай: случайно перестал работать).

Хотя мне абсолютно не нужна программа, которая активно разрабатывается, мне бы хотелось, чтобы она поддерживала двухпроходное кодирование и работала с новыми (er) сборками x264 .

Дополнительная информация : До сих пор я предложил (и наградил!) Две отдельные награды по этому вопросу с тех пор, как впервые опубликовал его более двух лет назад, и до сих пор не нашел решения этой проблемы. По сути, я ищу простую программу, позволяющую мне кодировать видео x264 с использованием вычислительной мощности нескольких компьютеров, подключенных по локальной сети. Кроме того, было бы неплохо, если бы он работал с новыми сборками (er) x264 и поддерживал двухпроходное кодирование.

Если в какой-то момент кто-то получит обновленный ответ или новое решение этой проблемы, пожалуйста, опубликуйте его, и он будет рассмотрен.

Обновление 2016 :

После большого опыта работы с компьютерным / машинным зрением я понял, что накладные расходы, связанные с большим объемом общих данных / памяти, и потенциальное узкое место, которое они представляют, могут перевесить потенциальные выгоды.

Хотя я все еще хотел бы найти что-то, что позволило бы мне использовать незанятые вычислительные мощности нескольких устройств, на данный момент современные кодеры на основе GPGPU являются гораздо лучшим подходом, если вам требуется улучшенное кодирование в реальном времени. Это то, что предоставляют большинство облачных платформ видеокодирования (что является еще одной альтернативой, если вы используете SaaS или облачные вычисления), хотя и в более широком масштабе.

29
Все еще работаю над этим. x264farm - это просто менеджер рендеринга, похоже, вы должны иметь возможность разместить любую версию x264 на своих подчиненных компьютерах. Вы пробовали это, и какие ошибки появляются, если вы сделали? Keck 15 лет назад 0
http://forum.doom9.org/showthread.php?p=1184152#post1184152 Breakthrough 15 лет назад 1
Я понимаю, что это старая тема, но я думаю, что я должен поделиться своим личным опытом. Не распределяйте одно задание по нескольким машинам, это пустая трата времени, распределение по нескольким ядрам уже снижает производительность, и есть несколько физических процессоров, а затем несколько машин, каждая с проблемой ввода-вывода и задержкой. При этом используйте его, когда это действительно необходимо, если есть несколько файлов (заданий), которые распределяются по файлам, я считаю, что Squeeze может распределять нагрузку на несколько машин, но это довольно дорого. Shane Hsu 10 лет назад 1
@ShaneHsu спасибо, что поделились. Я впервые написал этот вопрос более четырех лет назад, и в то время машина, которую я использовал для этой работы, не была * почти * такой же мощной, как та, которую я имею сейчас, так что тогда было гораздо больше смысла, чем продолжать маршрут. Сегодня я должен согласиться с вами - если скорость рендеринга становится проблемой, лучше всего перенести всю работу на другую машину, а не разбивать одну работу на несколько кусков (и позволить одному экземпляру кодера h.264 позаботиться о нем. любое многопоточное / многоядерное кодирование, если необходимо). Breakthrough 10 лет назад 0
Я собираюсь сделать то же самое, но, к сожалению, похоже, что этот поток в основном заполнен недоделанными решениями или проектами, которые больше не существуют. Похоже, что ваша потребность в этом исчезла, но если у вас есть дополнительная информация о возможных решениях с момента последнего обновления, пожалуйста, дайте мне знать. Locksleyu 8 лет назад 0
@Locksleyu, к сожалению, нет, но я всегда ищу новые решения. При этом после большого опыта работы с компьютерным зрением я пришел к выводу, что накладные расходы, связанные с большим объемом совместно используемых данных / памяти, и узкие места в полосе пропускания, которые они представляют, могут перевесить потенциальные выгоды. На мой взгляд, современные кодировщики на основе GPGP намного лучше, и в случае необходимости можно было бы установить рендер-ферму. Это то, что предоставляют большинство облачных платформ видеокодирования (еще один вариант, если вы используете SaaS или облачные вычисления), хотя и в большем масштабе. Breakthrough 8 лет назад 0

9 ответов на вопрос

6
Ivan Vučica

Вы можете визуализировать отдельные фрагменты видео и использовать VirtualDub для сшивания всего вместе с его режимом копирования (где он не кодирует). Это не настоящая распределенная кодировка или что-то еще, но самые простые решения иногда работают лучше всего.

Опять же, единственная проблема в этом заключается в том, что * будет * потеря качества из-за размещения кадров I / B при рендеринге видео. Чтобы определить, где его разделить, нужно использовать алгоритм обнаружения сцены, и каким-то образом вам нужно будет разделить видео именно на этот кадр ... Breakthrough 15 лет назад 5
VirtualDub имеет те «зеленые и красные» значки, которые должны использоваться при обнаружении переключателя сцены. Если моя память, созданная несколько лет назад, служит мне правильно, это сработало довольно хорошо. Но опять же, я любитель, когда дело доходит до кодирования видео и видео. Ivan Vučica 15 лет назад 0
AFAIK VirtualDub имеет команду «перейти к следующему кадру». Я бы просто разделил это вручную. Camilo Martin 12 лет назад 0
@Breakthrough Итак, все, что вам нужно, это фильтр, который разбивает видеовход на куски на границах смены сцен (чтобы их потом можно было кодировать отдельно)? Это достаточно просто. Есть ли другая проблема? GroovyDotCom 9 лет назад 0
@GroovyDotCom хорошо в дополнение к этому, все вспомогательное программное обеспечение (например, сервер, чтобы инициировать фильтр разделения, распределить его по всем клиентским узлам, на которых работают кодировщики, поставить в очередь задания, перенести файлы обратно на главный сервер и повторно объединить результат) еще предстоит решить, и это все еще не решает никаких потенциальных проблем качества / эффективности с методом кодирования большого видео в отдельных сегментах. Также обратите внимание, что этому вопросу уже почти шесть лет, поэтому я уверен, что с тех пор многое изменилось и в отношении распределенного кодирования. Breakthrough 9 лет назад 0
4
Keck

Это бета, но функционально. Это не так просто, но это работает. Это на базе Windows и бесплатно.

СТАРЕЙШИЙ от некоторых парней Doom9

Я тоже это видел, но надеялся на что-то сравнимое с x264farm - с x264farm качество не пострадает ... Кроме того, проект был заброшен довольно давно. Breakthrough 15 лет назад 2
Первоначально я получил награду в 50 баллов за этот ответ, потому что это было самое близкое решение * в то время *. Однако эта программа имела некоторые потери качества по сравнению с кодировщиком для одного компьютера. Я надеюсь избежать удара по качеству. Breakthrough 13 лет назад 1
@Breakthrough Что, если вы нацеливаетесь немного выше, например, если это делает его на 10% хуже, а настройки (detail / framesize / etc) на 10% выше? tobylane 13 лет назад 0
@tobylane, проблема заключается в размещении кадров I / B при рендеринге видео. Чтобы определить, где его разделить, нужно использовать алгоритм обнаружения сцены, и каким-то образом вам нужно будет разделить видео именно на этот кадр. В зависимости от исходного материала это часто невозможно сделать идеально, и, следовательно, кодирование всего видео за один раз обычно дает лучшее качество, чем его рендеринг по частям. Breakthrough 13 лет назад 0
@Breakthrough x264 по умолчанию имеет максимальную GOP 250 кадров, а HD материал еще меньше. Когда-нибудь он закроет GOP (если вы не настроите его), и тогда не произойдет потери качества, если вы сделаете щелчок в том месте, где заканчивается GOP, к сожалению, это не очень предсказуемо. В любом случае, в 1,5-часовом фильме, разделив его на 6- 15 минут. куски прямо при смене сцены не сильно повредят сжимаемости. И это помогает! Camilo Martin 12 лет назад 2
3
dxblitzx

Вы также можете попробовать использовать это, это программное обеспечение для параллельного / распределенного кодирования для Windows, которое хорошо работает и хорошо масштабируется.

Попробуйте поискать в Google для параллельного кодера xcode.

Эти ссылки должны предоставить больше информации.

http://superscalar.pbworks.com/

Несвязанный: наименование выглядит оторванным от документа Apple Xcode о том, как параллельная компиляция работала с Xgrid. (IDE против видеокодера) Chealion 14 лет назад 0
ic, я не пользователь Mac, но вы должны попробовать это, работает только на Windows, хотя. У меня есть установка с комбинированной вычислительной мощностью около 10 ГГц, а видео длительностью 90 минут занимает в среднем 30-32 минуты для преобразования (x.264 / AAC / 1800 кбит / с vbr / 256 кбит / с для звука). dxblitzx 14 лет назад 0
Благодарю за ваш ответ. Я изменил это на текущий правильный ответ, так как это решение наиболее близко к тому, что я искал! :) Breakthrough 14 лет назад 0
2
Chealion

Для пользователей Final Cut Studio (только Mac) компонент x264 QuickTime работает замечательно, когда используется с кластером, созданным с использованием QMaster. Загрузите ваш фильм в Compressor, и все готово. В тестах я обнаружил приличное увеличение скорости, особенно при работе с общей точкой хранения.

Блин ... Я пользователь Windows. Это выглядит довольно круто, хотя и похоже на то, что я ищу - просто хотелось бы, чтобы он был мультиплатформенным! Breakthrough 15 лет назад 3
2
caliban

Я большой поклонник Sony Vegas для редактирования видео в Windows ... и есть функция Network Render. :) вкусняшка

Sony Vegas Workflow

РЕДАКТИРОВАТЬ: Не слишком уверен, если это жизнеспособное решение, но вместо того, чтобы пытаться найти приложение для кодирования видео, которое поддерживает сетевой рендеринг, я попытался найти программное обеспечение, которое позволяет любому приложению использовать преимущества распределенных вычислений. И я нашел это - IAIDataShareServer .

Выглядит довольно мощно, и пример опубликованных результатов действительно великолепен. Если вы собираетесь попробовать, дайте нам знать, как это работает?

EDIT2: IAIDataShareServer, кажется, просто инструктирует машины для выполнения отдельных задач. В этой связи я попытался найти другие решения для распределенных вычислений и перечислил несколько многообещающих.

  1. JPPF
  2. Xoreax
  3. DCEZ (это выглядит хорошо)
Ты уверен в этом? http://forums.creativecow.net/thread/24/895788 Breakthrough 15 лет назад 3
Ха-ха, я вскочил на эту возможность, когда увидел это, но мне показалось, что я вспомнил что-то слабо в своей голове ... Breakthrough 15 лет назад 0
@Breakthrough: эй приятель, новое возможное решение найдено. Хотя сам не проверял. Смотрите отредактированный ответ. Удачи! caliban 15 лет назад 1
@scopedreams: я видел это и сразу же подумал, что это идеально ... К сожалению, этот распределенный общий доступ к данным просто запускает экземпляры программ на каждом подключенном к нему компьютере - полезно для запуска * многих * заданий, когда каждый клиент выполняет одно задание на время ... Но в моем случае я хочу, чтобы на одном компьютере параллельно вычислялась только одна работа. Breakthrough 15 лет назад 2
@Breakthrough: черт возьми, обратно к тралению в Интернете, я думаю. caliban 15 лет назад 1
@Breakthrough: обновил мой ответ, чтобы предоставить список клиентов распределенных вычислений. Опять не проверено. Не беспокойтесь о принятии моего ответа, я делаю это, чтобы узнать что-то новое для себя тоже. :) caliban 15 лет назад 1
2
Tiago Veloso

Для Mac OS X 10.5 (я не уверен в совместимости для 10.6) раньше использовался VisualHub, который позволял бы вам настроить ферму сетки в вашей локальной сети. Теперь он снят с производства, и ReduxEncoder появился как замена, но я не могу найти варианты для этого.

1
distributed x264

простой факт заключается в том, что ни один из разработчиков в мире до сих пор не удосужился написать и отправить распределенные исправления клиент / сервер общего кодирования TCP: IP / UDP для текущего x264, на сегодняшний день это 1745 см. x264.nl/

общая модель клиент / сервер хорошо понятна, как и чистая кодовая база x264, и запрос разъяснения любого кода x264 - это простой вопрос присоединения к IRC-каналу x264 dev и запроса, в течение нескольких минут у вас обычно будет ключ x264 Dev или два ответят на ваш запрос о том, как работает этот раздел кода, и даже получат практическое представление о том, как вы могли бы переписать свой развивающийся код, чтобы лучше соответствовать x264 (и x262 - новому кодеру Mpeg2, основанному на фреймворке мирового класса x264, над которым работает правильно сейчас) модель.

Так что если вы разработчик, то лучшее, что вы можете сделать для будущего качества и профессии 32/64-битное распределенное кодирование видео x264, на самом деле написать эти необходимые базовые клиент-серверные патчи, чтобы сделать один экземпляр x264 или отдельный веб / графический интерфейс Интерфейс приложения с этим новым кодом API клиент / сервер x264, который вы пишете, для активного поиска, а также назначения и передачи на лету отдельных разделов кодирования одного видео для любого нового соответствующего управляемого кода клиента x264, который вы также пишете.

Ваши новые клиенты / сервер действительно распределенные базовые патчи кодирования даже не должны быть самыми лучшими, просто базовый, но работающий и полностью работающий код C, который тестируется и используется doom10.org/index.php?action=unread

Так как разработчики x264, похоже, любят делать одно, то есть брать существующий медленный код на C и писать его оптимизированные версии, раздел за разделом, но вам нужно сначала представить (приветствовать исправления) фактический бета-код сначала против последний филиал OC

это стоит того, чтобы на него взглянуть, и на самом деле сегодня он пытается кодировать эти серверы x264 для многих патчей для клиентов x264, поскольку x264 только что получил 10-битную возможность кодирования глубины (что означает высокое качество High, High 10, High 4: 2: 2 H. 264 профилей с интенсивными вычислениями теперь доступны всем бесплатно с x264).

очень скоро будет оптимизирован для ускорения сборки http://mailman.videolan.org/pipermail/x264-devel/2010-October/007858.html

но даже одна 8-ядерная машина будет изо всех сил пытаться обеспечить высочайшее качество продукции в разумные сроки с разрешением 1080P, а вскоре и 2K и 4K со сверхвысоким значением Def и т. д., действительно простая в настройке и использовании распределенная опция стандартного кодирования x264 / H.264 - только патч или два прочь

если ваш разработчик, ПОЖАЛУЙСТА, не ждите, сделайте это сегодня.

На самом деле, я думал об этом. Основная проблема заключается не в том, чтобы заставить два компьютера выполнять вычисления, а скорее в передаче данных рабочего набора между машинами. Гораздо проще перемещать данные в ОЗУ и из нее на одной машине (хотя и много гигабайт в секунду), но гораздо медленнее в локальной сети (до 100 мегабайт в секунду). Breakthrough 13 лет назад 0
1
harrymc

Вы можете взглянуть на Media Encoding Cluster :

Media Encoding Cluster - это первое решение для кодирования с открытым исходным кодом, написанное на C / C ++ для распределенного кодирования медиа (видео и аудио).

Media Encoding Cluster - это расширяемый видеокодер, который использует легкую одноранговую сетку для использования вычислительной мощности обычных ПК с целью распределения кодирования видео с высокой степенью сжатия, например MPEG4 и H.264.

Он распределяет видеоблоки по сети на клиентские узлы и распараллеливает задачу кодирования для одного файла даже по нескольким компьютерам, чтобы сократить время кодирования для каждого файла.

Другой подход предлагается для Nvidia от Badaboom ($ 39,99 с пробной версией), также рассмотренный здесь :

Badaboom от Elemental использует интерфейс CvA от Nvidia, чтобы выполнять большую часть работы по копированию DVD с использованием графического процессора вместо старого процессора.

Аналогичным образом, существует также Avivo Video Converter для ATI Radeon, описанный в википедии, хотя для его работы может потребоваться некоторое усилие.

@Breakthrough: вы смотрели на эти продукты? harrymc 13 лет назад 0
1
edusysadmin

Хотя это может показаться излишним, Rhozet Carbon Server может собрать несколько экземпляров Carbon Coder для работы, которую вы описали.

Сайт для Rhozet Carbon Server

Несколько узлов Carbon Coder могут быть сконфигурированы как ферма транскодирования, управляемая одним или несколькими серверами Carbon. Carbon Server позволяет автоматизировать обработку задач большого объема транскодирования, отработки отказа узлов Carbon Coder, управляемых сервером, а также управлять распределением заданий, назначением приоритетов, балансировкой нагрузки, передачей по FTP, мониторингом состояния и уведомлением о заданиях.

Похожие вопросы