Новые вопросы с тегом «gnu-parallel»

Насколько я понимаю, опция -X должна равномерно распределять аргументы между заданиями. Тем не менее, я получаю очень искаженный дистрибутив: user@host:/tmp/ptest$ count() { > echo $# > } user@host:/tmp/ptest$ export -f count user@host:/tmp/ptest$ count *.jpg 5825 user@host:/tmp/ptest$ parall...

Я очень озадачен тем, как использовать GNU параллельно для передачи стандартного ввода в команду задания. У меня есть то, что я представлял себе как очень распространенный вариант использования. У меня есть процесс, xxdкоторый делает что-то с stdin и выводит на stdout. У меня есть некоторый способ г...

Могу ли я использовать rsh вместо ssh для разделения заданий между узлами в настройке hpc? Или GNU-параллель только может отправлять различные задания по SSH?

У меня есть несколько каталогов, содержащих тысячи файлов gzip (в целом речь идет о файлах 1M). Некоторые из этих файлов повреждены, и большинство из них действительно маленькие (пара КБ). Почти все они очень похожи по содержанию, поэтому сжатие всех вместе должно улучшить степень сжатия по сравнени...

Я обычно скачиваю файлы параллельно с curl и urls в файл, подобный этому: cat links.txt | parallel --will-cite curl --connect-timeout 5 --max-time 10 --retry-max-time 40 --retry 5 --retry-delay 0 -s -f -O -C - Где links.txt имеет один URL на строку. Теперь мне нужно назначить пользовательское имя...

Я использую GNU параллельно выполнять несколько заданий параллельно, как это: parallel python3 main.py arg ::: args*. В случае однопоточных заданий я использовал одно -j 100%сопоставление для одного задания. Теперь у каждой работы четыре потока, а у меня 32 ядра. Я хочу распределить задания так, что...

У меня есть этот скрипт: GLOBAL_VAR="some global value" function test { echo $1 echo $ } export -f test parallel --jobs 5 --linebuffer test ::: "$" Как я могу $GLOBAL_VARвидеть из параллели?

Я пытался распараллелить сценарий, который я использую, но пока что GNU Parallel очень сложен. У меня есть 2 файла - один, содержащий хосты для запуска команды, а второй с параметрами для команды. Ниже приведены примеры данных: $ cat workers.host foo@192.168.0.7 bar@192.168.0.8 jerry@192.168.0.9 to...

Вот простой bash-скрипт для кода статуса HTTP while read url do urlstatus=$(curl -o /dev/null --silent --head --write-out '%' "$" --max-time 5 ) echo "$url $urlstatus" >> urlstatus.txt done < $1 Я читаю URL из текстового файла, но он обрабатывает только по одному за раз, что занимает слишк...

Пытаюсь получить параллельное динамическое добавление / удаление узлов обработки, и я могу указать, какие хосты использовать на --sshloginfile. К сожалению, изменение записей в sshloginfile во время параллельной работы, похоже, не меняет используемых хостов (т.е. sshloginfile, кажется, не перечитыв...

В настоящее время я тестирую GNU параллельно, чтобы распределить команду сравнения по нескольким серверам, используя bash. В своей основной функции эта команда сравнения принимает два входа для сравнения (доступ к базе данных Oracle) и требует имя выходного файла через -o. Программа требует как мини...

Я хотел бы установить GNU параллельно на компьютерном кластере. Я вижу, что есть несколько версий GNU-параллели, которые можно скачать (см. Ссылку выше в разделе «Загрузка GNU Parallel»). Я полагаю, что версии, представляющие для меня основной интерес: Arch Linux Alpine Linux Alt Linux Mageia Linux...

Я использую Ansible для настройки некоторой конфигурации на нескольких узлах, и в рамках этой настройки мне нужно разделить один большой файл на n строк и скопировать каждую часть в удаленный файл без создания локальной копии каждого чанка (например, команда bash split). делает). Ansible не может сд...

Как выполнить команду для каждой строки stdinсразу? Пример : (echo abc; sleep 10; echo def;) | ??? xargsИнструмент не делает работу, потому что он блокирует до тех пор, пока не увидит все данные (ждет, пока стандартный вывод, чтобы закрыть). Тем не менее, я должен выполнять команды сразу же, как то...

Travis CI использует Ubuntu 12.04. Я хочу установить GNU Parallel на него и раньше мог, sudo apt-get install parallelно сейчас не могу. Что мне нужно сделать? Нужно ли сейчас скомпилировать его с нуля?

Я использую gnu -rallel для параллельного запуска нескольких сценариев Python на нескольких компьютерах в моей гигабитной сети. Обрабатываемые файлы находятся в папке tmpfs (RAM) на моем главном узле. Когда я запускаю параллельный процесс, я вижу, что все ядра в удаленном узле работают, но мой масте...

У нас есть шестьдесят терабайтное блочное устройство, которое мы хотим обнулить с помощью dd. Можно ли распараллелить эту операцию, чтобы уменьшить количество времени, которое требуется? Я попытался выполнить следующую команду, но это не совсем то, что я ищу: seq 1 5 | parallel dd if=/dev/zero of=/d...

Я пытаюсь зашифровать кучу файлов с помощью кода ниже: find . -name "*.vi" | sort | parallel --gnu -j 4 --workdir "$PWD" ' echo "Encrypting {/.} ..." gpg -r user@myemail.com -o "/tank/test/{/.}.gpg" -e "{}" '; Это прекрасно работает, но только если в именах файлов нет пробелов и специальных символо...

Я пытаюсь обрабатывать ввод разными способами параллельно, записывая получающиеся строки по мере их поступления. Мой текущий подход заключается в следующем: # process_parallel.sh read input parallel --colsep ' ' --linebuffer 'echo $input | {}' \ ::: 'python process1.py' ./process2.sh ./process3 Кон...

Gnu Parallels - это мощный инструмент, который я использую для запуска множества независимых команд BASH в виде одного набора параллельно. Я хотел бы иметь возможность запускать те же команды ПОСЛЕДОВАТЕЛЬНО без существенных изменений в команде, которую я использую. Я знаю, что есть переключатель, к...

Я использую GNU Parallel для одновременного запуска команды несколько тысяч раз. Чтобы получить логи исполнения я использую --filesи --results. Чтобы получить хороший индикатор выполнения, пока он работает, я использую --etaи --progress. Теперь моя проблема в том, что, хотя STDERR перенаправляется в...

Я использую zshоболочку. Я пытаюсь использовать sedдля замены текста во многих файлах, используя параллельные, чтобы ускорить процесс. Когда я проверил это на одном файле и разрешил вывод команды, stdoutя увидел ожидаемый результат. Когда я попытался перенаправить этот вывод в файл, я получил пустой...

Я пытаюсь использовать parallelи ackвместе, чтобы сделать поиск параллельно. Тем не менее, ackкажется, настаивает на использовании, stdinесли он оказывается в трубе, даже если вы даете ему файлы для поиска: $ echo hello > test.txt $ ack hello test.txt hello $ echo test.txt | xargs ack hello hel...

Я параллельно запускаю команду, используя Gnu Parallel, которая имеет два параметра в качестве входных данных: каталог и файл conf: parallel --gnu my_command ::: (ls -d dir*test) ::: properties.conf Я запускаю его на многоядерном процессоре (24 ядра), и «my_command» выполняется на каждом ядре в общ...

Я попытался ускорить импорт большого набора данных с папкой, полной файлов .sql ls -rS *.sql | parallel -j16 mysql -uusername -ppassword dbname "<" Вскоре после запуска я получаю сообщение об ошибке: ERROR 1146 (42S02) at line 65: Table 'dbname.some_table' doesn't exist ERROR 1146 (42S02) at lin...

У меня есть 100 000 URL-адресов небольших файлов для загрузки. Хотелось бы использовать 10 нитей и конвейерная обработка является обязательным условием. Я объединяю результат в один файл. Текущий подход: cat URLS | xargs -P5 -- curl >> OUTPUT Есть ли лучший вариант, который покажет прогресс в...

У меня есть полный каталог .gz, я хочу расширить каждый архив параллельно с GNU параллельно. Однако я ничего не добился. Я старался parallel 'gunzip {}' ::: `ls *.gz` parallel gunzip `ls *.gz` без результатов, bash говорит мне: /bin/bash: archive1.gz: command not found ... Что я делаю неправильно?...

У меня есть около 3000 файлов по 300 МБ каждый, и я хотел бы как можно быстрее найти серию подстрок с моим 16-ядерным сервером. Это то, что я пытался, но не похоже, чтобы распараллеливать поиск файлов. sudo find /mnt2/preprocessed/preprocessed/mo* | sudo xargs awk '/substring/ END ' | paste -sd+ |...

Доморощенный имеет формулу для moreutilsи GNUparallel . GNU Parallel конфликтует с Moreutils, поскольку в нем также есть двоичный файл с именем parallel, который просто менее полезен. Однако я все же хотел бы установить обе формулы одновременно. Как я могу это сделать? В идеале я бы установил GNU Pa...

Я пытаюсь разбить несколько огромных файлов gz на сжатые по N-строке фрагменты. Чтобы продемонстрировать, давайте рассмотрим следующее: seq 100 | gzip > big_file0.gz Я могу разделить это на несколько сжатых файлов по 10 строк следующим образом: zcat big_file0.gz | split -l 10 --filter='gzip >...