Параллельная GNU не делит работу равномерно
Ответ: -X распределяет равномерно, когда он поражает EOF. Так что в вашем случае он заполняет буфер для полной командной строки (5039 имен) и запускает ее. Затем он читает еще 800 имен, п...
Подборка 31 вопрос с тегом «gnu-parallel» на WikiRoot: ответы IT-специалистов по Windows, Linux, Excel, сетям и программированию.
31 вопрос
Ответ: -X распределяет равномерно, когда он поражает EOF. Так что в вашем случае он заполняет буфер для полной командной строки (5039 имен) и запускает ее. Затем он читает еще 800 имен, п...
Ответ: Вы НАСТОЛЬКО близки. -Lустанавливает размер записи (в строках), но не определяет количество отправляемых записей. Это контролируется -N. По умолчанию --recendэто \nтак, что не нужн...
Ответ: Используйте --sshдля установки команды ssh: parallel --ssh rsh ... Или $PARALLEL_SSH: PARALLEL_SSH=rsh export PARALLEL_SSH parallel ... Или сделайте это на серверной основе: parall...
Ответ: После изучения этого способа я решил бы, как распаковать все файлы, создать список всех сумм sha256 (или любой другой хэш, который вы предпочитаете), а затем сжать все файлы вместе...
Ответ: Согласно man parallel, вы можете использовать некоторые заполнители, чтобы помочь вам. Например, вы можете переписать свой код на: parallel curl "$" -o '{#}'.curl_output '{}' ::::...
Ответ: Оба -j 8и -j 25%будут делать то же самое на 32-ядерном компьютере, так что если он не работает, то вы нашли ошибку. Сделайте MCVE stackoverflow.com/help/mcve. Но сначала: получите...
Ответ: Переменные оболочки не видны дочерним процессам, если они не экспортированы, поэтому вам нужно будет сказать export GLOBAL_VAR где-то до запуска дочернего процесса; в современных о...
Ответ: Для начала вам нужно знать, как извлечь несколько аргументов из одной строки ввода: cat paths | parallel --colsep ' ' echo == (Я отмечаю, что некоторые из могут быть сгенерированы...
Ответ: В bash вы можете использовать символ & для запуска программ в фоновом режиме. пример for i in ; do echo $i>>numbers.txt & done; РЕДАКТИРОВАТЬ: Извините, но ответ на в...
Пытаюсь получить параллельное динамическое добавление / удаление узлов обработки, и я могу указать, какие хосты использовать на --sshloginfile. К сожалению, изменение записей в ssh...
Ответ: GNU Parallel обрабатывает ввод как один аргумент и заключает его в кавычки, чтобы вы могли безопасно использовать такие имена файлов, как: My brother's 12" records costs 30$ each.t...
Ответ: Я вижу, что есть несколько версий GNU-параллели, которые можно скачать (см. Ссылку выше в разделе «Загрузка GNU Parallel»). Суть вашего вопроса ошибочна: то, что вы описываете как...
Ответ: Работает с версии 20150922: parallel-20150922 -a bigfile --roundrobin --pipepart --slf hosts.txt -j1 'cat > giraf'
Ответ: Используя GNU Parallel: (echo abc; sleep 10; echo def;sleep 10; echo def;)|parallel -uj1 -u требуется, чтобы получить вывод немедленно. Без команды будет работать, но вывод будет н...
Ответ: GNU Parallel is a perl script. It does not need compiling and is extremely easy to install: wget pi.dk/3 bash -x 3
Я использую gnu -rallel для параллельного запуска нескольких сценариев Python на нескольких компьютерах в моей гигабитной сети. Обрабатываемые файлы находятся в папке tmpfs (RAM) н...
Ответ: seq 0 600000 | parallel dd if=/dev/zero of=/dev/mapper/my60device bs=10M count=10 seek={}0 Вы уже используете, if, of, bs, and countпоэтому я предполагаю, что вы знаете, что они де...
Ответ: Похоже, слишком много цитат. Помните, что GNU Parallel предполагает, что {} анализируется непосредственно оболочкой. Попробуйте удалить "" вокруг {} и {/.}: # Avoid typing --gnu ev...
Ответ: В GNU Parallel была проделана небольшая работа, чтобы не запускать новое задание, если нет данных для запуска. Это связано с тем, что некоторые программы терпят неудачу, если они н...
Ответ: parallelСтраница человек говорит, что --jobsвариант ( так же как -j, --max-procsи -P) определяет количество заданий, выполняемых параллельно. Таким образом, выполнение parallelс --...
Ответ: If you want a nice bar, may I suggest --bar instead of --eta? You need version 20131122 or later. This seems to work, since STDERR files are not printed, so you get nothing on STDE...
Ответ: When using redirection inside the command for parallel, you have to use {} to put the input at the right place, as parameter for sed: echo "$z" | parallel 'sed "s/\(^3.*3\)/\13/" {...
Ответ: Это также происходит в текущей ветке разработчика ( 9cc2407). Причина этого заключается в том, что когда стандартный ввод является каналом, ack пытается быть полезным и предполагае...
Ответ: Используйте --timeout: parallel --timeout 200% my_command ::: dir*test ::: properties.conf
Ответ: Try running this command in your web data directory: find . -name "*.php" -print | xargs grep -i "dbname.some_table" This will recursively scan all sub directories and loof for fil...
Ответ: cat URLS | parallel -k -P10 curl >> OUTPUT или если прогресс важнее: cat URLS | parallel -k -P10 --eta curl >> OUTPUT или же: cat URLS | parallel -k -P10 --progress cur...
Ответ: I found this, which suggests using the --gnu flag: parallel --gnu gunzip ::: *gz If this works, you should either delete /etc/parallel/config or change its contents to --gnu rather...
Ответ: Параллель GNU довольно совместима с xargs, в вашем случае она может заменить его. Если вы считаете только случаи substringиспользования, grep -cкак Скотт предлагает: sudo find /mnt...
Ответ: brew install moreutils --without-parallel brew install parallel
Ответ: Shell expansion of variables is converting $FILE to an empty string. You need to put a backslash in front of $FILE to prevent the shell from doing the expansion.
Ctrl+K или / — быстрый поиск Начните вводить запрос для поиска по сайту