awk и вырезать на очень большой файл
349
bryan
Я должен извлечь столбец данных из очень большого файла> 100 ГБ.
Я знаю, как использовать команды awkand cut, но хотел бы знать, является ли кто-то более эффективным (с точки зрения скорости) для такой задачи.
Grep должен быть самым быстрым способом поиска строки в файле: `grep -o" \ w * pattern \ w * "/ path / to / file`. Возможно, вы захотите прочитать также о `параллельном 'для использования нескольких` grep` в чанках этого файла.
Alex 7 лет назад
0
Если можно использовать `cut`, он должен быть быстрее, поскольку он намного проще и, следовательно, менее эффективен.
Michael Vehrs 7 лет назад
0
0 ответов на вопрос
Похожие вопросы
-
3
Как я могу создать оглавление для документа уценки с помощью Python / AWK / SED?
-
2
Удаление новых строк из файла RTF с помощью sed
-
5
ошибка при использовании командной строки в качестве псевдонима bash в linux
-
-
5
awk, mawk, nawk, gawk ... ЧТО?
-
3
как использовать grep, sed и awk для разбора тегов?
-
3
Как использовать sed или AWK для разделения строки (НЕ строки в файлах)
-
4
извлечение подстроки из результата grep
-
4
SQL как группировка и сумма для текстовых файлов в командной строке?
-
2
заменить n-й вхождение строки в каждой строке текстового файла
-
6
Присоединение текстовых файлов с 600M + строк