Линукс командной строки для большого набора данных?

Так как вы сказали "ищите общий совет, как подойти к этому вопросу?" вот один подход:

Если вы знаете, как использовать Python, вы можете сохранить файл в виде файла, разделенного запятыми, и просмотреть его, просто написав небольшой скрипт, а затем использовать его csvдля обработки данных. Вы можете использовать любую операционную систему, которая поддерживает Python.

У меня нет общих советов. В частности, я советую вам использовать эту команду awk:

awk '{ over=0 for (i=1; i<=NF; i++) if ($i > 199) over=1 if (over) print }' 

Я создал небольшой файл данных, основанный на числах из вашего файла, и несколько я составил самостоятельно:

$ cat input 81 23 40 31 0 416 12 2 2 1 157 41 80 201 417 42 17  $ ./myscript input 31 0 416 12 157 41 80 201 417 42 17 

Чтобы удалить строки из вашего файла, выполните

$ ./myscript input > input.new $ mv input.new input 

Заметки:

• Ради себя вы должны решить, является ли ваше требование> 199,> 200, ≥ 200 или как.
• Если вам нужно сохранить строку 1 (т. Е. Строку 1, строку заголовка), скажите так.
• Я не проверял это на большом файле.  awkне должно быть никаких проблем с огромным количеством строк (строк). Тысяча столбцов (полей) может быть проблемой, но я сомневаюсь в этом.