Интеллектуальное «Вычитание» одного текстового лог-файла из другого

Пример: приложение генерирует большой текстовый файл журнала Aсо многими различными сообщениями. Он генерирует такой же большой файл журнала, Bкогда не работает правильно.

Я хочу видеть, какие сообщения в файле Bпринципиально новые, т.е. отфильтровывать все A.

Тривиальный прототип это:

1. Сортировать | uniq оба файла
2. Присоединяйтесь к файлам
3. сортировать | uniq -c
4. grep -v "^ 2"

Это дает симметричную разницу и неудобно. Как сделать это лучше? (включая несимметричную разность и сохранение порядка сообщений в B)

Программа должна сначала проанализировать Aи узнать, какие сообщения являются общими, а затем проанализировать Bпоказ с сообщениями, требующими внимания.

В идеале он должен автоматически игнорировать такие вещи, как метки времени, номера строк или другие изменчивые вещи.

Пример. A:

0:00:00.234 Received buffer 0x324234 0:00:00.237 Processeed buffer 0x324234 0:00:00.238 Send buffer 0x324255 0:00:03.334 Received buffer 0x324255 0:00:03.337 Processeed buffer 0x324255 0:00:03.339 Send buffer 0x324255 0:00:05.171 Received buffer 0x32421A 0:00:05.173 Processeed buffer 0x32421A 0:00:05.178 Send buffer 0x32421A 

B:

0:00:00.134 Received buffer 0x324111 0:00:00.137 Processeed buffer 0x324111 0:00:00.138 Send buffer 0x324111 0:00:03.334 Received buffer 0x324222 0:00:03.337 Processeed buffer 0x324222 0:00:03.338 Error processing buffer 0x324222  0:00:03.339 Send buffer 0x3242222 0:00:05.271 Received buffer 0x3242FA 0:00:05.273 Processeed buffer 0x3242FA 0:00:05.278 Send buffer 0x3242FA 0:00:07.280 Send buffer 0x3242FA failed 

Результат:

0:00:03.338 Error processing buffer 0x324222  0:00:07.280 Send buffer 0x3242FA failed 

Одним из способов ее решения может быть что-то вроде этого:

1. Разделить каждую строку логических единиц: 0:00:00.134 Received buffer 0x324111, 0:00:00.134, Received, buffer, 0x324111, 324111, Received buffer, \d:\d\d:\d\d\.\d\d\d, \d+:\d+:\d+.\d+, 0x[0-9A-F], ... Он должен найти отдельные слова, простые узоры в цифрах, общие схемы (например, «некоторые даты, чем текст, чем многочисленнее текст, чем end_of_line»), а также обрабатывать комбинации выше. Поскольку это непростая задача, помощь пользователя (добавление регулярных выражений с явным «игнорировать это», «сделать основной фактор», «не разбивать на части», «считать датой / числом», «заботиться о заказе / количестве») таких сообщений "правила" должны быть поддержаны (но не обязательны) для него.
2. Найдите повторяющиеся единицы и «классифицируйте» строки, отфильтруйте слишком изменчивые вещи, такие как отметки времени, адреса или номера строк.
3. Проанализируйте второй файл, найдите вещи, которые имеют новые логические единицы (одноразовые или повторяющиеся) или что-нибудь, что «поразит» систему, привыкшую к первому файлу.

Пример выполнения некоторых действий вручную:

$ cat A | head -n 1 0:00:00.234 Received buffer 0x324234  $ cat A | egrep -v "Received buffer" | head -n 1 0:00:00.237 Processeed buffer 0x324234  $ cat A | egrep -v "Received buffer|Processeed buffer" | head -n 1 0:00:00.238 Send buffer 0x324255  $ cat A | egrep -v "Received buffer|Processeed buffer|Send buffer" | head -n 1  $ cat B | egrep -v "Received buffer|Processeed buffer|Send buffer" 0:00:03.338 Error processing buffer 0x324222  0:00:07.280 Send buffer 0x3242FA failed 

Это скучно (есть много типов сообщений); Кроме того, я могу случайно включить слишком широкий шаблон. Также он не может обрабатывать сложные вещи, такие как взаимосвязь между сообщениями.

Я знаю, что это связано с ИИ. Может быть, есть уже разработанные инструменты?