Я могу понять Hex, но проблема в том, что я не знаю схему кодировки символов, которой он следует.
Возможно это не использует какую - либо схему кодировки символов; может быть, это кодирование вещей в виде двоичных чисел, а не текстовых символов.
Если вы знаете протокол, вы можете написать диссектор для Wireshark (или предоставить информацию о протоколе кому-то, кто может написать диссектор), и использовать Wireshark + этот диссектор для просмотра трафика.
Если вы не знаете протокол, вам придется перепроектировать его, что является большой работой и может потребовать просмотра двоичных данных, а не простого текста.