Вы хотите взглянуть на протоколы, используемые 20 лет назад для дозвона - где последовательный порт был подключен к модему для подключения к Интернету. Как @ music2myear предположил, что существует протокол под названием SLIP, который делает это, однако он был заменен PPP.
Мой гугл-фу сильный (на самом деле я знаю ключевые слова), и я придумал руководство по PPP для Linux, раздел 29, что, возможно, то, что вы хотите. (Примечание: «нуль-модемный кабель» представлял собой последовательный кабель с обеих сторон с пересеченными парами TX и RX - что было бы аналогично тому, что вы делаете со своим Pi)