Возможно, обратите внимание на pfSense, m0n0wall, Smoothwall или Untangle - это небольшие операционные системы маршрутизаторов, которые работают на обычном (старом / медленном) оборудовании ПК.
Любой из них будет обрабатывать множество соединений и может делать практически все, что вы пожелаете от такой системы (множественные соединения с отказоустойчивостью, QoS, обнаружение вторжений, хост / подключение к VPN и т. Д. И т. Д.)