Нет, это не так. Но ваш сетевой стек, вероятно, делает.
Смотрите также статью в Википедии о порядке байтов и, в частности, RFC1700 .
По сути, некоторые влиятельные люди решили, что порядок сетевых байтов в большинстве случаев должен быть Big Endian. Имейте в виду, что это не обязательно должно применяться ко всем слоям, просто в большинстве случаев порядок сетевых байтов будет Big Endian, и, надеюсь, ваша система имеет достаточно абстракции, которую вам не нужно беспокоиться.
Ваша фактическая платформа также является важным фактором, так что компилятор заботится об этом до определенного момента, потому что в большинстве распространенных сценариев вас это действительно не волнует.