Если они работают через один и тот же ЦАП, то нет никакой возможности сделать такую настройку нигде, кроме как «ниже по потоку» от ЦАП. Например, если ваш ЦАП имеет отдельные регуляторы громкости для выходов на динамик, а не на выход на наушники.
Вы пометили Windows и Windows 10 своим вопросом, который говорит мне, что вы ищете способ сделать это в Windows. Но поскольку Windows рассматривает ЦАП как единое устройство, Windows не может это сделать. Windows отправляет только один поток цифровых данных в ЦАП, не один для динамиков, а один для наушников.