Проблема была не в моей настройке звука, а в Chrome.
В Chrome есть известная ошибка, из-за которой он не меняет воспроизведение при переключении устройства по умолчанию.
Чтобы исправить это, добавьте -disable-audio-output-resampler к ярлыку chrome в целевом окне.