Мой опыт работы с NVENC заключается в том, что он действительно уступает кодированию процессора x264 / x265, особенно в быстро движущихся или насыщенных деталями сценах.
Это подразумевает, что в сценарии CBR ваша установка работает должным образом. Возможно, с настройкой ffmpeg возможна некоторая настройка, но принцип остается в силе. YouTube не использует настоящий CBR, и это может быть одной из причин.
Один опыт: чем новее ваш NV SDK и ваша сборка FFmpeg, тем лучше результаты - кажется, что идет активная разработка.