Ну, это действительно математика для начальной школы, я полагаю.
Если 256 является нормой (0,8), то вам просто нужно разделить ее на нормативный уровень и умножить на требуемый уровень, например
256 * 0.9/0.8 = 288 256 * 0.9/0.6 = 384
Смотрите перекрестное умножение .
Реальный вопрос заключается в том, как заставить ffmpeg выводить весь звук, нормализованный до 1, независимо от текущего уровня амплитуды.