Ваш синтаксис искажен. Опция sub_charenc
декодера применяется, когда файл субтитров подается как обычный ввод. Фильтр субтитров, тем не менее, принимает входные данные напрямую.
использование
ffmpeg -i input.mkv -vf subtitles=sub.srt:charenc=CP1252 -s 720x404 -c:v libx264 -level 3.1 -tune film -preset slow -crf 19 -c:a aac -ar 48000 -b:a 128k -ac 2 output.mp4
Вы, возможно, придется процитировать кодовую страницу ИЭ 'CP1252'
или"CP1252"