Моя проблема решена, я перекодировал с помощью инструмента avcon (потратил много времени на попытки с ffmpeg). Единственная проблема заключается в том, что для 1,50-минутного видео кодирование занимает около 40 минут.
avconv -i output.mp4 -vcodec libx264 -crf 27 -preset veryfast -c:a copy -s 3840x2060 fixed_keyframe_output.mp4