Порядок должен быть обратным,
ffmpeg -i in -filter:v "setpts=PTS/6,fps=30" out
Сначала с помощью фильтра fps ffmpeg будет вставлять 25 повторяющихся кадров каждую секунду, чтобы преобразовать 5 кадров в секунду в 30, а затем ускорить его в 6 раз. При правильном порядке ffmpeg сжимает поток для получения 30 исходных кадров в секунду, а затем все фильтры fps заканчивают работу *, изменяя метаданные потока на 30 кадров в секунду.
* Предполагая источник с постоянной частотой кадров.
Также обратите внимание, что YT перекодирует все видео, поэтому ваш кодированный ключ не переносится YT.
Если у вас есть звук, вам нужно будет также ускорить это,
ffmpeg -i in -vf "setpts=PTS/6,fps=30" -af "atempo=6" out
Обратите внимание, что до недавнего времени atempo имел ограничение 2, поэтому для более старых версий ffmpeg вы должны использовать
ffmpeg -i in -vf "setpts=PTS/6,fps=30" -af "atempo=2,atempo=2,atempo=1.5" out