Проверьте битрейт файлов с помощью Mediainfo. Если это то же самое, проверьте продолжительность. Если это то же самое, это, вероятно, теги исходного файла, например встроенные изображения, которые увеличивают оригинал. Это можно проверить с помощью Mp3Tag.
Также, возможно, попробуйте что-то другое, чем FFmpeg.