На самом деле должно быть довольно просто. ffmpeg -i inputfile.mkv -c:v copy -c:a ac3 outputfile.mkv
Это скопирует видео дорожку без потерь и преобразует звуковую дорожку в ac3 при объединении в новый файл .mkv. Это при условии, что аудиодорожка DTS также является многоканальной 5.1. Я верю, что он автоматически объединит боковые каналы в 5.1, если исходный DTS равен 7.1.