FFmpeg и HLS многократные аудио передачи

Я пытаюсь использовать FFmpeg для создания списка воспроизведения HLS, который содержит несколько звуковых воспроизведений, но я не могу синхронизировать аудио и видео дорожки. Вот сценарий:

• Предположим, у меня есть 2 видео файла, каждый с 1 звуковой дорожкой
• Я использую FFmpeg, чтобы объединить 2 видео в одно видео, например:

• Извлеченная звуковая дорожка для каждого файла (транскодируется как .mp3)

• Я хочу создать список воспроизведения HLS, где альтернативные звуковые дорожки - соответственно левый и правый аудио:

Проблема в том, что я не могу правильно синхронизировать звук с видео . Я попробовал пару команд ffmpeg, каждая наивная на своем уровне, и в лучшем случае я получаю синхронизированный поток на рабочем столе, но на мобильном телефоне (где воспроизведение обрабатывается собственным проигрывателем устройства), видео теряет синхронизацию со звуком очень быстро, как только я переключаюсь на другую видео дорожку.

Я использую ffmpeg 3.1.1 .

Пример команды, которую я попробовал, начиная с относительно простой, где я отображаю звуковые дорожки на segmenterмультиплексор, а видео на hls:

ffmpeg -i dual.mp4 -i audio_left.mp3 -i audio_right.mp3 \ -threads 0 -muxdelay 0 -y \ -map 0 -pix_fmt yuv420p -vsync 1 -async 1 -vcodec libx264 -r 29.97 -g 60 -refs 3 -f hls -hls_time 10 -hls_list_size 0 video/index.m3u8 \ -map 1 -acodec aac -strict experimental -async 1 -ar 44100 -ab 96k -f segment -segment_time 10 -segment_list_size 0 -segment_list_flags -cache -segment_format aac -segment_list audio1/audio1.m3u8 audio1/audio1%d.aac \ -map 2 -acodec aac -strict experimental -async 1 -ar 44100 -ab 96k -f segment -segment_time 10 -segment_list_size 0 -segment_list_flags -cache -segment_format aac -segment_list audio2/audio2.m3u8 audio2/audio2%d.aac  

Для более сложных, как вывод необработанного mpegtsконтейнера, а затем нарезать дорожки вверх:

ffmpeg -i dual_short.mp4 -i audio_left_short.mp3 -i audio_right_short.mp3 \ -threads 0 -muxdelay 0 -y \ -map 0:v -map 1 -map 2 -codec copy -pix_fmt yuv420p -vsync 1 -async 1 -shortest -f mpegts pipe:1 | ffmpeg-3.1.1 -i pipe:0 \ -map 0:0 -vcodec copy -r 29.97 -g 60 -refs 3 -bsf:v h264_mp4toannexb -f hls -hls_time 10 -hls_list_size 0 video/index.m3u8 \ -map 0:1 -f ssegment -segment_time 10 -segment_list_size 0 -segment_format aac -segment_list audio1/audio1.m3u8 audio1/audio1_%d.aac \ -map 0:2 -f ssegment -segment_time 10 -segment_list_size 0 -segment_format aac -segment_list audio2/audio2.m3u8 audio2/audio2_%d.aac 

Я не эксперт по аудио / видео, поэтому я почти уверен, что в моих рассуждениях есть что-то принципиальное, поэтому я прошу вас, ребята, о помощи и руководстве. Особенно:

• То, что я пытаюсь сделать здесь, неосуществимо? Еще один способ выразить это дано N звуковых дорожек, записанных синхронно с исходным видео, для создания списка воспроизведения HLS с аудио всегда синхронизированным по губам?
• Является ли битрейт видео FPS & Audio причиной проблемы аудио / видео синхронизации? Есть ли даже корреляция?
• Влияет ли разный уровень качества видео (например, битрейт) на синхронизацию?
• Повлияет ли выбранный аудиоконтейнер (mp3 vs aac) на синхронизацию?
• Должен ли я использовать одну команду с несколькими входами или работать с каждым потоком отдельно?

Как вы видите, я совсем растерялся. Я много занимался поиском в Интернете, смотрел выступление Apple «Эффективный HLS» на WWDC 2012, но информация о том, как создавать эффективные списки воспроизведения Multiple Audio Rendition, в Интернете, похоже, скудна.

Спасибо за любые указатели.