Начиная с 2016-07-20, можно правильно декодировать webm с альфа-каналом (VP8a или VP9a), но вам нужна -vcodec libvpx
опция. Вы должны загрузить FFmpeg, скомпилированный после этой даты (или скомпилировать себя с последними коммитами) и использовать следующую команду:
ffmpeg -vcodec libvpx -i test.webm -vf alphaextract -y output.mp4
Обратите внимание, что -vcodec libvpx
это перед тем входом, а не после него.