Я не могу ответить за Mplayer, но документация ffmpeg HWAccelIntro дает эту таблицу для поддержки оборудования:
Как видно, поддержка VDPAU очень ограничена и реализована только в Linux с NVIDIA (но кто знает, какая модель карты и какой драйвер).
Так что вы можете просто считать, что это не реализовано.