VirtualBox - очень мощное решение, которое удовлетворит ваши потребности.
С помощью следующей команды вы можете делать снимки экрана / видео. (Вам нужно будет настроить команду на основе имени вашей виртуальной машины и имени файла, в котором вы хотите сохранить вывод): https://www.virtualbox.org/manual/ch08.html#vboxmanage-controlvm :
VBoxManage modifyvm vm_name screenshotpng
Для захвата видео используйте https://www.virtualbox.org/manual/ch08.html#vboxmanage-modifyvm-videocap :
VBoxManage controlvm vm_name videocapscreens
Вы также можете сделать это с помощью инструмента VirtualBox GUI: http://geekthis.net/post/virtualbox-video-capture/