Это проблема кодека. VLC содержит свои собственные кодеки, которые, очевидно, очень хорошо работают с AVI, созданным VirtualDub.
Sony Vegas, с другой стороны, говорит, не хорошо работать с Divx или Xvid. MPEG на самом деле считается хорошим.
Я предлагаю сначала установить хороший пакет кодеков, например K-Lite, и повторить попытку, проверяя параметры видео в VirtualDub. Если это не работает, попробуйте кодировать в VirtualDub что-то менее сжатое. Попробуйте даже захват в формате AVI без потерь, если компьютер достаточно быстрый. Если нет, попробуйте, может быть, MPEG-2, рекомендуемый в некоторых темах для Sony Vegas.
Общее правило: чем меньше сжато, тем легче редактировать и тем лучше качество последующих кодировок. Если это конечный продукт, то вы можете сжать столько, сколько хотите, и получить желаемый уровень качества изображения. Несжатые файлы также относительно велики и требуют большого времени обработки для преобразования, поэтому требуется определенный баланс между кодированием и качеством.
Видео операции в значительной степени зависят от вашего оборудования. Так что, как правило, стоит попробовать и посмотреть, что лучше для вас.