У меня часто возникает эта проблема, особенно после обновлений Windows.
Я использую этот обходной путь:
в гостевой системе дважды нажмите Host-C, а затем выберите View / Fullscreen. (Хост - это правый CTRL, если вы его не меняли).
Это обычно успешно переключается на полное разрешение экрана; После этого вы можете изменить разрешение по своему усмотрению.
Обратите внимание, что после значительных обновлений Windows обычно требуется еще одна перезагрузка, чтобы справиться с этим.