Нет необходимости удалять загрузчик.
Просто откройте настройки UEFI и измените порядок загрузки обратно на «Windows bootloader», и он загрузит Windows напрямую.
Загрузка с подключенным USB-накопителем должна затем загрузиться в меню Grub, из которого вы можете выбрать одну ОС или другую. Если не автоматический, убедитесь, что выбрали другой загрузчик вместо Windows.