Я понял. Это преобразователь с двумя последовательными портами (FT2232H), поэтому в диспетчере устройств он имеет одну запись на порт в разделе «Порты (COM и LPT)», а также в составное устройство USB под контроллер универсальной последовательной шины. Я удалял два порта, но не USB-устройство.
Это легче найти в представлении «Устройства по соединению» диспетчера устройств:
Если я удаляю USB Composite Device, он полностью очищает все элементы реестра и позволяет выполнить чистую переустановку.