Проблема заключалась в том, что Windows не предпринимала попыток поиска AAAA, возможно потому, что не считается целесообразным выполнять поиск AAAA, когда единственным адресом IPv6 является адрес Teredo.
Подключение IPv6 работает до тех пор, пока указан явный адрес.
Поэтому мне удалось получить подключение, заменив имя в поле имени хоста фактическим IPv6-адресом сервера. После этого WinSCP смог подключиться.
В моем случае серверы имеют статические адреса IPv6 (по крайней мере, до тех пор, пока они остаются у текущего поставщика). Поэтому наличие статического IPv6-адреса в сохраненных логинах WinSCP не является большой проблемой.