У меня была та же самая проблема, и я мог решить ее, немного манипулируя файлом PEM с закрытым ключом. Он содержал обычный заголовок и шаблон нижнего колонтитула
"----- НАЧАТЬ ЧАСТНЫЙ КЛЮЧ -----"
"----- КОНЕЦ ЧАСТНОГО КЛЮЧА -----"
Это было совершенно верно для проверки с openssl; Я мог бы получить вменяемый вывод из команды openssl.
openssl rsa -in private.key -noout -text
Но для openconnect это было недостаточно конкретно.
Я изменил шаблон на
"----- НАЧАТЬ RSA ЧАСТНЫЙ КЛЮЧ -----"
"----- END RSA ЧАСТНЫЙ КЛЮЧ -----"
т.е. я добавил идентификатор "RSA". (конечно без кавычек в файле PEM).