Во-первых, обратите внимание, что файлы закрытых ключей SSH могут быть зашифрованы самим паролем без каких-либо дополнительных инструментов, таких как encfs. Использование ssh-keygen -f <file> -pустановит пароль. (В последних версиях OpenSSH для этого используется AES-128-CBC.)
Но когда у вас есть IdentityFile и агент, и запущенный, ssh будет просто использовать файл в качестве подсказки при выборе ключа, который он должен использовать. Для этого нужно только проверить открытую половину ключа. Таким образом, вам не нужно сохранять ключи дешифрованными, если у них есть открытый ключ, извлеченный в соответствующий .pubфайл, что делается по умолчанию, но может быть повторено с помощью ssh-keygen -f <file> -y.