Если вы НЕ ставите пароль на свой закрытый ключ SSH - тогда любой, кому удалось его скопировать, может его использовать. Считается ли это безопасным (достаточно) или нет, зависит от вас.
Если вы введете пароль в свой закрытый ключ SSH - тогда, если кому-то удастся скопировать ваш ключ, ему потребуется ваша пароль / пароль, прежде чем они смогут его использовать. Считайте, что это двухфакторная аутентификация - вам понадобится как секретный ключ SSH, так и ваш пароль / фраза доступа, прежде чем его можно будет использовать.
Я лично считаю, что ввод пароля / парольной фразы в ключ SSH будет более безопасным, но зависит от того, как вы определяете безопасность или что вы считаете безопасным.