Если он запрашивает «пароль», ваш SSH-сервер не настроен правильно.
Если он запрашивает «фразу-пароль», то это работает так, как задумано; если вы не хотите вводить фразу-пароль при использовании ключей, не вводите фразу-пароль при создании ключа.
Отказ от использования ключевой фразы - это проблема безопасности, вам следует подумать о ситуации на ваших серверах (важности того, что он делает, кто может получить к нему доступ и т. Д.), Прежде чем продолжать работу без использования ключевой фразы.