При использовании аутентификации с открытым ключом SSH каждому клиенту требуется копия закрытого ключа. Или, что еще лучше, свой собственный секретный ключ. Каждый соответствующий открытый ключ имеет свою запись в authorized_keys
.
Запрашиваемый вами пароль не для учетной записи, а для закрытого ключа, который зашифрован.
Вам нужно будет заглянуть в документацию по Android SSH-клиенту, чтобы узнать, как использовать там свой закрытый ключ.