По какой-то неизвестной причине оказывается, что ключ должен быть доступен для записи!
В то время как поиск неисправностей еще один вопрос, я временно сделал chmod 0на ~/.ssh/id_rsa. Когда я отменил это изменение, я изменил его 400, думая, что ничто не должно требовать доступа для записи.
Изменение его обратно 600и выход / выход исправили мою проблему.