TortoiseGitPlink используется как клиент SSH по умолчанию. Поэтому вам необходимо либо настроить PuTTY для использования специального ключа (используя сеансы PuTTY, как описано в https://stackoverflow.com/a/29183147/3906760 и в FAQ по TortoiseGit ), либо загрузить свой ключ в PuTTY Agent (pageant) перед выполнение удаленного действия.
Помимо использования TortoiseGitPlink, вы также можете использовать SSH из OpenSSH (см. Https://stackoverflow.com/a/32115724/3906760 ).