Smartgit не поддерживает ключи rsa напрямую, для их использования, необходимо подключить их к Keychain.
$ ssh-add -K ~/.ssh/id_rsa
Единственный минус, после каждой перезагрузки будет требовать пароль
nano ~/.ssh/config
Host *
AddKeysToAgent yes
UseKeychain yes
IdentityFile ~/.ssh/id_rsa
затем добавляем ключ в Keychain
$ ssh-add -K ~/.ssh/id_rsa
Также необходимо установить в Smartgit флаг Use system SSH client во вкладке Authentication