Соответствующая строка в fstab будет выглядеть так
user@remoteserver.com:/RemoteDirectory /mnt/localdirectory fuse.sshfs nonempty,allow_other 0 2
Как вы указали, перед использованием этого вам необходимо установить отношения между открытым и закрытым ключами между хостами без пароля. Сначала вы должны настроить это и убедиться, что sshfs работает нормально из командной строки.
(Также обратите внимание, что опция allow_other не позволяет другим)