Да, можно изменить порт. Просто используйте опцию справа от адреса.
Примечание: если вы используете sshклиент командной строки, вы можете указать порт как ssh -p <port> user@server. Порт не отображается в конце адреса, как в других схемах URI.
Изменить: можно настроить SSH на использование любого порта, который вам нравится, а также настроить маршрутизатор для переадресации входящих портов на любой другой порт. Убедитесь, что вы, если ваша DNS-запись указывает на ваш маршрутизатор (где-то в демилитаризованной зоне, я предполагаю), что вы подключаетесь к внешнему порту, который вы указали в своем маршрутизаторе, и что внутренний порт на маршрутизаторе настроен на тот же порт, что и у вашего sshd агента.