Я бы оспорил вывод, что SSH имеет к этому какое-то отношение. Вам нужно будет провести смешное количество тестов, чтобы окончательно показать, что это не просто случайность. Вы пробовали запускаться speedtest-cliнесколько раз, чередуя локально и через SSH?
Есть более простая возможность: speedtest-cliвыбрать сервер автоматически во время выполнения ( Selecting best server based on latency...). Я провел здесь четыре теста, и он выбрал два разных сервера для этих тестов. В зависимости от того, насколько тщательным является тест задержки (я полагаю, не очень, так как он должен завершиться за разумное время), вы можете закончить тем, что между запусками будете разговаривать по совершенно другой линии с совершенно другим сервером. Вы пытались запустить speedtest-cliна конкретном сервере?
Другая возможность состоит в том, что ваш сервер настолько мало ресурсов, что соединение SSH делает заметную разницу (то есть, балансируя только на краю того, что машина может работать).
Очень реальная возможность с обычным оборудованием и домашней установкой - неоптимальная конфигурация или неисправное оборудование. Пока соединение медленное, вы пытались, например, использовать Wireshark (и / или tcpdump), чтобы увидеть, есть ли много проблем с исходящим соединением?