У многих провайдеров VPS довольно распространены короткие перерывы в сетевых подключениях. Это может произойти из-за плохого соединения или, например, брандмауэра, который по какой-то причине теряет состояния соединения. Кроме того, это действительно не имеет значения, например, для HTTP-сервера, так как браузеры делают короткие запросы, а затем открывают новые соединения.
Один из способов выяснить, есть ли проблема в TeamSpeak или в соединении, состоит в том, чтобы одновременно держать открытым какое-либо другое TCP-соединение, например, SSH. Обратите внимание, что, например, OpenSSH не отключается сразу, когда есть проблемы с соединением, замазка делает.