И это должно сработать, единственное, что заставляет меня сомневаться, это то, что вы говорите, что можете подключаться по имени хоста с помощью RDP (plex обнаруживает службу, вероятно, по широковещательному адресу, поэтому она должна работать и без DNS). Вы пытались очистить кэш DNS на вашем компьютере? Выполните ipconfig / flushdns и перезагрузите компьютер, это очистит кеш, и позже вы можете попытаться снова подключиться через RDP. В любом случае вы можете попробовать проверить на маршрутизаторе, существует ли запись для имени сервера или нет, также проверьте, что имя рабочей группы должно быть одинаковым для всех компьютеров и (возможно) так было до тех пор, пока ваш dhcp не распространит его.
Другой способ решить вашу проблему - вернуть сервер в режим DHCP и создать для него резервирование dhcp.