X-клиент будет работать на хосте, где вы его запускаете. Поэтому, если вы запустите X-клиент на «удаленном» компьютере, он будет запущен на «удаленном» компьютере и свяжется с «локальным» X-сервером по сети. Это не каким-то волшебным образом перенесено на «локальную» машину.
Вы можете запустить X-клиент где угодно, если он может подключаться к X-серверу удаленно или по сети. Так что да, вы можете запускать X-клиенты на автономном хосте без X-сервера (но для этого потребуются библиотеки X-клиентов).
К какому X-серверу подключается X-клиент, зависит от DISPLAYпеременной или параметров командной строки (часто -display). Таким образом, вы можете запустить на том же хосте (а) X-клиента, который подключается к одному локально работающему X-серверу, (b) другого X-клиента, который подключается к другому, другому локально работающему X-серверу, с другим монитором и клавиатурой, (c) X-клиент, который подключается к удаленному X-серверу.