Понял!!!
Следуйте этому руководству, которое позволяет ВСЕМ пользователям запускать xserver. Раньше у меня это было только на консольных пользователях. Предположительно, поскольку CDM запускает xserver с помощью сценария, а не интерактивной консоли, он не считается пользователем консоли.