Насколько я знаю, rtorrentклиент использует ncurses для отображения de UI, поэтому вам нужно что-то вроде screenGNU, чтобы запустить его в фоновом режиме. Таким образом, вы screenможете оставаться демоном без головы, продолжая rtorrentработать. Ищите дополнительную информацию о screen"отдельном режиме".
Если вы гуглите по той же теме, но для Linux, вы найдете много информации в этой технике.