Ваша проблема в том, что, скорее всего, пример, который вы смотрите, предназначен для потоковой передачи файла, а ваша примерная команда использует screen://
ввод. Чтобы screen://
устройство работало, сначала нужно закодировать видео. Так что попробуйте что-то вроде этого:
vlc -I rc screen:// --sout=#transcode:rtp vlc -I rc rtsp://localhost:8080/test.sdp