Вам нужно передать параметр --remove-source-files команде rsync. Он сообщает rsync удалить с отправляющей стороны файлы (т.е. не каталоги), которые являются частью передачи и были успешно продублированы на принимающей стороне. Не передавайте параметр --delete команде rsync, поскольку она удаляет посторонние файлы из целевого каталога.
Более подробная информация на https://www.cyberciti.biz/faq/linux-unix-bsd-appleosx-rsync-delete-file-after-transfer/