Вы можете заглянуть в скрипт Perl txt2html . Существует аргумент --xhtml, который вы можете передать для вывода XHTML вместо HTML.
Я не вижу в документации никаких аргументов специально для преобразования целого каталога файлов, поэтому вам может понадобиться написать небольшой скрипт, который просматривает каждый файл в вашем каталоге, а затем вызывает для него txt2html.