У XMLmind есть бесплатная личная версия. Это немного неуклюже, но работает.
Изображения будут работать в XMLmind, как и svgs (хотя вам нужно добавить svg DTD в ваш файл)
Если вы хотите использовать латекс, вам придется генерировать изображения и включать их в файл документации, в противном случае посмотрите на MathML.