Файл 60 МБ CHM - действительно большой. Вы должны разбить ваш файл справки на несколько файлов с результирующим размером файла <25 МБ. Помните, HTMLHelp (CHM) уже почти 20 лет, а справочная система Microsoft на базе Windows находится только в «режиме обслуживания».
Пожалуйста, попробуйте скомпилировать без 'Index' и / или попытаться сократить количество тем до менее 1000.
Попробуйте уменьшить размер ваших изображений перед компиляцией.
Пожалуйста, посмотрите дополнительную информацию по следующей ссылке и прочитайте все ответы: Ограничения размера файла для файлов CHM (формат справки HTML)?
Смотрите мой ответ на https://stackoverflow.com/a/34784520/1981088 тоже.
Для вашего целевого формата файлов CHM все инструменты, которые я знаю, используют компилятор HH Workshop.
Утилита, подобная FAR HTML, может сжимать и удалять мертвое пространство в .chm и уменьшать размер файла .chm (но это даст только 10%).