«Битность» машины не имеет ничего общего с этим процессом. Битность относится к объему памяти, который процессор может адресовать. 32-битные машины могут адресовать 4 ГБ памяти, гораздо больше, чем вам нужно для этого. И даже, если вам нужно больше, машина будет просто страница памяти. Что замедлит процесс, но не помешает ему работать.
Я только что скачал и установил Microsoft Help Help Workshop и смог декомпилировать и перекомпилировать несколько файлов CHM более 15 МБ, включая 25 МБ. Проблема, скорее всего, связана с тем, что вызывает проблемы на компьютере, например, со сканером вирусов. Попробуйте отключить любые антивирусные сканеры перед компиляцией. Вы пробовали компилировать CHM на другой машине? И почему вы думаете, что у вас заканчивается память?