Я сам сталкиваюсь с этой проблемой, даже на 64-битной машине с 4 ГБ оперативной памяти. Оказывается, это известная проблема в Mercurial для Windows:
http://mercurial.selenic.com/bts/issue1842
Существенно большие файлы в хранилище вызывают фрагментацию памяти, которая препятствует успешному выделению памяти в Windows. К сожалению, проблема еще не решена, и последнее обсуждение в билете с декабря прошлого года. Похоже, что варианты на данный момент:
- Запустите 64-разрядную версию Mercurial. Банкомат, я не вижу доступных для загрузки на Windows, возможно, это нужно сделать
- Каким-то образом сократить репо, чтобы удалить только большие файлы, если это возможно.