Если учетная запись пользователя не ограничена, ulimitто из свободной физической ОЗУ потребуется столько памяти, сколько необходимо (даже если вы ограничите ее, у вас ulimitвсе еще будет возможность использовать виртуальную память).
Проблема возникнет, если ваша программа попытается заполнить ОЗУ сгенерированными символами. В какой-то момент вы заполните всю доступную оперативную память, и ваш процесс начнет переключаться на виртуальную память (или, в основном, на файл), которая замедляет работу всего ПК, поскольку ОС тоже требует некоторого дыхания, а переключение туда-сюда снизит производительность всей машины.
Правильный подход для таких задач состоит в том, чтобы выделить небольшой буфер в памяти (скажем, 4-8 Мб) и периодически выгружать буфер (в режиме добавления) в файл. Это было бы самым быстрым решением в вашем случае, не ставя операционную систему на колени.