Нет настройки для ограничения размера файла, только продолжительность. Вы можете установить время на час, а затем использовать другой процесс для удаления всех файлов старше определенной даты или аналогичных. Есть методика для этой практики, объясненная на: http://www.iis.net/learn/manage/provisioning-and-managing-iis/managing-iis-log-file-storage
По сути, вы бы использовали скрипт для обрезки содержимого папки. Этот скрипт запускается автоматически по расписанию, через запланированное задание.