Прежде всего: пересмотрите свой рабочий процесс. Почему бы просто не переименовать каталог, чтобы убрать его с пути, запустить сборку на новом каталоге, а затем удалить старый в часы низкого использования. Даже 3 минуты, кажется, довольно долго тратить, если вы можете пойти с 0,1 с.
Теперь о времени удаления: я подозреваю, что по какой-то причине что-то в этом каталоге все еще используется ОС - может быть, классическим (индексатор поиска)? Это можно было легко замаскировать тем фактом, что на вращающемся диске время создания было намного больше. Вы можете убедиться в этом, попробовав удалить материал через несколько часов и только потом проверить, сколько времени это займет.
РЕДАКТИРОВАТЬ
Если размер всего 2 ГБ, то RAM-диск будет очевидным выбором.