VB может сделать это: https://msdn.microsoft.com/en-us/library/tdx72k4b.aspx
My.Computer.FileSystem.DeleteFile("C:\test.txt", Microsoft.VisualBasic.FileIO.UIOption.AllDialogs,. Microsoft.VisualBasic.FileIO.RecycleOption.SendToRecycleBin)
Или так:
My.Computer.FileSystem.DeleteFile( "C:\test.txt", FileIO.UIOption.OnlyErrorDialogs, FileIO.RecycleOption.SendToRecycleBin, FileIO.UICancelOption.ThrowException)
Третий вариант - переместить файл в корзину, а если ошибок нет, то удалить оригинал. Это может работать лучше для более старой версии Office, так как функции удаления в корзину - относительно недавние добавления.