Вы копаете не в том месте :-) Если вы удалите его из компонентов Windows, он просто полностью удалит Internet Explorer. Вы этого не хотите.
Вместо этого перейдите в Панель управления -> Программы и компоненты -> Удалить программу. Затем нажмите ссылку «Просмотр установленных обновлений» слева. Вы должны увидеть IE 11 в этом списке. Удалите это, и вы вернетесь к тому, что было на нем до установки IE 11.
В худшем случае вам придется делать это несколько раз (сначала до IE 10, затем до IE 9, а затем до IE 8)