какой тип кабеля я должен использовать
Все порты TP Link TL-SF1008D поддерживают Auto-MDIX, поэтому вы можете использовать любой Ethernet-кабель Cat 5 / 5E / 6 с витой парой 5 / 5E / 6 для прямого подключения или кроссовер (RJ45).
если я использую кабель 2 пары (вместо 4) между коммутатором и маршрутизатором, я могу подключиться к Интернету, но это не так в случае кабеля 4 пары 4.
100Base-T нужны только две пары. Ваш 4-парный кабель Cat5 поврежден или неправильно подключен, проверьте его с помощью подходящего кабельного тестера.