RJ11 не может быть Cat5e - Cat5e требует все 8 контактов RJ45. Скорее всего, они поставляют линию vDSL от своего оборудования к модему, но особенности могут сильно отличаться.
Метод «наименьших потерь» - это оставить модем рядом со стенной розеткой (большинство модемов можно установить на стене) и запустить Cat5 между модемом и маршрутизатором. Но простой метод, который вы предложили, может не принести вам достаточно потерь, чтобы стать проблемой.