Да, это возможно.
Я считаю, что эти пользователи находятся в вашей локальной сети и имеют статические IP-адреса. Если да, то мы можем создать cron для регулярного изменения файла /etc/hosts.deny. Например:
/Etc/hosts.deny будет пустым в течение разрешенных часов, и он должен измениться на следующий в ограниченные часы
sshd: ВСЕ, КРОМЕ
<specify ips of users here>
Я надеюсь, вы поняли мою точку зрения.