Что касается PAM, вам может понадобиться изучить, как реализовать pam_exec.so для запуска сценария для отключения компьютера при неудачных попытках входа в систему во время аутентификации.
Здесь есть хороший ресурс, где кто-то реализовал тот же тип установки, где он отслеживал количество входов в систему, чтобы определить, когда должен быть вызван скрипт завершения работы.
Источник: https://cowboyprogrammer.org/2016/09/reboot_machine_on_wrong_password/
Надеюсь это поможет.