Агент принимает соединения на локальном сокете. Когда он принимает соединение, он не может выяснить, с каким tty связана запрашивающая программа, вообще ли он связан с tty. Поэтому он должен выбрать источник ввода по другим критериям.
В случае, когда вы ничего не видите, он, вероятно, выбрал tty, который уже закрыт или недоступен по другим причинам.