Для практических целей: нет, это невозможно. Строго говоря, это возможно, но не осуществимо. Злоумышленнику потребуются огромные вычислительные мощности или серьезные математические прорывы.
Запись в вашем authorized_keys
файле является открытым ключом. Весь смысл в криптографии с открытым ключом является то, что ваш открытый ключ может быть открытым, так как злоумышленник не может использовать его для получения секретного ключа.