Silverlight не затрагивает ваши файлы сам по себе, но позволяет доверенным (с цифровой подписью и утвержденным) приложениям обращаться к файловой системе. Подтверждение отображается, потому что Chrome не может знать, когда и зачем потребуется доступ к файловой системе, поэтому он должен подтвердить это во время установки.
Другая возможная причина - кеширование приложений Silverlight (может быть похоже на кеш апплета Java).