Да, вы должны изменить файлы / папки, которые вы не хотите, чтобы их читали другие, например:
chmod go-rwx SECRET_FILE_OR_FOLDER
(это делает невозможным чтение, запись или кем-либо еще.)
Вы также должны убедиться, что у вас есть правильные режимы в вашем домашнем каталоге, например,
chmod go-w ~