Только владелец файла / каталога или root может использовать chmod / chgrp / chown для файла / каталога. Именно так оно и рассчитано на работу.
Предоставление группе разрешения rwx дает членам группы полный доступ к содержимому файла, но не к метаданным, которые содержат информацию о владельце / группе / разрешении для файла.