Вы можете сгладить все слои, затем добавить маску слоя и нарисовать градиент от белого к черному. Черная часть будет прозрачной.
Если вы хотите, чтобы все стороны стали прозрачными, вы можете начать с черной маски слоя, затем нарисовать внутри нее белый прямоугольник и применить размытие. В любом случае, я думаю, что начинать с маски слоя - это то, что вам нужно.