Сортировка по столбцу, затем нажмите кнопку добавления уровня, затем выберите другой столбец.
Примечание. Это изображение из Excel 2013.
Изменить: Чтобы ответить на ваш уточненный вопрос, вы можете сделать:
- Измените цвет первого столбца со значениями (только те, у которых есть значения, вы можете сделать это с условным форматированием)
- Затем сортируйте по цвету столбца A, затем столбца B (значения)