Возможно, но вам понадобится ручная работа.
Файлы xslx на самом деле являются файлами ZIP с данными XML. ТАК просто распакуйте файл и загляните внутрь. Формат - это не то, что здравомыслящий ум легко поймет, но должна быть возможность открывать файлы листов, искать Row
элементы и удалять все после первых нескольких сотен.
Кроме того, вы можете попробовать открыть файл с помощью Apache POI ; просто дайте Java 1 ГБ оперативной памяти, и это может работать.