Медленная команда AWS Client S3

983
Tejas Jayasheel

Я использую aws cli для перемещения файлов в S3 в том же сегменте. Насколько я знаю, AWS S3 не поддерживает структуру папок. Он сохраняет весь путь как ключ к файлу и отображает его в структуре папок в консоли.

Теперь мой вопрос: если я хочу переместить файл, это в основном переименование ключа файла. Однако следующая команда покажет передачу.

aws s3 mv s3://bucket1/stage1/part1/$i/stage1.prime s3://bucket1/stage1/$i/part1/stage1.prime

Терминал выдаст

Completed 2.1 GiB/4.2 GiB (86.4 MiB/s) with 1 file(s) remaining
1
Технически, переименование («перемещение») объекта фактически копирует объект в новый ключ, затем удаляет старый объект, но действие копирования должно быть внутренним по отношению к S3. Можете ли вы использовать `--debug` и захватывать отправляемые запросы? Если вы видите заголовки `x-amz-copy-source-range`, то клиент может просто делать внутреннюю составную копию для s3 и просто сообщать о состоянии этих внутренних операций копирования для целей отчетов о ходе выполнения. Я полагаю, `aws s3 mv ... --debug 2>> (tee somelogfilename.txt> & 2)` должны записать эту отладку в файл для более удобного просмотра. Michael - sqlbot 7 лет назад 1

0 ответов на вопрос

Похожие вопросы