У меня есть миллион образов, 30 ГБ дискового пространства, которые нужно переместить из одного локального каталога в другой локальный каталог.
Какой будет самый эффективный способ? мв? ф? Rsync? Что-то другое? Подсказки?
/path/to/old-img-dir/* 00000000.jpg --------.jpg ## nearly 1M of them! ## ZZZZZZZZ.jpg Переместите их сюда:
/path/to/new/img/dir/ rsync было бы плохим выбором, потому что он выполняет большую часть клиент-серверной работы, которая учитывает как локальные, так и удаленные системы.
mvэто, наверное, лучший выбор. Если возможно, вы должны попробовать, mv directory_old directory_newа не mv directory_old/* directory_new/. Таким образом, вы перемещаете одну вещь вместо миллиона вещей.
find src_image_dir/ -type f -name '*.jpg' -print0 | xargs -0r mv -t dst_image_dir/ find -print0с xargs -0позволяет использовать пробелы в именах.xargs -rне будет работать, mvесли нет чего-то для перемещения. ( mvбудет жаловаться, если исходные файлы не указаны).mv -tпозволяет указать сначала место назначения, а затем исходные файлы, необходимые для xargs.Кстати, я бы спросил себя, действительно ли мне нужно перемещать такое большое количество файлов одновременно. Пакетная обработка переоценена. Я стараюсь не накапливать огромное количество работы, если могу обрабатывать вещи в тот момент, когда они генерируются.
Если два каталога находятся в одной и той же файловой системе, используйте mvкаталог DIRECTORY, а не содержимое каталога.
Если они находятся в двух разных файловых системах, используйте rsync:
rsync -av /source/directory/ /destination
Обратите внимание на трейлинг /на источнике. Это означает, что он будет копировать СОДЕРЖАНИЕ каталога, а не сам каталог. Если вы /выключите, он все равно будет копировать файлы, но они будут находиться в каталоге с именем /destination/directory. С / файлы просто будут в/destination
rsyncсохранит право собственности на файл, если вы запустите его от имени пользователя root или если файлы принадлежат вам. Он также будет поддерживать mtimeкаждого отдельного файла.
Так как directory_old и directory_new находятся в одной файловой системе, вы можете использовать ее cp -lвместо mvопции. cp -lсоздаст жесткие ссылки на оригинальные файлы. Когда вы закончили с 'move' и удовлетворены результатом, вы можете удалить эти файлы из directory_old. с точки зрения скорости он будет таким же, как «mv», так как вы сначала создаете ссылки, а затем удаляете исходные. Но этот подход позволит вам начать с самого начала, если это имеет смысл
Это зависит (тм). Если ваша файловая система копируется при записи, то копирование ( cpили rsync, например) должно быть сравнимо с перемещением. Но для большинства распространенных случаев move ( mv) будет самым быстрым, поскольку он может просто переключаться между фрагментами данных, которые описывают, где находится файл (примечание: это слишком упрощено).
Итак, на вашей обычной установке Linux я бы пошел mv.
РЕДАКТИРОВАТЬ: @ Фредерик Хамиди имеет хорошее замечание в комментариях: это верно только в том случае, если они оба находятся в одной файловой системе и на диске. В противном случае данные будут скопированы в любом случае.
Чтобы скопировать как минимум ~ 10k файлов (без каталогов), cp пожаловался:
невозможно выполнить / bin / cp: список аргументов слишком длинный
Лучший вариант - Rsync:
rsync исходная цель
И это было сделано очень быстро!
Если у вас есть свободное место, заархивируйте их в один файл .tar (без сжатия быстрее), а затем переместите этот файл и разархивируйте его.
tar cf - dir1 | (cd dir2; tar xf -) tar cf - dir1 | ssh remote_host "( cd /path/to/dir2; tar xf - )" When you use 'cp' each file does a open-read-close-open-write-close. Tar uses different processes for reading and writing as well as multiple treads to operate on multiple files at once. Even on a single CPU box multithreaded apps are faster.