Инструмент идентификации и удаления дубликатов папок

5604
Leftium

Возможный дубликат:
поиск дубликатов файлов

Есть ли инструмент, который может идентифицировать / управлять дубликатами на уровне каталогов? Я пытался использовать программное обеспечение для удаления дубликатов файлов, чтобы отсеять дубликаты, но эти приложения слишком гранулированы. Я хочу управлять своими дубликатами на уровне папок. Большинство моих дубликатов файлов также находятся в (почти) дублированных структурах папок, поэтому я хочу иметь возможность идентифицировать корневую (почти) дублирующуюся папку и удалять / объединять / обновлять корневую папку вместо того, чтобы управлять дубликатами в файле -файловая база.

Один из способов создания этих дубликатов папок заключался в том, что всякий раз, когда я обновлял жесткий диск большего размера, я копировал содержимое старого жесткого диска в папку на новом жестком диске. У меня есть несколько каталогов, заполненных дубликатами файлов и каталогов. Некоторые каталоги являются супернаборами других каталогов (содержат те же файлы / каталоги плюс дополнительные файлы) Другие содержат общее подмножество файлов / каталогов, но каждый содержит дополнительные файлы.

5

8 ответов на вопрос

2
Bernhard Hofmann

Одним из инструментов командной строки, который я использовал, и который мне очень нравится, потому что дубликаты могут быть превращены в жесткие ссылки, является FINDDUPE от Matthias Wandel. http://www.sentex.net/~mwandel/finddupe/

Жесткие ссылки создают дубликаты, как будто файл все еще существует в двух местах, но на диске существует только одна копия. Но это не значит, что это работает только в файловых системах NTFS, и вы должны запускать его с правами администратора.

Ставки на все, это абсолютно бесплатно. :)

1

Я не уверен, что вы имеете в виду под «гранулярным», когда ссылается на другое программное обеспечение для удаления дубликатов, но после того, как попробовал пару дюжин программ, которые делают это, я обнаружил, что Glary Utilities идеально соответствует моим потребностям. Это очень быстрый поиск папки или даже диска или сравнение одной папки с другой на наличие дубликатов, основанных на точном размере, отметке времени и / или имени. Вы можете выбрать, какие расширения файлов фильтровать в поиске или вне его. И вы можете редактировать результаты вручную, или позволить программе удалить один из дубликатов в каждой группе. Могу добавить, что лучше всего, это бесплатно и очень, очень быстро.

Спасибо за предложение, но этот слишком "гранулированный". Я хочу управлять своими дубликатами на уровне папок. Большинство моих дублированных файлов также находятся в (почти) повторяющихся структурах папок, поэтому я хочу иметь возможность идентифицировать корневую (почти) дублирующуюся папку и обновлять / удалять ее. Leftium 14 лет назад 0
1
George

Трудно найти программное обеспечение с правильным уровнем гранулярности, которое делает то, что вы хотите. Я бы порекомендовал изучить язык сценариев (попробуйте MS Shell + VBScript, perl, python) и написать небольшую утилиту командной строки, чтобы сделать это самостоятельно. Вы можете сделать это настолько грандиозным, насколько захотите.

Кто бы ни написал программное обеспечение, предложенное выше, вероятно, не имел той же идеи, что и вы, поэтому вам, вероятно, придется выполнить поиск / удаление вручную.

1
arathorn

Если у вас есть доступ к (превосходному) Beyond Compare, воспользуйтесь функцией синхронизации папок .

альтернативный текст

1
shaiss

Я бы порекомендовал проверить сайт commandlinefu . Вы на окнах, так что вам придется использовать Cygwin.

Я нашел эту запись на commandlinefu.com, которая может быть полезной

find . -type f -print0|xargs -0 md5sum|sort|perl -ne 'chomp;$ph=$h;($h,$f)=split(/\s+/,$_,2);print "$f"."\x00" if ($h eq $ph)'|xargs -0 rm -v -- 
Я предпочитаю UnxUtils и / или MSys вместо Cygwin. Я всегда считал, что Cygwin очень медленный из-за его слоя эмуляции. davr 14 лет назад 0
1
Somebody

Если у вас есть подозреваемые папки, вы можете использовать хитрость.

Я использую хорошо известный трюк xcopy, чтобы скопировать все файлы из подозрительной папки в файл. Затем я сравниваю эти два файла, чтобы убедиться, что они не повреждены.

0
Bobby S

Интересно, может быть, это поможет вам, это называется winmerge. Похоже, вы можете настроить его для сравнения 2-х папок и выполнить действие с папкой в ​​зависимости от результатов сравнения.

http://lifehacker.com/software/geek-to-live/compare-and-merge-files-and-folders-with-winmerge-290657.php

Это может быть очень полезно, но я ищу инструмент, который также находит похожие / дубликаты папок (я не могу заранее понять, где находятся все дубликаты) Leftium 14 лет назад 0
0
Samwho

Вы пробовали AusLogics? В настоящее время они поставляют бесплатное программное обеспечение для поиска дубликатов файлов, вот ссылка:

http://www.auslogics.com/en/software/duplicate-file-finder/download

Надеюсь это поможет :)