Какие дубликаты файлов и папок существуют для Windows?

25493
Andrija Cacanovic

Мне нужно бесплатное приложение для поиска и удаления дубликатов файлов, с возможностью найти дубликаты файлов / папок по имени и / или по размеру и удалить один из дубликатов.

57
Это можно сделать с помощью сценария оболочки BASH: http://superuser.com/questions/386199/how-to-remove-duplicated-files-in-a-directory Anderson Green 11 лет назад 0

15 ответов на вопрос

24
Synetech

Я пробовал буквально десятки дубликатов поиска файлов (у меня все еще есть установочные файлы / ZIP-файлы, около 20 из которых сидят без дела). Я использовал CloneMaster 2.19 какое-то время, потому что он был лучшим, который я смог найти, хотя даже он не был идеальным (я хотел тот, который мог бы также определять дубликаты MP3 по аудиоконтенту, игнорируя теги). У всех них были проблемы, которые меня расстроили настолько, что я решил написать свою собственную и выложил список функций, которые мне требуются от DFF.

И тогда я нашел AllDup . Это первый и единственный, который фактически заставил меня отказаться от проекта (технически мой не полностью заброшен, над ним просто больше не работают, так как мне больше не нужно его писать, потому что AllDup делает все, что я от него хочу). В любом случае, AllDup ищет дубликаты файлов, но в отличие от других, он использует множество приемов и приемов, которые я собирался использовать в своем собственном DFF. Таким образом, он очень быстрый: он может, например, сканировать> 250 000 форматов от 1B-5GB за ~ 30 минут (я делал это в своей системе несколько раз).

Еще одна замечательная (и по какой-то причине редкая) особенность AllDup заключается в том, что, как я уже говорил, он может сканировать дубликаты MP3 по их фактически аудиоданным, игнорируя теги, поэтому два MP3, которые имеют одинаковые, но разные теги (очень часто встречаются при загрузке), будут быть обнаружены как дубликаты. (Он может даже обнаружить, когда я скопировал две одинаковые песни с двух разных компакт-дисков - конечно, с разными тегами.) Конечно, он может обнаружить дубликаты на основе других факторов, помимо байтового содержимого, таких как имена файлов, даты и т. Д.

Другие замечательные возможности AllDup включают возможность фильтрации (включения или исключения) на основе имени файла и / или имени папки и / или размера файла. Экран результатов также очень универсален с опциями выбора файлов на основе даты, пути, имени, этого, этого, другого ... У него также есть разнообразие в том, что делать с обнаруженными дубликатами.

Майкл Туммерер также очень восприимчив. Я несколько раз сообщал ему об ошибках и предлагал функции, на которые он очень быстро обратился (до такой степени, что он сказал мне загрузить и опробовать бета-версию с обновлениями в следующих электронных письмах того же дня).

Ох, и это бесплатно.

НТН

Ссылка не работает. Joseph 14 лет назад 0
Спасибо за уведомление. Я думаю, что я должен был ввести URL-адрес вручную и перенести GTLD. Synetech 14 лет назад 0
Нет, в результате автокоррекции Chrome были изменены значения «e» и «d» (как это происходит при попытке ввести * dr. *) Grrr. (Это исправлено, для записи.) Synetech 13 лет назад 0
Я также использовал много, и на этом я остановился. Интерфейс немного неуклюжий, но в нем много полезных опций. endolith 12 лет назад 0
Вы пробовали версию 3? Это довольно продано. Synetech 12 лет назад 0
Можете ли вы использовать AllDup для поиска дубликатов папок вместо дубликатов папок? Anderson Green 11 лет назад 0
@AndersonGreen, а? `oO` Synetech 11 лет назад 0
Я имел в виду «дубликаты папок вместо дубликатов файлов». Может ли AllDup найти дубликаты папок, а также дубликаты файлов? Anderson Green 11 лет назад 0
Хм, нет никакой * специфической * функции обнаружения дубликатов папок, и я не могу сказать, что я когда-либо видел функцию поиска дублирующих файлов. (Вы, конечно, можете запросить; я обнаружил, что Майкл очень чутко реагирует на запросы функций и отчеты об ошибках.) Однако довольно просто хотя бы "очистить" дубликаты папок: запустить сканирование, используя две папки в качестве источников, затем удалите все дубликаты из одного из них, наконец, сравните результаты (и объедините их, если хотите). Вы также можете использовать программу сравнения / сравнения, такую ​​как WinDiff / WinMerge, для сравнения двух папок и их содержимого. Synetech 11 лет назад 0
Очень хорошо ... у меня ушло несколько секунд, чтобы понять, как правильно настроить параметры поиска, и тогда все получилось! Благодарю. TacB0sS 9 лет назад 0
Мне нравится AllDup. Единственное, что я обнаружил, что он плохо обрабатывает, это повернутые файлы JPG. JcMaco 7 лет назад 0
14
Dimitri C.

Duplicate Cleaner очень быстр и имеет широкие возможности фильтрации результатов.

Это выглядит мило. Это бесплатное программное обеспечение, работает в Windows 7, имеет множество методов фильтрации и поддерживает создание жестких ссылок NTFS вместо удаления. endolith 14 лет назад 0
Не можете обработать имена файлов Unicode, хотя? endolith 14 лет назад 1
Он обрабатывает дубликаты папок? Anderson Green 11 лет назад 1
На самом деле, он обрабатывает дубликаты папок. Это первая (пока) программа, которая может идентифицировать дубликаты папок, а также дубликаты файлов. Anderson Green 11 лет назад 1
Pro версия обрабатывает повернутые файлы изображений. Большой! Наконец-то я могу отсортировать фотографию с iOS из своих резервных копий Dropbox. JcMaco 7 лет назад 0
9
nik

Некоторое время назад был доступен Duplicate File Finder, но теперь он доступен только на вторичных сайтах, например, в справочнике Softpedia .

Сайт Wareseeker показывает правильную ссылку, http://dff.nazrashid.com/которой больше нет. Я был бы осторожен, выбирая исполняемые файлы с таких сайтов, хотя.

Он может выполнять поиск дубликатов в нескольких деревьях каталогов на основе,

  • содержание (я думаю, что это соответствует MD5)
  • размер
  • название
  • имя и размер
  • содержание и название

Кроме того, он позволяет фильтровать результаты поиска по минимальному и максимальному размеру файлов (ускоряет работу, когда вы знаете границы).

Очень вдумчивый кусок программного обеспечения. Не знаю, есть ли что-то более быстрое и бесплатное в наши дни.


Комментарии относятся к аналогичному инструменту Sourceforge под названием Doubles

На самом деле это доступно на SourceForge здесь: http://doubles.sourceforge.net/ BinaryMisfit 14 лет назад 2
Могу ли я предложить удалить ссылку Wareseaker. Я думаю, что мы должны быть осторожны при обращении к сайтам Warez в целом. BinaryMisfit 14 лет назад 3
Я согласен с тобой `Diago`. Я попытался найти инструмент DupeFinder и не смог его найти. Инструмент `doubles 'похож, но это не одно и то же. nik 14 лет назад 0
Что бы это ни стоило, я нашел веб-сайт (по крайней мере, домашнюю страницу) в Wayback Machine: http://wayback.archive.org/web/20070115135708/http://dff.nazrashid.com/ с другой ссылкой для скачивания: http://wayback.archive.org/web/20061207062803/http://dff.nazrashid.com/download/DupSetup.exe seanf 10 лет назад 1
8
pcapademic

Clonespy http://www.clonespy.com

Я нахожу это очень полезным и более полезным, чем DoubleKiller. Особенно приятной функцией является функция «Пулы», где вы можете сравнить одну группу каталогов с другой группой каталогов, игнорируя при этом дубликаты внутри групп.

Например, мой партнер любит хранить дубликаты файлов изображений при работе с изображениями. Я хочу посмотреть, есть ли у меня какие-либо копии этих файлов в моих каталогах.

Пул 1 - Домашний каталог партнера. Пул 2 - Мой домашний каталог.

Единственные найденные дубликаты - это если файл присутствует как в моих каталогах, так и в каталогах моего партнера. Файлы, только дублированные в каталогах моего партнера, игнорируются.

Можете ли вы использовать CloneSpy, чтобы найти все дубликаты файлов (или дубликаты папок) в определенном каталоге? Anderson Green 11 лет назад 0
@AndersonGreen Да для дубликатов файлов FelipeAls 11 лет назад 0
Это единственное средство поиска дубликатов, с которым я столкнулся, которое позволяет вам проводить ** перекрестное ** сравнение одного файла (при условии, что вы поместили его в подходящее место для папки) или структуры дерева папок с ** другой ** папкой древовидная структура (или набор папок или древовидных структур). Все остальные инструменты, которые я пробовал на протяжении многих лет, провалились именно в этот момент! Это единственный, кто делает это правильно. Samir 10 лет назад 0
Я часто оказывался в ситуации, когда я знаю, что смотрю на файл с дубликатом в другом месте, но не могу вспомнить, где хранится эта другая копия. Звучит знакомо? Или я знаю, что файл является копией другого файла, и я даже знаю местоположение этой другой копии, но я должен сравнить ее с ней, чтобы увидеть, какую именно я хочу сохранить. Я мог бы даже иметь две или три другие копии или версии этого во втором месте. Это переломный момент, когда различие между инструментом diff и инструментом dupe становится туманным. Samir 10 лет назад 0
Сравнение пул с пулом просто убийца! Это главное преимущество перед другими инструментами. Что касается инструментов diff и dupe, мне еще предстоит найти инструмент, который подделывает их в одну программу. Я думаю, что Beyond Compare близко к этому, но это все еще в миле. У него определенно есть потенциал, и это лучшие инструменты различий, которые я использовал. Samir 10 лет назад 0
7
Joey

У меня есть следующий пакетный файл в течение некоторого времени:

@ECHO OFF REM TODO: Help when run with /? and switch for recursion REM Furthermore check whether we might have enough files to hit the envvar length limit REM and switch strategies accordingly (slower but finds all dupes then) SETLOCAL ENABLEEXTENSIONS ENABLEDELAYEDEXPANSION REM This method speeds up comparison but suffers from long file lists REM as environment variables have a length limit SET FILELIST= FOR %1 %%i IN (*) DO ( FOR %%j IN (!FILELIST!) DO ( IF %%~zi EQU %%~zj ( fc /b "%%~i" "%%~j">NUL && echo "%%~i" = "%%~j" ) ) SET FILELIST=!FILELIST! "%%~i" ) ENDLOCAL GOTO :EOF 

Вы можете запустить его в /rкачестве аргумента для рекурсивного запуска по дереву каталогов.

Отличное решение для гиков! JBRWilkinson 14 лет назад 1
Downvoter: Было бы полезно, если бы вы сказали, почему, по вашему мнению, это не помогло. Joey 14 лет назад 0
Небольшое предупреждение: в Windows вложенные циклы иногда приводят к преждевременному завершению внешнего цикла в больших структурах каталогов. Мне повезло с тем, что внешний цикл `вызывал` отдельный пакетный файл, содержащий внутренний цикл. mikewse 8 лет назад 0
4
BinaryMisfit

В Total Commander есть замечательная утилита поиска дубликатов файлов. К сожалению, это не бесплатно.

Как упоминал Ник, есть Duplicate File Finder с открытым исходным кодом и кросс-платформенный. Это доступно на SourceForge здесь

3
Chris Driver

DoubleKiller - отличный бесплатный (у них также есть профессиональная версия) поиск и удаление дубликатов файлов. Я использую это в течение многих лет и полностью рекомендовал бы это.

http://www.bigbangenterprises.de/en/doublekiller

3
pcapademic

Winmerge http://winmerge.org/

Сравните очень похожие каталоги, возможно, между вашей папкой «Documents» и вашей импровизированной «резервной копией», папкой «Copy of Documents», которую вы создали несколько недель назад «на всякий случай».

Вы можете выяснить, какие файлы все еще идентичны, какие файлы являются самыми новыми (или самыми старыми, если вы столкнулись с проблемой), и какие файлы существуют только в одном месте. Затем вы можете «объединить» каталоги и удалить дубликаты.

Можете ли вы использовать WinMerge для получения списка дубликатов файлов и папок в одном конкретном каталоге? Anderson Green 11 лет назад 0
2
mutewinter

Duplocator . Кросс-платформенный скрипт Python для поиска дубликатов.

Ссылка не работает. Nifle 14 лет назад 1
2
KronoS

Расширенный уход за системой поставляется с Clone Files Finder с программой. Я использую его, и он отлично работает.