У меня есть куча файлов (4800 файлов), которые, как я считаю, содержат много дубликатов и троек. Проблема в том, что они также не имеют одинаковые имена. Я уже отсеял легких с такими же именами. Все файлы имеют узкий диапазон размеров, так что это не поможет.
Я подумал, что, возможно, можно было бы запустить скрипт, чтобы проверить хэши всех файлов в каталоге и сообщить о дублирующих хешах. Кто-нибудь знает, как этого добиться?
Можно сделать на Linux и Windows.
Спасибо
Вот команда Powershell, которая хэширует все ваши файлы (в заданном каталоге) и выводит результат в файл CSV.
Get-FileHash -Algorithm MD5 -Path (Get-ChildItem "\\Path\to\files\*.*" -Recurse) | Export-Csv C:\Temp\hashes.csv После этого вы можете открыть файл CSV в Excel и выкорчевать дубликаты.
Обратите внимание, что командлет Get-FileHash доступен только в Powershell версии 4 или выше.