rmlint является родным для linux, очень быстрым и предоставляет вам множество опций для определения, какой файл (из каждого дублированного набора) является «оригинальным». По умолчанию он использует контрольную сумму SHA1 (160 бит), но может также выполнять побайтовое сравнение.
К сожалению, его нет в репозиториях Ubuntu / Debian, но установка довольно проста (см. Инструкции здесь ).