Как найти дубликаты фотографий с разными именами файлов
Чтобы найти дубликаты фотографий с разными именами, сравнивайте изображение, а не имена файлов. Начните со встроенного инструмента поиска дубликатов в приложении для работы с фото, если он есть в вашей медиатеке. Для большой коллекции или для копий с измененным размером и повторным сжатием используйте поиск по визуальному сходству. Просматривайте совпадения рядом друг с другом и сохраняйте версию с необходимым разрешением и детализацией перед удалением чего-либо.
Почему имена файлов не дают окончательного ответа
Имя файла — это лишь метка, а не описание того, что запечатлено на фото. Два файла с именами IMG_1042.jpg и holiday-copy.png могут содержать совершенно одинаковые изображения, тогда как два файла с одинаковым именем могут оказаться абсолютно разными кадрами. Сортировка по имени помогает упорядочить папку, но не позволяет надежно находить копии, имена которых были изменены.
Кроме того, дубликаты бывают разных типов. Точная побайтовая копия имеет идентичное содержимое файла, даже если ее переименовали. Изображение также может выглядеть одинаково после экспорта в другой формат, изменения размера или повторного сжатия — в этом случае содержимое файлов уже различается. А серия почти идентичных снимков может выглядеть практически одинаково, но запечатлевать разные моменты. Подходящий метод поиска зависит от того, что именно вам требуется найти.
Сначала выберите: точное или визуальное совпадение
Если вам нужно найти только идентичные файлы, инструмент для вычисления хеша файлов может сравнить содержимое независимо от имен. В документации по Python hashlib описано создание дайджеста на основе содержимого файла; совпадение дайджестов — удобный способ отметить файлы для проверки. Однако изменение формата или повторный экспорт меняют содержимое, поэтому сравнение по хешу пропустит визуально идентичные изображения с разным кодированием. Документация по Python hashlib
Для копий, у которых мог быть изменен размер, степень сжатия или другие параметры, используйте инструмент, индексирующий визуальное сходство. Это оптимальная отправная точка, если цель — найти одно и то же изображение, несмотря на разные имена файлов и форматы кодирования. Впрочем, сходство — это лишь подсказка: поиск может выдать похожие снимки, которые не являются дубликатами.
Используйте встроенный инструмент поиска дубликатов медиатеки
Проверьте, есть ли в вашей программе для управления фотографиями функция «Дубликаты» (Duplicates) или «Поиск дубликатов» (Find Duplicates). Например, Apple сообщает, что приложение «Фото» определяет дубликаты фото и видео в альбоме «Дубликаты»; на iPhone он находится в разделе «Коллекции», затем «Утилиты». Если этот альбом не отображается, Apple указывает, что дубликаты в нем не обнаружены. Относитесь к результату как к сканированию конкретной медиатеки, а не как к доказательству того, что найдены абсолютно все копии на всех дисках. Apple: Объединение повторяющихся фото и видео на iPhone
Встроенный инструмент удобен, если ваши фотографии уже систематизированы в этом приложении. Если он не находит ожидаемую копию, убедитесь, что соответствующие папки или альбомы включены в медиатеку, и попробуйте инструмент поиска по сходству, способный сканировать места фактического расположения файлов.
Сканируйте коллекцию с помощью поиска по визуальному сходству
Для коллекции, распределенной по нескольким папкам, инструмент «Поиск дубликатов» (Find Duplicates) в digiKam позволяет задать диапазон сходства и ограничить область поиска — например, эталонным альбомом или альбомами за его пределами. В руководстве к программе также описан отдельный режим «Просмотр по сходству» (Similarity View) на основе цифровых отпечатков изображений, где результаты группируются вокруг эталонных изображений. Ориентируйтесь на названия элементов интерфейса в установленной у вас версии и убедитесь, что нужная коллекция включена в область поиска. Руководство digiKam: Поиск дубликатов
Начните с наиболее строгого параметра поиска дубликатов, а затем расширяйте диапазон сходства, если ожидаемые копии не находятся. Более широкий диапазон позволяет выявить измененные версии, но также может затронуть соседние кадры из серийной съемки, кадрированные варианты или отредактированные фото. Диапазон — это параметр поиска, а не гарантия того, что каждый результат является истинным дубликатом; проверяйте каждую группу перед принятием мер. Руководство digiKam: Просмотр по сходству
Сравнивайте сомнительные пары вручную, не полагаясь только на оценку алгоритма
Если совпадение вызывает сомнения, сравните изображения рядом друг с другом при одинаковом масштабе. Проверьте края на предмет кадрирования, мелкие детали на предмет потери разрешения, а также визуальные изменения, такие как ретушь, подписи или разные моменты в серийной съемке. На миниатюре два разных кадра могут выглядеть одинаково, поэтому перед принятием решения открывайте полноразмерные файлы.
Инструмент попиксельного сравнения может помочь при анализе конкретной пары, однако у него есть ограничения. Утилита compare из пакета ImageMagick проверяет различия между пикселями; в документации отмечается, что различия в размерах и выравнивании могут влиять на результат измерений. В примерах также поясняется, что форматы сжатия с потерями, такие как JPEG, могут вызывать небольшие попиксельные изменения. Поэтому прямое сравнение полезно как средство детальной проверки, но не как универсальное решение для всей медиатеки при поиске переименованных или повторно экспортированных фотографий. ImageMagick: Compare, ImageMagick: Примеры сравнения изображений
Сохраняйте лучшую копию и проверяйте результат перед очисткой
Прежде чем удалять какой-либо результат, решите, какую копию полезнее всего оставить. Сравните разрешение и видимую детализацию, а также проверьте, нет ли в каком-либо файле правок или версии, которую вы хотите сохранить. Файл большего размера не всегда является лучшим выбором, если это всего лишь меньший по площади кроп или неудачная обработка.
Переместите предполагаемые лишние файлы во временную папку для проверки или воспользуйтесь функцией восстановления в вашем приложении, если она предусмотрена. Затем снова откройте оставленную фотографию из ее исходного расположения и убедитесь, что медиатека по-прежнему отображает ее корректно. При масштабной очистке работайте небольшими частями и сохраняйте отдельную резервную копию до тех пор, пока не проверите результаты. Это упростит восстановление в случае ошибочного совпадения или неверного выбора.
Практический порядок действий
Для большинства личных медиатек рекомендуется следующий порядок: добавьте нужные папки в фототеку; запустите встроенное сканирование на дубликаты; перейдите к поиску по визуальному сходству, если известная копия не найдена; проверьте совпадения в полном размере; сохраните версию с необходимой детализацией и правками; и только после этого удаляйте подтвержденные лишние копии. Если вы проверяете лишь небольшую папку на предмет точных копий, сравнение по хеш-сумме содержимого может оказаться быстрее. Если файлы повторно экспортировались или изменялись, сразу используйте поиск по визуальному сходству и ручную проверку.
Ключевое решение заключается в том, что именно вам требуется: идентичное содержимое файлов или одинаковое визуальное изображение. В первом случае подходят хеши, во втором — визуальный поиск. Сочетание правильного способа сканирования с внимательным финальным сравнением поможет найти переименованные копии, не приняв похожие фотографии за дубликаты.