Избавляемся от дубликатов изображений в будущей раздаче

Поскольку минимальный вес раздачи в разделе Графика составляет 300 МБ, а картинка в наиболее распространенном формате JPEG весит, в среднем, 300-500 КБ, в папке раздачи может быть более тысячи изображений. И зачастую собираются они не один день и не с одного сайта. Поэтому в папке может оказаться несколько одинаковых картинок. В этой теме, на примере работы двух программ - AntiDupl.NET и Visual Similarity Duplicate Image Finder - мы рассмотрим, как избавиться от подобных дубликатов перед заливкой раздачи.

1. Описание программ, системные требования
2. Поиск повторяющихся изображений в AntiDupl.NET
--.Для форматов JPEG, PNG и TIFF
3. Поиск повторяющихся изображений в Visual Similarity Duplicate Image Finder
--.Для форматов JPEG, PNG, TIFF и PSD

Скриншоты увеличиваются по клику.

1. AntiDupl.NET способна находить и выводить дубликаты изображений в основных графических форматах: JPEG, PNG, TIFF, GIF и BMP. Сравнение ведется на основании содержимого файлов, поэтому программа может находить не только полностью идентичные, но и похожие изображения. Кроме того, программа умеет находить изображения с некоторыми типами дефектов. Программа AntiDupl.NET - бесплатна, достаточно проста в управлении, имеет высокую скорость и точность работы, поддерживает русский и английский интерфейс.

Скачать программу можно с официального сайта.

Системные требования:
- Windows Vista/7
- Windows XP/Server 2003/ME/2000 SP3/98 (для этих ОС необходимо также установить Microsoft.NET Framework 2.0 или более поздней версии).
- Процессор Intel начиная с P-IV / AMD начиная с Athlon 64
- ОЗУ 50 МБ + ~ 2 КБ на каждое изображение
Более подробные сведения см. здесь.

Для установки достаточно распаковать архив, скачанный с офсайта, в выбранную папку.

2. Visual Similarity Duplicate Image Finder (далее - VSDIF) - мощная утилита для поиска похожих и одинаковых изображений в папке и ее подпапках. Считается одной из самых лучших программ такого типа. Отлично справляется с проверкой папок с большим количеством изображений. Поддерживает форматы JPEG, PNG, TIFF, PSD, GIF, BMP, ICO, FAX, G3N, G3F, JP2, J2K, JPC, J2C, TGA, TARGA, VDA, ICB, VST, PIX, PCX, DIB, RLE, WMF, EMF, CUR, PXM, PPM, CRW, CR2, NEF, RAW, PEF, RAF, X3F, BAY, ORF, SRF, MRW, DCR, SR2, DNG, ERF, MEF, ARW. Использует метод визуального сравнения, который позволяет обнаружить дубликаты, даже если изображение повернуто на 90°, 180°, 270°, отражено по горизонтали / вертикали или преобразовано в серые тона. Минимальный процент совпадения пользователь может выставить сам. Худшие варианты дубликатов автоматически отмечаются галочкой для последующего удаления, но это можно изменить. Удалять или перемещать ненужные файлы можно прямо из окна программы. Интерфейс только английский.

Скачать версию VSDIF v.3.1.0.1 можно здесь. В архиве содержится инсталлятор программы и текстовый файл с серийным номером и именем, необходимыми для регистрации.

Минимальные системные требования:
- Windows XP/2K/ME/98. Работа на других ОС (Vista/Win7) не гарантируется.
- Pentium-233 МГц или лучше
- ОЗУ 128 МБ
- 20 МБ на жестком диске

Для установки распакуйте архив, запустите инсталлятор программы и следуйте подсказкам Мастера установки. После первого запуска программы откроется окно для ввода имени и пароля пользователя, скопируйте их из текстового файла.

PS: Спасибо Artmehar за помощь в поиске этой программы.

1. Запускаем программу. Для начала заходим в Опции и выставляем настройки на вкладке Проверка, как на скриншоте ниже: снимаем галочку с пункта Учитывать соотношение ширины/высоты картинок и выставляем пороговую разницу 9%. На вкладке Поиск можно отметить галочками все типы файлов и пункт Искать в подкаталогах (если в вашей папке с раздачей есть подпапки).



Если отметить пункт Учитывать размер картинок, программа не будет считать дубликатами одинаковые по содержанию изображения, отличающиеся по высоте или ширине.
При выбранной опции Учитывать тип картинок, одинаковые изображения в разных форматах не определятся как дубликаты.
Если выбрать Учитывать соотношение ширины/высоты картинок, дубликатами будут считаться только изображения с одинаковым соотношением сторон.
При меньшей пороговой разнице программа может пропустить часть дубликатов, при бОльшей - увеличится количество ошибочных результатов.

2. Теперь нужно указать папку, где хранится будущая раздача. Нажимаем на иконку Пути (I), в открывшемся окне жмем Добавить каталог (II), выбираем нужную папку. Каталог, который был прописан в программе по умолчанию, можно из списка убрать. Нажимаем ОК (III).



Опция Добавить файлы позволяет добавить изображения из папки выборочно.

3. Нажимаем кнопку Начать поиск - . Появится окно обработки файлов, процесс может занять некоторое время.

4. Затем программа выдаст результаты проверки.



Слева мы видим миниатюры изображений в выделенной паре. Они помогут нам сравнить предполагаемые дубликаты визуально. Картинки могут быть, по сути, одинаковыми - только немного отличаться яркостью, контрастностью, насыщенностью, цветовым тоном и т.п. В третьем столбце (Различие) указано, сколько процентов разного у сравниваемых изображений.
Красным цветом выделены отличия в размерах и весе.
Программа также умеет находить дефектные изображения. В таком случае вы увидите во первом столбце (Тип) такой значок -

5. Обработка результатов. Выделяя пару дубликатов, выбирайте одно из действий возле миниатюр, убирая из папки раздачи лишние изображения.



Опция Удалить обе картинки (I), что очевидно из названия, удалит оба изображения.
Опция Заместить вторую картинку первой (II) удалит вторую картинку и сохранит первую под ее названием.
Опции Удалить первую картинку и Удалить вторую картинку (III) удаляют соответствующие изображения из пары по одному.
Опция Пометить текущий результат как ошибочный (IV) позволяет отметить текущий результат как ложный, что исключит его появление при повторных поисках.

В парах картинок, отличающихся только визуально, можно оставить то, которое, на ваш взгляд, смотрится лучше.
Если изображения на вид одинаковые, удаляем то, у которого хуже техданные - меньше размер и/или вес.
В предпоследнем столбце (Тип картинки) показан формат изображений. Вообще, у вас в папке не должно быть изображений разных форматов - вы ведь читали правила раздела Графика и знаете, что в одной раздаче запрещено смешивать форматы файлов. Но, если вдруг такие попадутся, - удаляем лишние.
Картинки, одинаковые визуально, но с разным соотношением сторон, в допускаются в раздачах жанра Обои для рабочего стола. Но помните, что оба изображения должны иметь одно из соотношений сторон: 5:4, 4:3, 3:2, 8:5 (16:10), 5:3, 16:9, 17:9 (стандартные пропорции мониторов). И лучше такими "парами" не злоупотреблять.
Дефектные изображения (с типом ), естественно, удаляются.

Помните, пожалуйста, что ни одна программа не обладает внимательностью человека. Поэтому даже после проверки программой, просмотрите изображения в папке самостоятельно - вдруг найдете то, что она упустила.

1. Запускаем программу. Выбираем метод Визуальное сравнение (Visual Compare) (I), процент совпадения выставляем 95% (II) - т.е. как дубликаты определятся только те изображения, которые совпадают на 95% и больше. Можно выставить и меньший процент, но это увеличит количество ошибочных результатов.
Затем идем в Опции (Options) и выставляем галочки, как показано на скриншоте ниже (III). Тогда программа будет считать дубликатами перевернутые изображения, а также - отраженные по вертикали/горизонтали. Во второй вкладке Форматы файлов (File types) (IV) можно отметить все форматы или только тот, в котором у вас изображения.



Параметры Auto Check (Автоматически отметить) (V) можно оставить по умолчанию: отметить первые два пункта (Изображения меньшего размера, Изображения меньшего веса, если размеры одинаковые), на последних двух пунктах (Изображения меньшего веса, независимо от размера, Изображения с более давней датой изменения) галочек не надо. Это настройки того, какие изображения следует отмечать для удаления в таблице результатов проверки. Вы все равно будете просматривать эти результаты и галочки можно будет поменять вручную, если вы не согласны с выбором программы.

2. Затем выбираем изображения для проверки. Для этого в окне Папки (Folders) нажимаем Добавить папку (Add Folder) (I), указываем место хранения нужной папки на компьютере. Если в этой папке есть подпапки - ставим галочку на Проверять подпапки (Scan Subfolder) (II).



Кнопка Убрать папку (Remove Folder) удаляет выделенный адрес из области проверки. Пригодится, если вы ошиблись при указании папки.

3. Теперь можно начинать поиск дубликатов. Для этого нажимаем Начать проверку (Start Scan) - .
В панели состояния внизу вы увидите прогресс обработки изображений. Процесс может занять некоторое время.

4. Закончив обработку, программа выдаст таблицу с результатами.



На вкладке Превью (Preview) показаны миниатюры изображений из списка. В левом окошке (I) всегда показана первая картинка из выбранной группы результатов (см. последний столбец - Группы / Groups). В правом окошке (II) показано выделенное в данный момент изображение.
В таблице результатов показаны технические данные изображений (III) (слева направо, со второго столбца) - Имя файла и его адрес, Размеры изображений, Дата последнего изменения, Процент совпадения, Номер группы дубликатов. Ориентируясь на них и на превью, мы сможем выбрать, какую картинку из пары удалять.

5. Обработка результатов. В самом первом столбце (без названия) нужно отмечать галочками картинки, которые впоследствии удалятся из папки будущей раздачи.



В парах картинок, отличающихся только визуально, можно оставить то, которое, на ваш взгляд, смотрится лучше.
Если изображения на вид одинаковые, удаляем то, у которого хуже техданные - меньше размер и/или вес.
У вас в папке не должно быть изображений разных форматов - вы ведь читали правила раздела Графика и знаете, что в одной раздаче запрещено смешивать форматы файлов. Но, если вдруг такие попадутся (обращайте внимание на расширения дубликатов), - удаляем лишние.
Картинки, одинаковые визуально, но с разным соотношением сторон, в допускаются в раздачах жанра "Обои для рабочего стола". Но помните, что оба изображения должны иметь одно из соотношений сторон: 5:4, 4:3, 3:2, 8:5 (16:10), 5:3, 16:9, 17:9 (стандартные пропорции мониторов). И лучше с такими "парами" не перебарщивать.
В ошибочных результатах снимаем галочки с обоих картинок.

Когда все изображения, идущие на удаление, выбраны, открываем вкладку Автоматически отметить (Auto Check) и настраиваем параметры После проверки (After Scan Options) (I). В них указывается, что делать с дубликатами.
Если вы хотите просто переместить файлы, укажите адрес в пункте Переместить отмеченные файлы в ... (сохраняя структуру папок) (Move checked files to (keeping folder structure)) и нажмите кнопку Переместить файлы (Move Checked Files) (II).
Если вы хотите удалить файлы с компьютера, нажмите кнопку Удалить отмеченные файлы (Delete Checked Files) (III). Также можно поставить или снять галочку с пункта Удалять файлы в Корзину (Delete files to Recycle Bin) (IV) - в зависимости от вашего выбора файлы будут удаляться в Корзину или безвозвратно.



Помните, пожалуйста, что ни одна программа не обладает внимательностью человека. Поэтому даже после проверки программой, просмотрите изображения в папке самостоятельно - вдруг найдете то, что она упустила.