QQ登录

只需要一步,快速开始

APP扫码登录

只需要一步,快速开始

手机号码,快捷登录

手机号码,快捷登录

查看: 1875|回复: 0

[Python] 用python删除文件夹中的重复图片(图片去重)

[复制链接]

等级头衔

积分成就    金币 : 2841
   泡泡 : 1516
   精华 : 6
   在线时间 : 1295 小时
   最后登录 : 2024-11-23

丰功伟绩

优秀达人突出贡献荣誉管理论坛元老

联系方式
发表于 2021-5-13 09:41:02 | 显示全部楼层 |阅读模式
第一部分:判断两张图片是否相同) E, T$ Q1 G9 u/ Y4 G
       要查找重复的图片,必然绕不开判断两张图片是否相同。判断两张图片简单呀!图片可以看成数组,比较两个数组是否相等不就行了。但是这样做太过简单粗暴,因为两个数组的每个元素都要一一比较,效率很低。为了尽量避免两个庞大的数组比较:. [7 o+ Y4 ^+ s# s
  • 先进行两张图片的大小(byte)比较,若大小不相同,则两张图片不相同;
  • 在两张图片的大小相同的前提下,进行两张图片的尺寸(长和宽)比较,若尺寸不相同,则两张不相同;
  • 在两张图片的尺寸相同的前提下,进行两张图片的内容(即数组元素)比较,若内容不相同,则图片不相同;
    4 P$ D/ u9 H( D8 ?& O  z# y4 L
       这样,当图片大小或图片尺寸不相同的时候,便认为两张图片不同,可以省去比较数组元素的部分,效率up~1 b0 `  z) ^" ~3 A1 S
  1. import shutil
  2. import numpy as np
  3. from PIL import Image
  4. import os
  5. def 比较图片大小(dir_image1, dir_image2):
  6.     with open(dir_image1, "rb") as f1:
  7.         size1 = len(f1.read())
  8.     with open(dir_image2, "rb") as f2:
  9.         size2 = len(f2.read())
  10.     if(size1 == size2):
  11.         result = "大小相同"
  12.     else:
  13.         result = "大小不同"
  14.     return result
  15. def 比较图片尺寸(dir_image1, dir_image2):
  16.     image1 = Image.open(dir_image1)
  17.     image2 = Image.open(dir_image2)
  18.     if(image1.size == image2.size):
  19.         result = "尺寸相同"
  20.     else:
  21.         result = "尺寸不同"
  22.     return result
  23. def 比较图片内容(dir_image1, dir_image2):
  24.     image1 = np.array(Image.open(dir_image1))
  25.     image2 = np.array(Image.open(dir_image2))
  26.     if(np.array_equal(image1, image2)):
  27.         result = "内容相同"
  28.     else:
  29.         result = "内容不同"
  30.     return result
  31. def 比较两张图片是否相同(dir_image1, dir_image2):
  32.     # 比较两张图片是否相同
  33.     # 第一步:比较大小是否相同
  34.     # 第二步:比较长和宽是否相同
  35.     # 第三步:比较每个像素是否相同
  36.     # 如果前一步不相同,则两张图片必不相同
  37.     result = "两张图不同"
  38.     大小 = 比较图片大小(dir_image1, dir_image2)
  39.     if(大小 == "大小相同"):
  40.         尺寸 = 比较图片尺寸(dir_image1, dir_image2)
  41.         if(尺寸 == "尺寸相同"):
  42.             内容 = 比较图片内容(dir_image1, dir_image2)
  43.             if(内容 == "内容相同"):
  44.                 result = "两张图相同"
  45.     return result
第二部分:判断文件夹内是否有重复图片
5 w+ N; K/ P4 O5 l0 j1 v7 X       若要判断文件夹内是否有和图片A相同的图片,则需要遍历文件夹内所有图片,挨个判断两个图片是否相同。若文件夹有1000张图片,那么第1张图片需要与剩下的999张图片作比较,第2张图片需要与剩下的998张图片作比较,第3张需要与剩下的997张图片作比较,以此类推。在此程序中的做法是,先对所有图片按图片大小(byte)排序,然后再执行遍历比较。这样做的结果是:重复图片很大概率会连着出现(因为重复图片大小相同)) Q0 e! n$ `% X. B9 u8 D
  1. if __name__ == '__main__':
  2.     load_path = 'E:\\测试图片集(未去重)'  # 要去重的文件夹
  3.     save_path = 'E:\\测试图片集(重复照片)'  # 空文件夹,用于存储检测到的重复的照片
  4.     os.makedirs(save_path, exist_ok=True)
  5.     # 获取图片列表 file_map,字典{文件路径filename : 文件大小image_size}
  6.     file_map = {}
  7.     image_size = 0
  8.     # 遍历filePath下的文件、文件夹(包括子目录)
  9.     for parent, dirnames, filenames in os.walk(load_path):
  10.         # for dirname in dirnames:
  11.         # print('parent is %s, dirname is %s' % (parent, dirname))
  12.         for filename in filenames:
  13.             # print('parent is %s, filename is %s' % (parent, filename))
  14.             # print('the full name of the file is %s' % os.path.join(parent, filename))
  15.             image_size = os.path.getsize(os.path.join(parent, filename))
  16.             file_map.setdefault(os.path.join(parent, filename), image_size)
  17.     # 获取的图片列表按 文件大小image_size 排序
  18.     file_map = sorted(file_map.items(), key=lambda d: d[1], reverse=False)
  19.     file_list = []
  20.     for filename, image_size in file_map:
  21.         file_list.append(filename)
  22.     # 取出重复的图片
  23.     file_repeat = []
  24.     for currIndex, filename in enumerate(file_list):
  25.         dir_image1 = file_list[currIndex]
  26.         dir_image2 = file_list[currIndex + 1]
  27.         result = 比较两张图片是否相同(dir_image1, dir_image2)
  28.         if(result == "两张图相同"):
  29.             file_repeat.append(file_list[currIndex + 1])
  30.             print("\n相同的图片:", file_list[currIndex], file_list[currIndex + 1])
  31.         else:
  32.             print('\n不同的图片:', file_list[currIndex], file_list[currIndex + 1])
  33.         currIndex += 1
  34.         if currIndex >= len(file_list)-1:
  35.             break
  36.     # 将重复的图片移动到新的文件夹,实现对原文件夹降重
  37.     for image in file_repeat:
  38.         shutil.move(image, save_path)
  39.         print("正在移除重复照片:", image)
第三部分:程序运行结果
" R8 }; O$ r9 I4 q       若文件夹下有10张图片A、5张图片B、1张图片C,程序运行结束后,该文件夹下剩余1张图片A、1张图片B、1张图片C;其他的图片移动到 save_path 指定的文件夹下。
1 v3 {% W+ h2 w1 M$ {- k& O1 D, U第四部分:注意& {9 s9 ?/ N0 h( r: P; ~. |
       程序代码可以直接复制使用,需要修改 load_path 和 save_path 参数;
. e  A2 m9 {5 J, k       保证 load_path 文件夹都为图片格式(.jpg .png .jpeg)的文件类型,不可以有其他格式的文件(例如.mp4);请先用资源管理器处理文件夹,直接修改代码读取文件夹下指定类型的文件。
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|手机版|小黑屋|paopaomj.COM ( 渝ICP备18007172号|渝公网安备50010502503914号 )

GMT+8, 2024-11-24 07:11

Powered by paopaomj X3.5 © 2016-2025 sitemap

快速回复 返回顶部 返回列表