[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
" \6 c# O+ O; X: A8 E# `import os
& B: d- F* @* @import imagehash
from PIL import Image
/ ^, T& @/ R7 B: B' s
6 _& r2 f: @1 K, E2 q3 Vdef compute_image_hash(image_path):
1 t6 f4 m# M/ r  `% i( J) N+ @+ A" s    # image = Image.open(image_path)
    # return imagehash.average_hash(image)
    try:
7 O, i% ?% V/ R  z/ w! [        with Image.open(image_path) as image:
9 c  ^8 b+ m2 u! n& n2 C+ x            return imagehash.average_hash(image)
    except (OSError, IOError) as e:
        print(f"处理图像 {image_path} 时出错: {e}")
        return None
8 V- b2 h3 ?5 J( V! y8 B4 k
' S& Z7 c1 H' A3 E: Qdef remove_duplicates(image_folder):
7 N! v, i+ P; @, Z    hash_dict = {}
/ T* Y% w$ j$ N- l' h3 R    duplicates = []

    for filename in os.listdir(image_folder):
* E, d3 F0 W, B$ a/ A/ F        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
2 h9 |- q& q9 h) V% h* v            image_path = image_folder + "\\" + filename
            image_hash = compute_image_hash(image_path)
' J3 e( R" _5 H" s# _! L6 m
( q, Y- v  q8 N2 z: N            if image_hash in hash_dict:
                duplicates.append(image_path)
  r9 c: `$ Q) Y' J9 M, ^' }' N            else:
8 D; W9 w& }2 Q1 w                hash_dict[image_hash] = image_path
        else:
            pass

    for duplicate in duplicates:
        os.remove(duplicate)
$ |9 E" q$ o: \; m0 f        print(f"Removed duplicate image: {duplicate}")

1 i0 `/ Q5 _- m1 S6 |# y    print("Duplicate removal complete.")

4 }2 o: B/ g  M$ Himage_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
5 z! ~0 r7 Q2 C  Y% M7 aremove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

1 q( X7 ~  T0 M3 t一眼ai