[自行打包] 个人收集精品杂图3 [2500p+9.1g][百度盘]

西域烤鱼干

tinbg 发表于 2024-7-12 19:13
3 Z6 l$ I0 K; }1 |& h/ ^大哥，你这个头像很爱啊，像ai又想vam，有没有出处

抖音上有很多

uuuuyyyyy

为啥我一直密码错误ヽ(`Д´)ﾉ

不如离弃

好看

cndeng

" B, K, d7 T: `6 s感谢分享，大佬辛苦了。

lattess

有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈希值函数加个异常解决了，大家可以留着以后备用lol
import os
2 l& H- }, T7 C5 h+ C& h+ H: ?import imagehash
from PIL import Image
: J' U% G( @, N* d3 |8 R
def compute_image_hash(image_path):
# a2 e3 l* K( ~    # image = Image.open(image_path)
& d$ H7 Q  `: }    # return imagehash.average_hash(image)
    try:
        with Image.open(image_path) as image:
) l( M! K! g$ @. j. v/ P            return imagehash.average_hash(image)
    except (OSError, IOError) as e:
3 |- b) e- f* D3 U/ M        print(f"处理图像 {image_path} 时出错: {e}")
+ |; b/ s4 x+ S: v$ w" P" @* X        return None
. z% T6 r5 x# e) ]0 ~
: |. s3 F! W8 d6 hdef remove_duplicates(image_folder):
    hash_dict = {}
/ }- `8 M" Z7 Z4 r5 V# Y3 W    duplicates = []
- Y- F) z8 Y4 ^5 r+ e4 ~4 Z0 W5 Z2 B
    for filename in os.listdir(image_folder):
        if filename.endswith(('.png', '.jpg', '.jpeg', '.bmp', '.gif')):
* I  z# q4 c6 b            image_path = image_folder + "\\" + filename
7 T' H. B' Z$ L% [/ Y            image_hash = compute_image_hash(image_path)
( Q1 m: T3 L0 I4 _& `8 B$ c
( }  {3 Z9 w+ N            if image_hash in hash_dict:
                duplicates.append(image_path)
            else:
6 U; d8 z' U- ?: |, o                hash_dict[image_hash] = image_path
& j2 j0 t' l: _, ~  P        else:
            pass

/ ~+ n) O2 X* B- i4 @9 b' }    for duplicate in duplicates:
        os.remove(duplicate)
        print(f"Removed duplicate image: {duplicate}")
# P( g  p, a$ C  C' v1 |1 `0 b
    print("Duplicate removal complete.")

3 `  [+ t9 e0 k/ @- S$ ^# k5 V. U8 ?& limage_folder = 'D:/data/baidu/去重训练文件夹' #换成自己的文件夹
remove_duplicates(image_folder)

lattess

lattess 发表于 2024-7-23 16:25
有一部分图重复了，写了一段代码来解决这个问题，有一张图片似乎有问题，困扰了我好久为什么一直报错，求哈 ...

6 ]3 m4 j) {8 Y! o; a有问题的图片名为1558571_114.png

一言九鼎

tinbg 发表于 2024-7-12 19:13
大哥，你这个头像很爱啊，像ai又想vam，有没有出处

一眼ai
# |: `+ [5 L/ M# e* ?" K) i; d& G