怎么用numpy找出并去除list中的重复值

要去除Python列表中的重复值，有几种常见的方法： 1. **使用set**： 利用集合（set）的特点，它是无序的且不允许有重复元素。你可以将列表转换为集合，然后再转回列表。 ```python unique_list = list(set(lst)) ``` 2. **使用列表推导式**： 这种方法会遍历列表，只保留第一次遇到的非重复元素。 ```python unique_list = [x for i, x in enumerate(lst) if x not in lst[:i]] ``` 3. **使用dict**： 字典不会接受重复键，所以你也可以利用这个特性。 ```python unique_list = list(dict.fromkeys(lst)) ``` 4. **使用numpy**（对于大型列表效率更高）： 如果你的列表很大，可以考虑使用numpy库，其`unique`函数能快速找出唯一元素。 ```python import numpy as np unique_list = np.unique(lst).tolist() ``` 以上四种方法都可以达到去重目的，选择哪种取决于你的具体需求和对性能的要求。

### 使用 OpenCV 和感知哈希算法实现图片去重 为了使用 OpenCV 去除重复图片，可以通过计算每张图片的感知哈希值（pHash），再通过汉明距离来衡量两张图片之间的差异。如果两幅图像的 pHash 的汉明距离小于某个阈值，则认为这两张图像是相同的。 #### 定义感知哈希函数 定义 `calculate_phash` 函数用于获取给定路径下图像文件的感知哈希字符串表示： ```python import cv2 import numpy as np def calculate_phash(image_path, hash_size=16): # 读取图像并转换为灰度图 image = cv2.imread(image_path, cv2.IMREAD_GRAYSCALE) if image is None: raise ValueError(f"Image not found: {image_path}") # 缩放到指定大小 image = cv2.resize(image, (hash_size, hash_size)) # 计算平均值 avg = np.mean(image) # 生成哈希值 phash = ''.join(['1' if pixel > avg else '0' for row in image for pixel in row]) return phash ``` 此部分代码实现了对输入图像进行处理，并最终返回其二进制形式的哈希串[^1]。 #### 比较两个哈希值间的汉明距离 接着定义一个辅助方法用来测量两个哈希码之间有多少位不同，即所谓的“汉明距离”。当这个数值越小时意味着两者更接近相同。 ```python def hamming_distance(hash1, hash2): """Calculate the Hamming distance between two hashes.""" assert len(hash1) == len(hash2), "Hashes must be of equal length" return sum(c1 != c2 for c1, c2 in zip(hash1, hash2)) ``` 上述逻辑确保了只有长度一致的情况下才会继续执行比较操作，并统计出所有位置上字符不同的数量作为输出结果。 #### 执行批量检测与筛选过程 最后一步则是遍历待查目录中的所有图片文件，调用之前编写的工具函数完成实际的任务需求——识别并移除那些高度相似甚至完全一样的副本项。 ```python from pathlib import Path def remove_duplicate_images(directory, threshold=5): """ Remove duplicate images from a directory based on perceptual hashing. :param directory: Directory containing images to check for duplicates. :param threshold: Maximum allowed Hamming distance between similar images. """ pathlist = list(Path(directory).glob('*.jpg')) + \ list(Path(directory).glob('*.png')) seen_hashes = {} removed_files = [] for img_file in pathlist: try: current_hash = calculate_phash(str(img_file)) closest_match_key = min( ((k, v) for k, v in seen_hashes.items()), key=lambda item: hamming_distance(current_hash, item[1]), default=(None, '') )[0] if closest_match_key and hamming_distance(seen_hashes[closest_match_key], current_hash) <= threshold: print(f'Removing duplicate file: {img_file}') removed_files.append(img_file.name) img_file.unlink() else: seen_hashes[str(img_file)] = current_hash except Exception as e: print(e) return removed_files ``` 这段程序会扫描指定文件夹内所有的 JPG 或 PNG 图像资源，利用前面提到的技术手段找出可能存在的冗余拷贝，并按照设定好的容忍限度决定是否将其永久删除掉。