- 博客(14)
- 资源 (2)
- 收藏
- 关注
原创 五. 以聚类和搜图方式清洗图像数据集,采用Pickle和Faiss(百万数据集,ms级响应)快速搜图(附完整代码)
一. 总结Faiss 和 Pickle 优缺点和适用场景。二. 将图像特征打包成 pickle 文件(Python 的序列化格式),匹配搜图(附完整代码)。三. 将图像特征打包成faiss的index索引文件,匹配搜图(附完整代码)。四. 先用Pickle保存图像特征,再用Faiss构建索引(更灵活)(附示例代码)。
2025-04-19 21:47:55
886
原创 四. 以Annoy算法建树的方式聚类清洗图像数据集,一次建树,无限次聚类搜索,提升聚类搜索效率。(附完整代码)
(1)通过多次递归迭代,建立一个二叉树,以二叉树的方式,提升数据聚类和搜索速度,但会损失一些精度。(2)建树过程相对比较耗时,但建树只需要一次,部署到线上或者其他设备上,能无数次聚类搜索。(类似于人脸识别的人脸底库)
2025-04-19 07:25:11
515
原创 三.以聚类和搜图方式清洗图像数据集,先找到最佳聚类类别数,再进行有效聚类 (图像特征提取+Kmeans聚类)(附案例代码)
(1)对向量数据找最佳聚类类别数,以确定聚类的最佳效益,最好的效果。(2)对聚类完图像特征后,从每个聚类文件夹里面取小图,并根据小图名找到对应的大图,用这样方式取到的图的类别均衡,且是最有效的图,每次新的数据集进来,都可以以这样的方式对图像进行筛选。
2025-04-01 22:01:00
684
原创 二.以聚类和搜图方式清洗图像数据集,解决图像冗余和不均衡问题 (图像特征提取+Kmeans聚类篇)(附案例代码)
一. 简单Kmeans聚类例子, 样本是针对向量数据二. 提取图像特征,Kmeans对图像特征进行聚类三. 解决图像数据样冗余和不均衡问题
2025-04-01 21:55:35
363
原创 一.以聚类和搜图方式清洗图像数据集 (Kmeans和DBscan聚类原理篇)
(1) Kmeans会强制要求每个类有个聚类,一些异常点也会强制归类,而DBscan会剔除一些异常点(噪声点),更符合我们对数据的聚类。因为异常点(噪声点)会影响聚类的中心点。(2) Kmeans上手容易, 但对初始值敏感, DBscan效果好,但不好调参。(3) Kmeans可多线程跑, 聚类快; DBscan运算量大,且不能用线程分布式处理。
2025-03-24 22:30:00
185
原创 Yolo导出onnx,关于opset版本和simplify参数设置
一. yolo导出onnx关于opset版本设置。二. yolo导出onnx关于simplify参数设置。三. yolo导出onnx进行推理和pt推理对比。
2025-02-06 22:32:42
1342
原创 (亲测有效)Google的Chrome浏览器在Window电脑打开后无法联网,2种解决方式!
第一种方案:(推荐解决方案,亲测有效) Chrome不兼容以前版本的Window版本,对Chrome.exe进行属性管理,再根据下面图像内容进行一步步操作,再重新启动Chrome即可解决。
2024-11-25 17:02:31
2348
2
原创 用于参数和计算效率的超细粒度图像识别的降采样插入层适配器
超细粒度图像识别对类别间差异极小的对象进行分类,区分同一物种内的品种。为了应对每个类别的样本稀缺等挑战,论文引入了一种新颖的方法,采用下采样层间适配器,其中主干网络参数被冻结,仅微调一小部分附加模块。通过整合双分支下采样,显著减少了所需的参数数量和浮点运算次数。在10个数据集上的全面实验表明,该方法在准确性和成本性能方面取得了卓越的成绩。特别是,与其他参数高效设置中的方法相比,我们的方法将平均准确率提高了至少6.8%,可训练参数至少减少了123倍,与最先进的UFGIR方法相比,平均FLOPs减少了30%。
2024-09-18 14:19:38
1163
原创 基于极细粒度的字形视觉分类
为了解决自然场景字形之间相似性挑战,论文引入了两个非常细粒度的视觉识别数据集。论文提出了一个简单而有效的两阶段的对比学习方法:第一阶段,利用监督对比学习来利用标签信息来预热骨干网络;第二阶段,介绍了CCFG-Net,它集成了欧氏空间和角空间中的分类和对比学习的网络架构,其中对比学习应用于监督学习和成对判别方式,以增强模型的特征表示能力。论文提出的方法有效地利用了对比学习和分类的互补优势,提高了相似字形的识别性能。与CNN和Transformer骨干下的最先进的细粒度分类方法比较评估,证明了该方法的优越性。
2024-09-14 15:08:49
1117
原创 yolov8 obb算法中的GBB和ProbIoU核心内容
大多数目标检测方法使用边界框来编码和表示物体形状和位置,本论文中使用高斯分布对物体区域进行模糊表示,还提出了一种基于Hellinger距离的相似性度量,称为概率交并比(ProbIoU),可以视为一种概率形式的IoU。实验结果表明,所提出的高斯表示与公开可用数据集中的标注分割掩码更为接近,且基于ProbIoU的损失函数可以成功用于回归高斯表示的参数。此外,本论文提出了一个从传统(或旋转的)边界框到高斯表示的简单映射方案,允许将所提出的基于ProbIoU的损失无缝集成到任何目标检测器中。
2024-09-13 14:19:47
2453
原创 在半监督学习中,用于细粒度图像分类中精确增强的伪标记方法
这篇文章主要解决的问题是细粒度图像分类中的标注数据稀缺问题。该问题的研究难点包括:标注数据稀缺、细粒度特征的分辨难度大、标准数据增强和图像混合技术会破坏关键的细粒度特征。文章的方法是通过生成高质量的伪标签用到大量的未标注数据上,并通过两个关键阶段逐步优化这些伪标签:初始伪标签生成和混合语义伪标签生成。这两个阶段利用类激活图(CAMs)准确估计语义内容,并生成捕捉细粒度分类所需关键细节的精细标签。通过关注语义级信息,该方法有效地解决了标准数据增强和图像混合技术在保留关键细粒度特征方面的局限性,提升分类精度。
2024-09-12 17:31:37
1055
1
原创 通过特征幅度正则化,增强少数据情况下的细粒度识别精度
本文提出了一种名为特征幅度正则化(FMR)的新方法,用于改善少数据场景下的细粒度图像识别。FMR通过均衡特征幅度,解决了预训练模型中存在的特征幅度偏差问题。该方法根据特征幅度分布动态调整正则化强度,从而获得更平衡的特征表示并提高模型性能。实验结果表明,FMR在各种数据集上的性能均优于传统的微调方法,展示了其在具有挑战性的数据有限环境中的潜力。
2024-09-10 12:20:21
1277
原创 把网页保存成PDF或者输出打印时,有2款好用的网页插件值得安利。(不一定每个人用的上)
想把网页保存成PDF或者输出给打印时,有2款网页插件值得推荐:(在网页扩展中安装)(先安利一个AI算法论文和代码的网站:https://paperswithcode.com)
2024-09-06 16:53:27
1837
原创 Linux系统安装多个CUDA版本与切换,正常AI模型训练
如果已经安装了NVIDIA驱动版本,先卸载旧驱动,再安装新CUDA对应的驱动,如果没有安装过NVIDIA驱动版本,可以直接安装新CUDA版本,它会自动安装对应的NVIDIA驱动。(2)执行nvidia-smi命令,显示是cuda的版本号(每个cuda版本对应了不同驱动版本),提供有关系统中NVIDIA GPU的实时状态信息。一个带显卡的环境系统能安装多个CUDA版本,但不能安装多个NVIDIA驱动版本,多个驱动版本会导致冲突,NVIDIA驱动能向下兼容CUDA版本,但不能向上兼容CUDA版本。
2024-07-24 17:44:04
2826
2
预训练的分类模型,用于《二.以聚类的方式清洗图像数据集 (图像特征提取+Kmeans聚类篇)》的文章里,用于提取图像特征进行聚类
2025-03-25
label.png图像16位或24位转8位,用于Mask Rcnn训练(绝对可用)
2019-07-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人