Datawhale#25开源学习_异常检测

异常检测，学习笔记： 第一天：了解了学习规则和学习任务，完成了群名片修改，认识了新朋友； 第二天学习笔记： 完成了task1的任务，即论文数据统计 ，主要是学习pandas的使用方法和数据可视化， python使用还不是很熟练，因此继续加强python的练习。之后学习了数据预处理， 包括统计不同类别的数据分类，其中split函数功能很强大。了解了异常检测的定义和类别，异常检测的任务分类， 学习了异常检测的常用方法，包括传统的方法，传统的方法主要由基于统计学习的方法，线性模型和基于相似度的方法，.

原文链接：https://blog.csdn.net/qq_41080850/article/details/86695846 1 什么是异常值？ 模型通常是对整体样本数据结构的一种表达方式，这种表达方式通常抓住的是整体样本一般性的性质，而那些在这些性质上表现完全与整体样本不一致的点，我们就称其为异常点 异常点在某些场景下极为重要，如疾病预测，通常健康人的身体指标在某些维度上是相似，如果一个人的身体指标出现了异常，那么他的身体情况在某些方面肯定发生了改变，当然这种改变并不一定是由疾病引起（通常被称为

1.什么是异常检测？ 异常检测（Outlier Detection），顾名思义，是识别与正常数据不同的数据，与预期行为差异大的数据。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-q2wRcksL-1610462513859)(C:\Users\86151\AppData\Roaming\Typora\typora-user-images\image-20210112220655392.png)] 异常的类别 点异常：指的是少数个体实例是异常的，大多数个体实例是正常的，例如正

异常检测——高维数据异常检测主要内容包括：Feature Bagging孤立森林 1、引言 在实际场景中，很多数据集都是多维度的。随着维度的增加，数据空间的大小（体积）会以指数级别增长，使数据变得稀疏，这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战，对距离的计算，聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性，但是，在高维空间中，所有点对的距离几乎都是相等的（距离集中），这使得一些基于距离的方法失效。在高维场景下，一个常用的方法是子空间方法。集成是子空间思想中常用的方法之

异常检测——基于统计学的方法 主要内容包括： 高斯分布 箱线图 1、概述 统计学方法对数据的正常性做出假定。它们假定正常的数据对象由一个统计模型产生，而不遵守该模型的数据是异常点 统计学方法的有效性高度依赖于对给定数据所做的统计模型假定是否成立。 异常检测的统计学方法的一般思想是：学习一个拟合给定数据集的生成模型，然后识别该模型低概率区域中的对象，把它们作为异常点。即利用统计学方法建立一个模型，然后考虑对象有多大可能符合该模型。 根据如何指定和学习模型，异常检测的统计学方法可以划分为两个主要类型：参数方法

Datawhale组队学习开源内容汇总 一、组队学习简介 组队学习就是一群志同道合的小伙伴，一起学习讨论，一起克服拖延症，一起组队打boss。没有老师，没有教学，有的是一群热爱学习和渴望改变的人，交流学习，互促共进。 如果您对哪门开源内容感兴趣，请在下方留言区写上课程的名称。我们就邀请该课程设计者开设该课程的组队学习。 （1）组队学习的目的：打磨自我技能，认识优秀伙伴，挖掘潜在组织成员，和学习者一起成长。 （2）组队学习的方向：每个月第二个周六，组织一次学习活动，主要围绕以下六个方面进行开源内容建设。 0

Task02：基于统计学的异常检测算法 文章目录Task02：基于统计学的异常检测算法0 写在前面1 基于统计学的异常检测算法概述2 参数化方法2.1 基于正态分布的一元异常点检测2.2 基于正态分布的多元异常点检测3 非参数化方法4 基于角度的方法5 HBOS6 总结参考文献 0 写在前面 上篇文章，我们从异常检测的概念、异常检测方法、异常检测应用、异常检测面临的挑战和未来研究方向等方面对异常检测进行了全方位的介绍。 本篇文章，我们将视角回到异常检测算法上来，下面将详细介绍基于统计学的异常检测算法. 1

task 1 异常检测概述 异常检测有多种应用场景，根据任务的不同，相关技术可以用于回归/分类问题的预处理（如果这类问题要求数据全为合理值），也可以用于直接的异常检测任务（如系统故障诊断、信用卡欺诈等） 其中，特别是在实际工程应用中，大多数情况下没有异常标签，所以无监督预测占很大比例；另外，在一些数据收集无法十分频繁的问题（如机房巡检），或者是数据集本身有严格要求的（如身份证号数据库）上，缺乏异常数据，这部分问题需要半监督预测方法。 噪音及异常数据缺乏时异常检测的难点，故一般的机器学习方法，很多没有办法直接

将数据集统一命名为数字-->获得文件名列表full_dataset-->打乱列表random_dataset-->set train_rate = 0.8,train_dataset = random_dataset[:int(full_dataset)*0.8],test_dataset =random_dataset[int(full_dataset)*0.8:] -->移动文件。文件：gif格式的、非三通道图片（三通道图可以是彩色图，可以是灰度模式的图像。第一步，导入所需要的库。

↑↑↑关注后"星标"Datawhale每日干货&每月组队学习，不错过Datawhale干货作者：王程伟，算法工程师，Datawhale成员在计算机视觉中，红...