入侵检测与移动群体模式挖掘技术解析

### 入侵检测与移动群体模式挖掘技术解析 在当今数字化时代，网络安全和用户行为分析变得至关重要。本文将深入探讨两种关键技术：统一基于签名和异常的入侵检测（USAID）以及基于轨迹的移动群体模式挖掘。 #### 统一基于签名和异常的入侵检测（USAID） - **数据集情况** - **特征类型**：连接记录中有 41 种特征，分为标称型（9 种）、离散型（15 种）和连续型（17 种）。例如标称型特征包含协议类型、服务、标志等；离散型特征有持续时间、源字节数等；连续型特征如错误率、服务错误率等。 - **数据集规模**：训练数据集有 4898431 个实例，测试数据集有 311029 个实例。由于实验数据集中连续特征的精度为 0.01，所以设置相邻阈值 δ = 0.01。 - **实验结果分析** - **数据集质量**：训练数据集中存在一些非法记录，如实例 4817100；测试数据集中有索引为 136489 和 136497 的实例，其“TCP”协议类型和“ICMP”服务组合非法，这些记录在实验中被丢弃。此外，还有“spy”入侵未被正确记录。 - **特征范围**：实验中特征向量里正常、可疑和异常特征范围的平均数量比为 N : S : A = 23 : 18 : 12。“可疑”特征范围数量较多，表明仅依靠一个特征进行入侵检测是不够的。 - **NSA 签名库**：正常、可疑和异常签名的数量比为 N : S : A = 60371 : 58 : 2779。虽然仍存在可疑签名，但与单个特征相比，检测能力有了很大提升。N 和 A 的高比例（N : A ≈ 21.7）意味着签名识别检测（SID）的速度会更快。所有 41 种特征的特征范围可能产生的签名总数为 8.38 × 10³³，而签名库相对紧凑。 - **行为的签名变化**：大多数入侵会产生多个签名。例如，端口扫描有 941 个签名，IP 扫描有 72 个签名，撒旦攻击有 389 个签名。这表明入侵存在显著的变化。在 NSA 签名库中，一些签名被多个入侵行为共享，如端口扫描和海王星攻击。虽然共享签名数量较少，但在某些情况下，如特征数量不足时，难以正确识别一些入侵行为。 - **行为间的共享签名**：正常类别会与其他入侵类别共享许多签名，这是入侵检测中误报或漏报的主要来源。R2L 入侵的签名不与其他入侵类别共享，只有“probe”入侵与其他各类别都有共享签名。这可能是因为每个类别签名的比例不同，且“probe”入侵的主要原理相似。 - **检测结果**：从测试数据集中排除了“snmpgetattack”和“mailbomb”两种新入侵，因为特征向量中的信息不足以检测它们。USAID 的误报率为 1.45%，已知入侵检测率为 99.78%，大多数新入侵检测率为 98.18%。与 KDD’99 分类器学习竞赛的参与者相比，在将检测到的异常正确分类到实际入侵类别时，USAID 的得分为 0.1355，远优于 KDD’99 的第一名（0.2331）；在最坏情况下，将异常错误分类到成本最高的入侵类别时，得分为 0.3283，排名第 19 位。 |特征类型|数量|具体特征示例| | ---- | ---- | ---- | |标称型|9|协议类型、服务、标志等| |离散型|15|持续时间、源字节数等| |连续型|17|错误率、服务错误率等| #### 基于轨迹的移动群体模式挖掘 - **研究背景与问题提出** - **研究动机**：社会学研究表明，同伴压力和群体从众会影响个人购买行为。通过了解用户所属的群体，可以挖掘共同的购买兴趣，制定群体特定的定价模型或营销策略。利用用户的时空位置信息来确定群体是一种有效的方法，但以往将对象移动数据表示为同步时间序列的位置存在三个问题： - 为保证位置跟踪准确，采样频率需很高，导致移动数据库庞大。 - 移动对象可能会自愿或非自愿地断开连接，无法保证每个时间点都有