Relief法**是一种非常经典、有效的**特征选择算法

Relief法是一种非常经典、有效的特征选择算法，尤其适用于分类问题中发现重要特征。它能在不依赖模型的前提下，根据样本间的距离和类别差异，判断每个特征对分类任务的“区分能力”。

✅ 一、Relief法的核心思想

Relief 的目标是评估每个特征对区分“相似样本中是否属于同一类”的能力。

👇直观理解：

• 如果两个样本在特征 A 上很接近，但一个是“正类”，一个是“负类”，那说明 A 不能很好区分类别 → 权重要减小；
• 如果两个样本在特征 B 上很接近，且它们类别也相同，说明 B 是有用的 → 权重要增加。

✅ 二、算法流程（以二分类为例）

1. 初始化：给每个特征一个初始权重 $W[A_i]=0$

2. 多次重复以下步骤（随机采样 m 个样本）</