特征选择方法学习笔记（二）

最新推荐文章于 2025-05-07 14:19:16 发布

原创

最新推荐文章于 2025-05-07 14:19:16 发布 · 2.8k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#机器学习 #特征选择

本文探讨了特征选择的方法，从mRMR的相似度和冗余度角度出发，指出其对相似度和冗余度函数的依赖。接着提出通过优化目标函数并加入L1正则化约束来选择特征子集，这种方法能够实现特征的稀疏化和有效性。L1正则化使得许多权重为0，从而简化特征集。文章推荐了一篇2010年NIPS上的论文，介绍了这种方法在实际应用中的优秀表现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前看过了mRMR的方法了，从特征与目标的最大相似度和特征与特征间的最小冗余出发来寻找特征子集。这样的方法的确是不错的，在实验中取得了鲁棒的效果。但是经过和别的方法对比后发现，该方法目前在选择特征上以及不能算登峰造极了。或许大家仔细思考后可以发现，这个方法最大的一个短板就是对我们定义的相似度函数以及冗余函数敏感。也就是说我们定义不同的相似度函数和冗余函数可能造成差距较大的结果。而我们又如何保证自己定义的相似度函数和冗余函数就是最好的呢？或许今后在这两个函数上加以改进，又可以从这个角度出发得到一个更完美的结果。

今天我们再换一个角度来看特征选择的问题。既然我们还没有办法很好的从微观上定义每个特征与目标的相似度以及特征间的冗余度，那么我们何不单刀直入，从宏观上直接对所有特征一起下手。也就是直接把所有特征放到一起，构造一个目标函数，然后优化它求得最合适的特征子集。那么方法可以达到这样的效果呢？其实单刀直入的一起优化不难理解，如果我们不要求选择特征子集，那么训练分类器所用到的目标函数（最小二乘的形式或者SVM的那个hinge loss的形式）就是把所有特征放到一起来优化，在这个情况下我们需要求得的是每个特征前面的权值。说到这儿，可能有的看官已经想到了，权值不就代表着特征的重要程度吗？如果按照权值的大小给特征的重要性排个序，那么不就选择除了相对重要的特征吗？如果你想到了这一步，恭喜你具备了敏锐的观察力和分析能力。如果你能继续想到这样做唯一的一个缺点就是如果粗暴的截取排序在前的一部分特征可能效果并不好，因为特征之间是相互影响的，后面虽然贡献小的特征但是可能组合起来贡献就显著了