（三）组合特征与特征变换 学习简要笔记 #机器学习特征工程 #CDA学习打卡

最新推荐文章于 2025-08-05 19:25:24 发布
最新推荐文章于 2025-08-05 19:25:24 发布
阅读量851 收藏 8
点赞数 12
CC 4.0 BY-SA版权
分类专栏： 机器学习特征工程极简入门 文章标签： 机器学习 python 学习 笔记 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42346952/article/details/137890933
本文详细探讨了统计特征、业务特征和组合特征在数据分析中的重要性，以及如何通过对数变换和Box_Cox变换进行特征变换。重点介绍了如何利用GBDT和LR模型结合这些特征提高模型性能，并强调了特征工程在实际问题中的关键作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一. 统计及组合特征

1）统计特征

2）业务特征

3）组合特征

（a）简单组合特征

（b）模型特征组合

二. 特征变换

1）对数变换（Logarithmic Transformation）

（a）简介

（b）代码

2）Box_Cox变换

（a）简介

（b）代码

一. 统计及组合特征

基本特征（时间特征与空间特征）具体内容可见第一期。

1）统计特征

2）业务特征

除了前面常见的统计特征包括平均值、方差、最大值、最小值、中位数、偏度、峰度等。还有一部分特征是业务统计特征，这部分需要结合到业务场景做具体统计，可以帮助我们更好地理解数据的分布和特点，为后续的模型训练和预测提供有用的信息。

最低0.47元/天 解锁文章

200万优质内容无限畅学
（一）时间与空间特征构建 学习简要笔记 #机器学习特征工程 #CDA学习打卡
weixin_42346952的博客
04-04 569
特征工程中的时间（离散与连续）与空间（经纬度和地址坐标）特征的构建方法。
（二）数值与类别特征构建 学习简要笔记 #机器学习特征工程 #CDA学习打卡
weixin_42346952的博客
04-10 663
本文介绍了数值特征（归一化、标准化、正则化）以及类别特征（标签编码、序号编码、独热编码、二进制编码）的定义和方法。
特征工程-组合特征
weixin_38981611的博客
05-23 715
1、基于A/B的统计特征 A关于B的传统统计特征。这是非常通用的一组特征，其构建的思路也非常简单，就是计算组内(无序类别特征)数值特征的统计信息。 df['A_B_mean'] = df.groupby('A')['B'].transform('mean').values df['B_A_median'] = df.groupby('B')['A'].transform('median').values df['A_B_std'] = df.groupby('A')['B'].transform(
特征工程：什么是「组合特征」？要如何处理「高维组合特征」？
强劲九
04-21 1172
为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组合，构成高阶组合特征。在实际问题中，需要面对多种高维特征，简单地两两组合，依然容易存在参数过多、过拟合等问题。
【特征工程 03】如何有效地找到组合特征？
weixin_55252589的博客
12-31 1372
为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组合，构成高阶组合特征。以广告点击预估问题（表1.2是语言和类型对点击的影响）为例，原始数据有语言和类型两种为了提高拟合能力，语言和类型可以组成二阶特征。
机器学习中高维组合特征的处理方法+推荐系统使用矩阵分解为用户推荐的原理解析，《百面机器学习》学习笔记
weixin_43749999的博客
05-15 757
为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征进行组合，构成高阶组合特征，本文主要介绍高阶组合特征的处理方法，并解释了推荐系统中如何使用矩阵分解来获得对用户推荐的电影评分。
特征工程（补充）--特征组合
专注计算机体系结构
05-13 8439
特征组合变化也属于特征选择的一种手段，这部分工作可发挥的空间就看你的想像力和经验了。这里的组合变化远不限于把已有的特征加减乘除（比如Kernel Tricks之类）。      举个比较有想像力的例子——现在市面上社交网络里面“你可能认识的人”的推荐算法几乎都是基于补全网络的办法，这样推荐的人可能只是单纯的补充和完善朋友圈，推荐的人可能很无趣，这样会导致推荐效果不好让用户失去接受推荐的兴趣。斯坦
1.3什么是组合特征？如何处理高维组合特征？
youif的博客
06-15 7332
03 高维组合特征的处理 知识点 组合特征 问题 什么是组合特征？如何处理高维组合特征？ 分析与解答 为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组 合，构成高阶组合特征。以广告点击预估问题为例，原始数据有语言和类型两种 离散特征，表1.2是语言和类型对点击的影响。为了提高拟合能力，语言和类型可 以组成二阶特征，表1.3是语言和类型的组合特征对点击的影响。 以逻辑回归为例，假设数据的特征向量为X=(x1,x2,…,xk)，则有， 其中<xi, xj>表示xi和xj
如何处理高纬度组合特征？什么是组合特征？
光英的记忆博客
03-19 1824
什么是组合特征？ 为了提高复杂关系的拟合能力，在特征工程中经常会把一阶离散 特征两两组合，构成高阶组合特征。 如何处理高纬度组合特征？ 假设用户数量M 和物品数量N为组合特征，那么学习的参数就是m*n,然而m和n 可能是千万级别的数量级，几乎无法学习m*n数量级的规模的参数。在这种情况下一种有效的方法就是对m,和n分别用k维的低纬向量来表示。 那么学习的参数将从m*n,变成k*m+n...
特征选择与特征组合
北冥有小鱼
07-11 1万+
转自：https://segmentfault.com/a/1190000014799038 特征组合也叫特征交叉 合成特征 (synthetic feature)和特征组合(Feature Crosses)不太一样，特征交叉是特征组合的一个子集。 合成特征 (synthetic feature) 一种特征，不在输入特征之列，而是从一个或多个输入特征衍生而来。通过标准化或缩放单独创建的特征...
高维组合特征的处理
rl小透明
10-27 1238
来源自《百面机器学习》 1 高维高阶组合特征 为了提高对复杂关系的拟合能力，在特征工程中经常会把一阶离散特征两两组合，构成高阶组合特征。 然而高阶矩阵的参数是一个很严重的问题 例如对于一个m维和一个n维的特征组合，那么如果以logistics回归为例子，则参数参数w的维度为m*n,如果m,n很大的话，则难以进行计算。 所以采用矩阵分解的方法，将m和n维的特征都转化维k维 2.组合特征选择 可以...
特征处理和特征选择
刘明的博客
04-13 1万+
特征处理之统计特征 历届的Kaggle/天池比赛，天猫/京东排序和推荐业务线里模型用到的特征 1.加减平均：这个用户所买商品高于所有用户购买商品平均价格的多少（权衡一个人的消费能力），用户连续登录天数超过平均多少（表明这个用户对该产品的黏性） 2.分位线：商品属于售出商品价格的多少分位线处。（比如20%，说明20%的人买东西都不会低于这个价格）。 3.次序型：排在第几位。 4.比...
特征工程之特征关联
Francis的博客
10-14 4095
特征工程之特征关联 0.说在前面 昨天学习了seaborn绘制图形，以及单变量与多变量之间的绘图，那么今天从统计学角度实战分析在处理特征工程过程中所涉及的三个相关系数(具体的三个系数数学推导，在后续更新)。为了更好的便于大家的交流，先建立一个微信总群，二维码在文章最后放出！ 【关键字】 相关系数 微信总群 1.皮尔逊 皮尔逊相关系数：Pearson correlation coeffici...
特征工程：特征生成，特征选择(三)
热门推荐
公众号：瑞行AI
01-26 1万+
特征生成 特征工程中引入的新特征，需要验证它确实能提高预测得准确度，而不是加入一个无用的特征增加算法运算的复杂度。 1. 时间戳处理 时间戳属性通常需要分离成多个维度比如年、月、日、小时、分钟、秒钟。但是在很多的应用中，大量的信息是不需要的。比如在一个监督系统中，尝试利用一个’位置+时间‘的函数预测一个城市的交通故障程度，这个实例中，大部分会受到误导只通过不同的秒数去学习趋势，其实是不合理的
【特征工程】特征工程技术与方法
Jason Ding的专栏
07-31 1万+
引言在之前学习机器学习技术中，很少关注特征工程(Feature Engineering)，然而，单纯学习机器学习的算法流程，可能仍然不会使用这些算法，尤其是应用到实际问题的时候，常常不知道怎么提取特征来建模。 特征是机器学习系统的原材料，对最终模型的影响是毋庸置疑的。特征工程的重要意义数据特征会直接影响你使用的预测模型和实现的预测结果。准备和选择的特征越好，则实现的结果越好。 影响预测结果好坏的
特征工程——特征交叉、交叉特征、特征组合
macan的博客
01-15 9862
特征工程——特征交叉、交叉特征、特征组合 关于特征交叉的作用以及原理，我这里不进行详细描述，因为大佬们已经说得很清楚了，这里就附上几个连接： 特征组合&特征交叉 (Feature Crosses) 结合sklearn进行特征工程 对于特征离散化，特征交叉，连续特征离散化非常经典的解释 下面说怎样制作和交叉特征： 多项式生成函数： sklearn.preprocessing.Polynomi...
特征工程（归一化、特征编码、特征组合、数据扩充）
轻鸢简掠
03-27 2713
特征工程归一化特征编码组合特征数据扩充 归一化 为什么要归一化 直观操作是将各维特征转到同一个量级，平均对学习器的权重，同时还能加快基于梯度下降算法的收敛速度 归一化适用范围 归一化在基于梯度下降的算法（SVM, DNNs）中能起到以上作用，不适用于决策树模型，决策树学习基于信息增益 常见归一化方法 线性函数归一化 fnorm=(f−fmin)/(fmax−fmin)f_{norm}=(...
快速了解机器学习
wzdzgdf的博客
08-02 1017
机器学习是人工智能（AI）的核心分支，它让计算机能够通过数据 “自主学习” 并改进，而无需被明确编程。简单来说，机器学习的目标是构建能从经验（数据）中学习规律的模型，使其在新数据上做出准确预测或决策。
17day-人工智能-机器学习-分类算法-KNN
最新发布
2401_87710133的博客
08-05 780
knn算法全名叫做k-近邻算法（K-Nearest Neighbors，简称KNN），看到名字是不是能想到是算距离的，第一个k是指超参数的意思，就是可以认为设置的意思，这里是指最近的k个样本。
菊安酱详解：支持向量机——机器学习系列第5期
"菊安酱的机器学习系列是一系列关于Python机器学习的在线课程，由...菊安酱的机器学习第5期——支持向量机，是一次深入浅出的入门级SVM教学，适合初学者和有一定基础的观众进一步理解和掌握这一关键的机器学习算法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值