Day04-集成学习-机器学习-回归-调参(DataWhale)

一、XBGoost调参 步骤： 1、设定一个稍大的学习率（0.1），利用xgboost里的cv方法去确定一个合适的迭代次数（也就是树的个数） 2、根据参数的重要性，分别对参数进行调参，利用GridSearchCV，先进行大范围粗调再小范围精调，参数重要性排序： max_depth和min_child_weight gamma subsample和colsample_bytree re...

极市导读 本文为特斯拉高级总监Andrej Karpathy关于神经网络调参经验的总结，为了更好的训练神经网络，作者为自己定制了一套具体的流程。通过阅读本文能给大家的调参大幅提高效率。>>加入极市CV技术交流群，走在计算机视觉的最前沿 今天看到一篇非常非常棒的调节NN的文章，作者是特斯拉高级总监Andrej Karpathy，就翻译过来和大家一起分享，难免翻译有问题，有兴趣的朋友可以去引文阅读原文。为了能更好地训练NN，karpathy为自己定制了一套具体的流程。在每次用NN处理一个新.

一、投票法 1.1 介绍 原理 遵循少数服从多数原则，通过多个模型的集成降低方差。理想情况，投票法的预测效果优于任何一个基模型的预测结果 分类 回归投票法：预测结果是所有模型预测结果的平均值 分类投票法：预测结果是所有模型中出现最多的预测结果 硬投票：所有投票结果出现最多的类 软投票：所有投票结果中概率和平均最大的类 原则 想要投票法产生较好的结果，需要满足: 基模型之间的效果不能差别很大。当某个模型相对于其他基模型效果差时，该模型可能是噪声 基模型之间应该有较小的同质性。例如在基模型预测效果近

一、Stacking集成算法 1.1 原理 下面，我们来实际应用下Stacking是如何集成算法的：(参考案例：https://www.cnblogs.com/Christina-Notebook/p/10063146.html) [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wXgWEbRV-1620887337278)(./5.png)] 首先将数据分为训练集和测试集。再将训练集分为5份：train1,……,train5 选定基模型。并在训练集上对每个模型进行5折交叉验

二、sklearn构建分类项目 2.1 收集数据集并选择合适的特征 使用IRIS鸢尾花数据集 from sklearn import datasets import pandas as pd iris = datasets.load_iris() X = iris.data y = iris.target feature = iris.feature_names data = pd.DataFrame(X, columns=feature) data['target'] = y data.head(2)

一、Windows安全应急处置 1、从以下几个方面进行排查windows主机 (1) 是否有异常进程、用户 (2) 敏感端口开放情况 (3) 密码强度 （4) 日志分析 （5)异常启动项、服务、计划任务 （6) 注册表信息 （7) 其它 2、进程信息 使用tasklis或者打开任务管理器查看进程信息，我们可以根据CPU占用率、内存占用率、启动的事件来初步判断一下异常信息，根据PID找到异常进程。执行此命令查看进程名，路径，pid 再配合使用find或findstr就可以查到pid对应的路径了w

bjca数字人那个垃圾公司，做的垃圾客户端，那东西超级难用，浏览器和操作系统，各种不兼容，甲方和客户都抱怨，用了就上当了

# -*- coding: utf-8 -*- """回归问题案例.ipynb Automatically generated by Colaboratory. Original file is located at https://colab.research.google.com/drive/1l8xlYKSd8nljVVEEriZyoc0oivqMDWR0 """ # 导入必要..

Datawhale作者：徐韬，Datawhale优秀学习者摘要：对于数据挖掘项目，本文将学习如何建模调参？从简单的模型开始，如何去建立一个模型；如何进行交叉验证；如何调节参数优化...

<br />这篇文章最早是我3年前在mblogger上发表的,那时候csdn的blog经常down,在那边保留了一些文档,现在那个blog早已停止更新了,而这篇文档有时候还会用到,所以干脆搬了过来.原来的地址:http://borland.mblogger.cn/jinjazz/posts/19073.aspx<br />LogExplore<br />下载地址: http://js.fixdown.com/soft/8324.asp?free=gdcnc-down1<br /> <br />介绍<br /

关于支持向量机的理论和证明都非常多，这里主要想讲一下代码实现及各参数的含义及作用。 SVM的主要目的是找到一个平面，使得支持向量离这个平面尽量的远，所以常用于分类问题，而支持向量回归（SVR）的主要目的是找到一个平面近可能离所有的点都很近，从而实现回归。 1）SVM： 首先看下其各项参数，详细地址见sklearn.svm 一般调以下几个参数： kernel: 核，选项有’linear’ 线性核...

我们不只是看10个交叉验证折叠的平均准确率，让我们绘制每个模型的所有10个得分，以及一个突出显示分数上下四分之一的盒子图，以及显示得分程度。从结果来看，Age, Cabin以及Embarked属性中的数据是缺失的，我们可以忽略 Cabin ，暂时先不管，先处理其他的。现在我们有了一个很好的预处理管道，它可以提取原始数据并输出数值输入特征，我们可以将这些特征输入到任何我们想要的机器学习模型中。但是，测试数据不包含标签：我们的目标是使用训练数据训练出最好的模型，然后根据测试数据进行预测。

支持向量机也可以用来回归from sklearn.svm import SVR import numpy as np n_samples, n_features = 10, 5 np.random.seed(0) y = np.random.randn(n_samples) X = np.random.randn(n_samples, n_features) clf = SVR(C=1.0, eps

1.sklearn线性回归线性回归，其中目标值 y 是输入变量 x 的线性组合。 在数学概念中，如果  是预测值。在整个模块中，我们定义向量  作为 coef_ ，定义  作为 intercept_ ，是它的截距。LinearRegression 拟合一个带有系数  的线性模型，使得数据集实际观测数据和预测数据（估计值）之间的残差平方和最小。其数学表达式为:class sklearn.linear...