statistic learning

在MIT 150周年庆的Brains, Minds, and Machines研讨会上， Prof. Noam Chomsky发表了一个观点，他的大概意思是有很多语言模型采用统计的方法建模，有些取得了成功，但他觉得大多数是失败的，他觉得应该更多重视简洁的，公式化的理论，而非这些统计上的结论，正如下文中他所言：Prof. Noam ChomskyIt's true there's been a lo

1. RSS, RSE, TSS等 RSS（Residual Sum of Squares） RSS=e12+e22+e32+...+en2=(y1^−β0^−β1^x1)+...+(yn^−β0^−β1^xn)=∑i=1n(yi−yi^)2RSS = e_1^2 + e_2^2 + e_3^2 + ... + e_n^2 \\ =(\hat{y_1} - \hat{\beta_0} - \...

1. LDA for p > 1 假设X=(x1,x2,...,xp)X=(x_1, x_2, ..., x_p)X=(x1​,x2​,...,xp​)来自多元高斯分布，关于K类有着不同的均值，但协方差矩阵相同。 多元高斯分布的一些直观概念 假设每个predictorpredictorpredictor符合一维高斯分布，每对predictorpredictorpredictor中存在相...

1. Cross-Validation on Classification Problems Cross-Validation用于分类任务概念 在系列前文中，描述的都是Cross−ValidationCross-ValidationCross−Validation在回归任务中的应用，并使用MSEMSEMSE量化Test Error，但Cross−ValidationCross-Validati...

1. Resampling Methods 重采样方法是现代统计学习中不可缺失的一环。它们包括： 重复的从训练集中采样 重复的拟合模型以获得额外的信息 重采样方法会耗费计算机资源，因为需要从训练集中采集不同的子集来多次拟合同一个模型。下面，我们将要讨论两个较为常用的重采样方法： Cross−ValidationCross-ValidationCross−Validation（交叉验证） Bo...

Linear Model Selection and Regularization 在回归方法中，标准的线性模型如下： Y=β0+β1x1+...+βpxp+ϵY = \beta_0 + \beta_1x_1 + ... + \beta_px_p + \epsilonY=β0​+β1​x1​+...+βp​xp​+ϵ 用来描述Response Y和一系列变量x1,x2,...,xpx_1, x_2, ... ,x_px1​,x2​,...,xp​之间的关系。在前文中，我们使用最小二乘来拟合模型，的确线性模型

Logistic Regression 三种常用的分类方法 Logistic Regression Linear Discriminant Analysis K-NN Negihbor 为什么不用Linear Regression建模分类模型？ 若使用Linear Regression来建模 P(x)=β0+β1xP(x) = \beta_0 + \beta_1xP(x)=β0​+...

1、 假设检验：就是对于符合一定前提条件的数据，先作一个假设H0，还有一个备择假设H1（一般是H0的反面，或者是H0不包含的情况），通过一定的计算公式，算出一个值（比如开方检验就是开方值），这个值的理论值应该是0； 离理论值越接近，说明越满足假设，从而接受原假设；越偏离理论值，说明原假设越不满足，选择备择假设。这里可以设定一个阈值； p-value是由该假设检验值经过一定计算公式计...

1 统计学习statistical learning: 基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科。统计学习也称统计机器学习(statistical machine learning)。现在，当人们提及机器学习时，往往是指统计机器学习。一些要点： 统计学习包括：监督学习(surpervised learning)、非监督学习(unsuprvised learning)、半监督学

统计学习方法-李航: 笔记-从原理到实现 statistic-learning-R-note????《统计学习方法-李航》学习笔记 200 页 PDF，各种手推公式细节讲解，包含详细的目录以及R语言代码实现，可结合《统计学习方法》提高学习效率，适合机器学习、深度学习初学者。项目地址:https://gitcode.com/gh_mirrors/st/statistic-learning-R-note ...

上篇博文中叙述了统计学习或机器学习的定义、研究对象与学习方法，本篇叙述统计学习的分类。 统计学习的基本分类是监督学习、无监督学习、强化学习。 统计学习或机器学习是一个范围宽阔、内容繁多、应用广泛的领域，并不存在（至少现在不存在）一个统一的理论体系涵盖所有内容。下面从几个角度对统计学习方法进行分类。 基本分类 统计学习或机器学习一般包括监督学习、无监督学习、强化学习。有时还包括半监督学习、主动学习。...