本文介绍了梯度下降法在机器学习中用于更新模型参数的作用，详细阐述了梯度、样本、特征、假设函数和代价函数等概念。重点讲解了线性回归的梯度下降算法步骤，包括求偏导、更新公式，并对比了批处理梯度下降与随机梯度下降。同时，文章提到了正规方程解法，给出了θ的计算公式，并指出梯度下降与正规方程的区别。
梯度下降法是机器学习算法更新模型参数的常用的方法之一。
相关概念
梯度 : 表示某一函数在一点处变化率最快的方向向量(可理解为这点的导数/偏导数)
样本 : 实际观测到的数据集，包括输入和输出(本文的样本数量用 m 表述,元素下标 i 表示)
特征 : 样本的输入(本文的特征数量用 n 表示,元素下标 j 表示)
假设函数 : 用来拟合样本的函数，记为 $ h_θ(X) (θ 为参数向量, X 为特征向量)$
代价函数 : 用于评估模型拟合的程度，训练的目标是最小化代价函数，记为 J ( θ ) J(θ) J(
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
