李宏毅2021机器学习笔记（十二）

最新推荐文章于 2025-08-04 20:21:53 发布
最新推荐文章于 2025-08-04 20:21:53 发布
阅读量695 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 李宏毅深度学习 文章标签： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44698709/article/details/124076958

Normalization

举个例子：x1是克，x2是吨。量纲不同导致变化率不同 。这时候我们就像要消除量纲的影响Normalization。

标准化哦。让你的梯度下降收敛得更快 

 

对了，z还要再次进行Normalization

 

因为均值和方差需要考虑整个样本，同时为了样本数不是太大，我们一般只考虑一整个batch进行Normalization，就是Batch Normalization

batch比较大会很好，这样可以用样本估计总体

为了增加灵活性，还会加上β γ，使其均值方差不是0/1。

不过刚开始的时候γ设为1，β设为0 .动态调整

在实际应用中，test数据都是动态来的，所以我们不可能等所有的数据到了再进行Normalization吧 但是我们的μ和σ是根据batch来的，那怎么办呢？？？？ 

p是人工调的 

 

李宏毅2021机器学习笔记（一）
qq_44698709的博客
03-06 821
什么是机器学习？ 简单来说就是让机器帮我们找一个函数，即一个映射。如声音—>文字的语音识别函数 自变量可以是向量，矩阵（图像识别），序列 输出是数值、图片等 课程讲什么？ 一、 监督学习，给定图片人工的告诉机器其类型，训练模型，让机器拥有 f（图片）—>类型 这一函数 二、 训练模型之前进行Pre-train，让机器学习如何辨别图片这一基本功，因为人工输入图片类型过于繁琐。只需传入大量图片资料即可自动训练。如把图片翻转、变色，询问机器是不是可以...
李宏毅2021机器学习笔记（六）
qq_44698709的博客
04-05 649
分类Classification 不同于回归，分类产生的y我们需要先归一化到0-1区间，且概率和为1.再与y-hat进行比较 这里用的是soft max函数 这个exp是指数函数的意思。 但是如果2个分类可以直接取sigmoid，就是等价的 完全等价欸！！！ 接下来我们讨论Classification的Loss函数 当然我们可以用MSE 但是一般用Cross-entropy交叉熵 其实 我们一般就是先用soft max+cross -entrop.
李宏毅2021&2022机器学习
热门推荐
啥都生的博客
03-01 6万+
重磅须知  2022仅在2021基础上进行小补充，2021内容变成了前置知识，UP会在视频标题打上2022的标签；    2021资料已打包装进百度云盘，ppt/pdf支持直链下载。    （选修）To Learn More是21/22通用的，放入云盘：提取码：sr0o 更新日志 日期 项目 2021/03/16 更新HW1、HW2，同步更新助教范例 2021/03/26 更新HW3、HW4课件、代码、范例；release页发布HW1-HW4数据 2021/04/01 更新选修.
李宏毅 || 机器学习笔记一
JiduoW的博客
07-25 5613
李宏毅机器学习2021/2022年学习笔记
李宏毅2021机器学习笔记（八）
qq_44698709的博客
04-06 430
CNN卷积神经网络——图像处理 输入给定相同大小的图片， 输出一个向量，n维向量可以辨识n种动物，但是我们输出的可能不是膜长为1的向量哦 那就需要分类的方法Cross entropy 去构造Loss 计算机世界中图像是什么？ 张量tensor 可以理解为PS里面的通道层数 把三色通道写到一维数组就是右边这个 其实是矩阵拼接起来的啦：100*100的矩阵竖着拼 但其实我们不需要去看所有的细节，我们只需要看：鸟嘴、鸟眼睛等区域就可以 那么我...
李宏毅机器学习笔记
weixin_49119476的博客
04-29 2288
m和sigma都考虑了过去所有的gradient。区别：momentum主要考虑方向sigma主要考虑大小momentus是为了增加历史运动的惯性，RMS是为了缓和步伐的大小，变得更平缓network弹性逐渐变小。receptive field + parameter share 即为 convolutional layer。使用卷积层的神经网络即为CNN。CNN有比较大的bias，但是是专门为影像设计，所以在这方面做的很好。
李宏毅2021机器学习笔记（九）
qq_44698709的博客
04-08 607
虽然已经把数据集分为Training set和Validation set，为什么还是会Overfitting？？ 我们是先从D-train训练得到参数h，之后用D-val进行Loss的评价，最终选择最合适的Model进行test 其实你想想，这一过程不也是一个train吗 我们的目的就是挑选出L小的h*。H-val只有三个选择，并用D-val这一数据集进行train ...
李宏毅机器学习（2021）学习笔记 01
hldgs的博客
11-29 1009
李宏毅老师《机器学习2021》课程的学习笔记。
李宏毅机器学习课程笔记01 | Introduction of Machine/Deep Learning
好好学习天天向上
01-04 1113
函数的输入是b和w，函数的输出是输入某个特定的b和w，模型结果是是好还是不好L越大说明模型不好，L越小说明模型好假设有一个损失函数L(0.5k,1) ，模型为y=b+wx1 => y=0.5k+1x1(k是千人的意思)训练数据(本案例过去的订阅次数)输入到模型(函数)中，比如x输入1月1日订阅人数4.8k，计算得到模型预测的y(1月2日订阅人数)为5.3k，但实际只有4.9k求取估测的值跟实际的值（Label） 之间的差距。
李宏毅2021机器学习深度学习笔记PPT作业
09-05
《李宏毅2021机器学习深度学习笔记PPT作业》是一份涵盖了现代人工智能领域核心知识的资源，主要集中在机器学习和深度学习这两个关键分支上。这份资料可能包括了李宏毅教授在2021年课程中的讲义、课后作业以及相关的...
machineLearningDeepLearning:李宏毅2021机器学习深度学习笔记PPT作业
05-11
李宏毅老师2021年Spring机器学习深度学习上线新课程，持续更新中 PPT，作业代码，学习笔记，上课代码，tensorflow|pytorch将会上传到github，欢迎Star，请多多鼓励。 如何下载本库内容 下载方式 1 git工具下载 ​ ...
5G毫米波射频前端设计：从GaN功放到混合信号集成方案
ytttr873的博客
07-31 427
同时，GaN功放还具备较高的功率附加效率（PAE），相比传统的半导体材料功放，能够在提供相同功率输出的情况下消耗更少的电能，这对于降低设备的能耗和散热需求具有重要意义。随着5G通信技术的飞速发展，毫米波频段凭借其丰富的频谱资源，成为满足5G高速率、大容量数据传输需求的关键频段。然而，毫米波信号的高频特性带来了诸多设计挑战，射频前端作为无线通信系统中负责信号发射与接收的核心部分，其设计至关重要。GaN功放通过优化电路设计和工艺，能够在高功率输出的情况下保持良好的线性度，确保信号在传输过程中的准确性和可靠性。
译|Netflix 数据平台运营中基于机器学习自动修复系统
素质云笔记
08-02 761
译|Netflix 数据平台运营中基于机器学习自动修复系统
python学智能算法（二十九）|SVM-拉格朗日函数求解中-KKT条件理解
专注python+工程实践的热心婶子
07-31 657
本文介绍了KKT条件在带约束优化问题中的应用原理。通过"力的平衡"类比，阐释了KKT五大规则：目标函数梯度与约束梯度加权和平衡（拉格朗日乘子权重）；不等式约束条件的边界限制；拉格朗日乘子非负性保证方向正确；互补松弛性确保未激活约束不影响；等式约束严格成立。这些条件共同判断优化问题中既满足约束又无法改进的局部最优解。文章以直观的物理类比帮助理解数学优化条件，为后续应用奠定理论基础。
机器学习（8）：线性回归
2401_83189603的博客
08-04 632
本文介绍了线性回归的基本概念及应用。主要内容包括：1）回归分析的定义，区分标称型和连续性数据；2）线性回归原理及示例说明，通过拟合直线描述变量间关系；3）损失函数和均方差的概念；4）多参数回归中权重计算的方法；5）最小二乘法的应用；6）Python中sklearn库的LinearRegression API使用示例，包括参数设置、模型训练和预测实现。文章通过植物生长高度预测的实例，展示了如何利用线性回归建立数学模型解决实际问题。
机器学习：开启智能时代的钥匙
2302_76568160的博客
08-01 553
简单来说，机器学习是人工智能的一个重要分支，它让计算机能够在没有明确编程的情况下自主学习和改进。传统的编程模式中，程序员需要编写详细的指令，告诉计算机每一步该做什么；而机器学习则颠覆了这种模式，它通过设计算法，让计算机从数据中自主发现规律，进而实现对未知事件的预测或决策。打个比方，假设我们要让计算机识别图片中的猫。
机器学习sklearn：处理缺失值
weixin_46407807的博客
08-01 214
摘要：本文介绍了使用Scikit-learn的SimpleImputer处理泰坦尼克号数据缺失值的方法。首先导入数据并检查缺失情况，然后针对Age列分别演示了均值、中位数和0值填补策略，最终选择中位数填补。对于Embarked列则采用众数填补。此外还展示了使用Pandas直接填充中位数的方法。全文通过具体代码示例展示了数据预处理的关键步骤，包括数据读取、缺失值识别和三种不同的填补策略应用。文末附有完整的原始数据集供参考。
机器学习03——数据与算法初步2
qq_73960031的博客
07-31 983
本文介绍了决策树的基本概念及其在机器学习中的应用。决策树通过树状结构进行决策，具有可视化、易解释等优点，但也存在过拟合风险。重点讲解了两种决策树构建方法：信息增益和基尼指数。信息增益通过计算信息熵变化选择最优划分属性，而基尼指数则通过测量数据集不纯度进行划分。文中通过贷款预测和工资分类案例详细演示了这两种方法的具体计算过程。最后提供了Python代码示例，展示如何使用sklearn库实现决策树分类，包括数据加载、模型训练、评估和可视化。决策树作为一种基础算法，在分类问题中具有重要应用价值。
机器学习05——正则化与逻辑回归
最新发布
qq_73960031的博客
08-04 926
本文简要介绍了机器学习中的三种训练策略，其中最常用的还是MBGD。此外海讲解了梯度下降法的一种优化策略，即针对过拟合而使用的正则化。最后还讲解了逻辑回归。
深度解读李宏毅机器学习笔记要点
从给定的信息来看，这份文档文件的标题为“李宏毅机器学习笔记”，这表明文档的主要内容是关于机器学习方面的知识，且可能与李宏毅教授有关。李宏毅是一位在人工智能、机器学习领域有一定研究和教学经验的学者，因此...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值