机器学习中损失函数常用log的用意

逻辑回归损失函数为什么引入log

首先我们思考为什么要用softmax，假设我们不用softmax，模型最后的输出有可能是[-0.1, -0.1, 0.1](三分类)，也有可能是[10, 9.9,9.9],我们使用极大似然估计来分析，第二个输出的值大，它的置信度应该很高，但事实并非如此。我们分析似然函数，其值在0到1之间，而且越接近于1说明分类的效果越好，越接近于0说明分类的效果越差。,而负对数似然就不会有这个问题，只有存在单个样本真实概率为0的情况下，才会出现数值溢出的问题，也是半精度计算中经常出现的loss nan的问题。

损失函数中为什么要用Log 为什么对数可以将乘法转化为加法？ 机器学习（Machine Learning） 机器学习的分类 监督学习 无监督学习 强化学习 机器学习的应用 应用举例：猫狗分类 1. 现实问题抽象为数学问题 2. 数据准备 3. 选择模型 4. 模型训练及评估 5.预测结果

例如，中文分词的mmseg算法，计算语素自由度时候就取了对数，这是因为，如果某两个字的频率分别都是500，频率和为1000，另外两个字的频率分别为200和800，如果单纯比较频率和都是相等的，但是取对数后，log500=2.69897, log200=2.30103, log800=2.90308 这时候前者为2log500=5.39794, 后者为log200+log800=5.20411，这时前者的和更大，取前者。实践中，取对数的一般是水平量()，而不是比例数据，例如变化率等。2. 取对数后，可以。

在学习和做项目的过程中，逐渐加深了对LR的理解。其中最重要的一点就是为什么取-log函数为损失函数，损失函数的本质就是，如果我们预测对了，能够不惩罚，如果预测错误，会导致损失函数变得很大，也就是惩罚较大，而-log函数在【0，1】之间正好符合这一点，另外还有一点需要说明，LR是一种广义的线性回归模型，平方损失函数的话，对于Sigmoid函数求导计算，无法保证是凸函数，在优化的过程中，求得的解有可能...

文章目录决策树（1）1. 基本流程 决策树（1） 亦称为：判别树 有时指学习方法。 有时指学得的树。 决策树是一种常见的机器学习方法。 1. 基本流程 问题导入 举例： - 以二分类任务为例。 - 我们希望从给定训练数据集学得一个模型，用以对新示例进行分类。 - 这个把样本分类的任务，可看作对"当前样本属于正类吗?"这个问题的"决策"或"判定"过程。 子决策： - 我们要对"这是好瓜吗?"这样的问题进行决策时。 - 通常会进行一系列的判断或"子决策"。 - 我们先看"它是什么颜色?"。如果是"青绿

DCGAN整理总结GAN什么是GAN？GAN重要参数及损失函数DCGAN什么是DCGAN？DCGAN结构TensorFlow版本MINIST手写体生成模型Pytorch版本人脸生成模型 GAN 什么是GAN？        GAN是一个教深度学习模型捕捉训练数据的布局来从该布局中生成新数据的框架。最早是2014年Ian Goodfellow提出的。GAN主要由两部分模型组成——生成器和判别器。    &nbs

【引言】本章节代码实现基于python3.7环境 同部西瓜书学习，对应《机器学习实战》第八章——预测数值型数据：回归 （Page136-158） 本章首先介绍线性回归，包括其名称的由来和python实现。在这之后引入了局部平滑技术，分析如何更好地拟合数据。接下来，本章将探讨回归在欠拟合情况下地缩减技术，探讨偏差和方差的概念。最后将融合所有技术，预测鲍鱼的年龄和玩具的售价。此外还将介绍一些pytho...

基础PWN知识入门 二进制基础 ​ 从C源代码到可执行文件的生成过程 ​ 可执行文件广义上的可执行文件，文件本身是没有执行权限的，和用户权限无关。可以通过命令给文件赋权。 ELF的执行​ 需要将在磁盘上的程序载入内存中。 在磁盘中的是节，映射到内存就是段。 在执行过程中，存储在磁盘中具有相同权限的节会被映射到内存中合成一个段。进程虚拟地址空间​ 操作系统管理所有硬件，程序

平时在一些数据处理中，经常会把原始数据取对数后进一步处理。 之所以这样做是基于对数函数在其定义域内是单调增函数，取对数后不会改变数据的相对关系，取对数作用主要有： 1. 缩小数据的绝对数值，方便计算。 例如，每个数据项的值都很大，许多这样的值进行计算可能对超过常用数据类型的取值范围，这时取对数，就把数值缩小了，例如TF-IDF计算时，由于在大规模语料库中，很多词的频率是非常大的数字。 2. 取对数后，可以将乘法计算转换称加法计算。 3. 某些情况下，在数据的整个值域中的在不同区间的差异带来的影响不同。例如，

记录学习过程 转载于:https://www.cnblogs.com/huilei/p/10696560.html

损失函数一般分为4种，HingeLoss 0-1 损失函数，绝对值损失函数，平方损失函数，对数损失函数。 （Hinge Loss）：主要用于支持向量机（SVM） 中 Hinge loss 可以用来解 间距最大化 的问题。 J(w)=12∥w∥2+C∑imax⁡(0,1−yiwTxi)=12∥w∥2+C∑imax⁡(0,1−mi(w))=12∥w∥2+C∑iLHinge(mi)\begin{ali...

python中的对数log函数表示及用法在数学运算中，如果没有计算器，对于很大的数字相乘，我们花费大量的时间计算，而且一旦出错，就要重新计算，很是麻烦。其实对于数字相乘，不依靠靠计算器，想要准确简单的运算的方法不是没有，那就是对数和指数，他们解决了大数或非常的小的数相乘的繁琐计算。而在python中，也有计算对数的方法，那就是对数函数log函数。本文将向大家介绍log函数的表述语句、参数和返回值，...

对数函数log的物理含义

介绍log与熵的常见知识盲点。重点在为什么使用log、最小化交叉熵损失

损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是 经验风险函数 的核心部分，也是 结构风险函数 重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可以表示成如下式子： 其中，前面的均值函数表示的是经验风险函数，L代表的是损失函数，

这篇文章写一下回归方面的知识，先把上篇文章留下的一些小问题写清楚 对偶问题 一般优化问题的Lagrange乘子法 minimize f0(x),x∈Rnf_0(x),x∈R^nf0​(x),x∈Rn subject to fi(x)≤0，i=1,...,mf_i(x)≤0，i=1,...,mfi​(x)≤0，i=1,...,m hj(x)=0,h=1,...,ph_j(x)=0,h=1,...,phj​(x)=0,h=1,...,p Lagrange函数： 对固定的x，Lagrange函数L(x,λ,v