狂小虎/Anthony Dave的博客 KuangXiaoHu's Blogs

这个问题是由于两个变量的维度大小不一致导致，解决方法是查验变量读取和处理是否出现问题。

实践建议：优先使用ReLU及其变体作为默认选择，在特殊场景（如GAN生成器）可尝试Tanh，注意输出层激活函数需与损失函数匹配。（Google提出）

反向传播本质是微分运算在计算图上的系统化实现，通过自动微分机制高效计算各参数梯度。现代深度学习框架（如TensorFlow/PyTorch）均基于计算图自动构建正反向传播流程。：输入层→隐藏层→输出层。：链式法则的逆向应用。

对于样本集XXX和参数θ\thetaθ，损失函数LθL(\theta)Lθ衡量预测值与真实值的差异。Lθ−1m∑i1myilog⁡hθxi1−yilog⁡1−hθxiLθ−m1​i1∑m​yiloghθ​xi1−yilog1−hθ​xi)]概念作用数学表达损失函数量化模型预测误差Lθ1m∑liLθm1​∑li​偏导数。

摘要 出现该问题是由于torchvision版本过低导致的。解决方法为：先卸载当前版本的torchvision，然后重新安装最新版本。具体操作命令为：先执行"pip uninstall torchvision;卸载旧版本，再执行pip install torchvision"安装最新版本。

PyTorch不支持多loss值直接反向传播，需转化为标量形式。问题出现的原因是多个loss值拼接在一起无法自动求导。解决方法是对输出求平均值后再调用.backward()。示例代码展示了如何将10维输出通过.mean()转化为标量后进行反向传播。这一限制是因为PyTorch的自动微分机制需要明确的标量输出才能计算梯度。

摘要：本文系统梳理了深度学习中的损失函数原理与应用，重点分析了逻辑回归的交叉熵损失。通过数学推导展示了从概率表达式到损失函数的转化过程（$J(w,b)=-\frac{1}{m}\sum[y^{(i)}\log\hat{y}^{(i)}+(1-y^{(i)})\log(1-\hat{y}^{(i)})]$），并给出梯度计算公式和Python实现代码。文章还阐明了损失函数的凸性、概率解释等关键特性，以及多分类场景下的softmax扩展。实验部分通过特征矩阵示例（X=[[2,3],[1,4],[5,2]]）演示了

逻辑回归是一种用于二分类任务的统计方法，通过Sigmoid函数将线性回归结果映射为概率值（0-1）。核心公式为ŷ=σ(wᵀx+b)，其中Sigmoid函数具有可导、输出概率化等特性，便于梯度计算。虽然名称含"回归"，但实际解决分类问题。其Python实现简单，广泛应用于概率预测，但存在梯度消失等局限，在深层网络中逐渐被ReLU替代。典型应用包括神经网络激活和强化学习动作选择。

二分类任务是监督学习中最基础的问题类型，其目标是将样本划分为两个互斥类别。设样本特征空间为X⊆RnX⊆Rn，输出空间为Y01Y01fX→YfX→Yxx:表示一个输入数据，维度为（nx，1）yy：表示一个输出结果，取值为（0，1）xiyixiyi：表示第i组数据，此处默认为训练数据。（测试数据）X=[x1x2xmx1x2...xm]: 表示所有训练数据的输入值，放在一个（nx，m）的矩阵中。Y=[y1y2y。

回归分析与拟合方法研究摘要 回归分析和拟合是数据建模中的核心方法。回归分析通过统计方法研究变量间关系，常采用最小二乘法建立数学模型。拟合则用光滑曲线连接数据点，是回归实现的具体数学手段。最小二乘法通过最小化误差平方和求解最优参数，其矩阵形式为β̂=(XᵀX)⁻¹Xᵀy，计算高效且易于理解。本文通过具体示例展示了最小二乘法的推导过程，并提供了Python实现代码。研究还指出最小二乘法存在对异常值敏感、矩阵不可逆等问题。在实际应用中，回归分析通常通过拟合方法实现建模目标，两者在数据科学领域具有紧密的关联性。

这个问题是由于预训练模型保存出错所致，解决方法是严格按照规定格式保存。

一般数据集文件会比较大，直接下单单个压缩包很慢。可以使用代码多线程下载小文件。

这个问题是由于orientation的数据增强在scaling之后导致的，解决方法是将这两个数据增强的顺序调换。问题原因orientation在scaling之前可以保证不同的方向能够在同一个轴等比变化。The orientation should be before any anisotropic spatial scalings, so that data from different orientations are scaled in the same axes.将改成参考orientat

这个问题小虎今天刚刚遇到，问题原因有很多。但是由于使用了cuda运行，报错看不出来。解决方法是用cpu运行来看错误出在哪里。

这是由于多worker的时候函数不能内定义导致。

这个问题是由于小虎在用DP的时候出现的，解决方法是在特别的变量后面加上。

这个问题是在小虎想提前定义一个list，然后作为index list来调用另一个list里面的变量出现的问题。

这个问题是由于使用了自定义的batch_sampler引起，解决方法是可以通过将dataloader一些参数设置成默认值。

这个问题是因为运行指令不对导致，pytorch的ddp有严格的运行指令，遵循即可。

这个问题是由于安装包时环境找不到cuda导致，解决方法是安装前导入cuda位置。

这个问题是由于tensor定义错误导致的，解决方法是用torch.tensor。

直接说结论好了，小虎在windows配了一个星期失败了，结果是双系统在linux下配置成功。

这个问题是因为深度学习的程序（服务）跟本地主机连接不上，解决方法是确认rank起始数为0。

这个问题在小虎使用ddp遇到，解决方法是换一个端口号码。

这个问题小虎在windows系统运行ddp程序时遇到，解决方法是把nccl换成gloo。

这个跟数据集有关，不过可以通过clip减缓。

有一些几句话就可以说明白的观点或者解决的的问题，小虎单独收集到这里。

这是由于pytorch版本不同。导致了batch norm出现了bias的默认值出现了不同。

简而言之，就是如果的nn.module类里面的，建议用add_module；其他用setattr。

安装mmcv直接用pip install会报错，这里小虎看了官方说明后解决了这个问题。

混淆矩阵能够提供详细的模型性能评估结果，帮助我们了解模型在不同类别上的表现，并根据具体需求选择合适的评估指标进行模型选择和调整。

想看懂代码的uu可以先了解一下yolo需要的txt数据格式是什么样的，还有BDD的json文件中的数据结构是什么样的。想直接一键应用的看注释即可。

os模块下的常见函数；path模块下的常见函数；shutil模块下的常见函数；tqdm的巧妙用法。

object instances（目标实例）, object keypoints（目标上的关键点）, 和image captions（看图说话），使用json文件存储。我们需要的key分别是"images" 和 “categories"和"annotations”"segmentation"结构。我现在需要做目标检测，所以选取。COCO数据集现在有。

我当时是缺buildtools，因为我没安装Microsoft visual studio，后来安装之后装好buildtools，就解决了。调用模型时，我喜欢‘copy relative location’，然后win系统默认反斜杠！debug到崩溃然后发现是斜杠的问题，本吗喽轻轻碎掉了。后面喝口水慢慢更新，并且把当时报错代码补上来~就导致路径读取错误！

有些程序会占用GPU运行到半夜一两点，不想熬夜干活，但是又想最大限度利用硬件。

这个问题是改动了网络层的结构导致不能进行in-place的操作，解决方法是用将in-place改成indirect的。

这个问题是由于dataloader读取的数据中有None类型的变量，而default_collate不能处理这种变量。解决方法是检查读取的变量，如果None可以设成0不使用。

这个问题是小虎在win上下载deepspeed导致。原因是windows不支持deepspeed。

这个问题关键在于，就是数据的标签必须在0到数据标签总数之间。小虎的数据是因为遇到了-1的label，解决方法是把label范围给限定在提示的范围内。