机器学习-过拟合和欠拟合

机器学习-正则化

前言 上一篇博客有说到，通过多项式回归，我们可以对非线性的数据进行拟合，进而求解回归问题，但是过度使用多项式回归的方式，会牵扯到过拟合和欠拟合。 1、准备工作 还是先准备我们的数据集 # 过拟合与欠拟合 import numpy as np import matplotlib.pyplot as plt # 生成随机数据 # random.uniform(x, y)方法将随机生成一个实数，它在 [x,y] 范围内。 x = np.random.uniform(-3, 3, size = 100) X =

1 过拟合与欠拟合 1.1 什么是过拟合与欠拟合 定义 1.2 原因以及解决方法 1.2.1 正则化类别

模型过度学习了训练数据中的噪声或细节，导致泛化能力差。模型过于简单，无法捕捉数据的关键特征。深度神经网络层数过多。

训练误差：训练误差指的是模型在训练数据集上做出的预测与实际结果之间的差异。它是通过比较模型对训练数据集中每个样本的预测值和真实值来计算的。泛化误差：泛化误差是指模型在新数据（也就是测试数据或验证数据集）上的预测误差，反映了模型对未见过数据的预测能力。当模型的训练误差和泛化误差都比较低时，是我们追求的最好状态；当模型的训练误差比较高，但是泛化误差比较低时，模型很可能有bug；当模型训练误差和泛化误差都比较高，则可能出现了欠拟合；当模型训练误差比较低，泛化误差比较高，则可能出现了欠拟合。问题定义表现。

通过一个例子来引入过拟合与欠拟合的概念(Stanford) Who will Repay their Loans? - A leader hires you to investigate who will repay their loans You are given complete files on 100 applicants 5 defaulted within 3 years - A Surprising Finding? All 5 people who defaulted wore

摘要 欠拟合与过拟合是机器学习中模型性能不佳的两大核心问题，根源在于模型复杂度与数据复杂度的不匹配。欠拟合表现为模型在训练和测试数据上均表现不佳，通常因模型过于简单所致；过拟合则是模型在训练数据上表现优异但测试数据上表现差，源于模型过于复杂而学习到了数据噪声。通过分析训练误差与泛化误差的关系，绘制误差曲线可直观判断模型状态。解决策略包括：对于欠拟合，增加模型复杂度或减少正则化；对于过拟合，则需降低模型复杂度或增加正则化。合理使用验证集和交叉验证有助于找到最优模型复杂度，实现最佳泛化性能。

过拟合发生在模型对训练数据拟合得太过分的情况，即模型在学习过程中不仅学会了数据的真实分布，还学到了训练数据中的随机噪声和细节。结果是模型在训练集上的表现非常出色，但在新的、未见过的测试数据上表现不佳。

🎨开发平台：jupyter lab🎄运行环境：python3、TensorFlow2.x 内容：过拟合和欠拟合的原因、解决方法、图例展示

前言 使用多项式回归 可能出现的问题：过拟合和欠拟合 过拟合（Over Fitting）：算法所训练的模型过多的表达了数据间的噪音关系 。 就是太过于细节了！ 欠拟合（Under Fitting）：算法所训练的模型不能完全表述数据关系。 就是太笼统了！ 上手实践 线性回归： x=np.random.uniform(-3,3,size=100) #生成x特征 -3到3 100个 ...

本文介绍了数列、级数与幂级数的基本概念及其在机器学习中的应用。数列是数字的有序排列，其收敛性决定了优化算法的稳定性；级数是数列的累加，如调和级数与几何级数，在算法迭代中发挥重要作用；幂级数可展开复杂函数（如e^x），用于近似计算激活函数和注意力机制中的运算。这些数学工具为理解机器学习中的优化稳定性、函数近似提供了理论基础。

神经网络前，需要手动特征提取，以提供给支持向量机喜好的数据格式。而神经网络能够替换掉手动特征提取，最后用一个线性分类器就可满足需求。

2025 年 1 月 7 日，弗吉尼亚联邦大学与纽约州立大学 Albany 分校的 Reshchikov 等人在《Nanotechnology》期刊发表文章，基于光致发光（PL）实验与第一性原理 HSE 计算，系统研究了 GaN 中 BeGa、CN 及 MgGa 受主与氢的复合、钝化和再激活过程；结果表明，350–800 °C 退火释放的氢会钝化 BeGa 与 CN 受主，导致其特征黄光带强度骤降，而 900 °C 以上退火则通过氢脱附恢复受主发光，且 BeGaHi 复合体解离能高达 2.2 eV，显著高于

本文介绍了机器学习和大模型中的核心数学概念——向量及其相关运算。向量是具有方向和大小的量，可以理解为空间中的"箭头"。重点讲解了三个关键概念：1）线性组合，即通过加权向量相加生成新向量，在词向量运算和神经网络中广泛应用；2）基向量，作为生成整个空间的最小向量集，类似于RGB三原色混合原理；3）维数，表示空间的独立方向数量，决定了数据的表示自由度。这些概念构成了机器学习的基础，影响着模型参数更新、特征提取和高维表示等关键环节。理解这些向量运算原理，是掌握大模型开发和优化的重要前提。

hi​ϵt​ϵt​。