老程的技术笔记

在机器学习中，PCA（Principal Component Analysis，主成分分析）是一种常用的降维方法。它可以将高维数据降至低维，同时保留数据的最重要的特征，从而方便后续的分析和处理。PCA的基本思想是通过线性变换将原始数据投影到一个新的坐标系中，使得投影后的数据具有最大的方差。这样可以减少特征之间的冗余信息，从而达到降维的目的。比方说有这样一组高维数据，它输出的图像1是这样的。

作为一种监督学习分类方法，在上一章中我们已经介绍过它的数理原理。现在我们开始来实现一个简单的朴素贝叶斯分类的算法，这样我们能更好的理解它是怎么运作的。

文章目录贝叶斯概率简述朴素贝叶斯训练过程预测过程简单的说贝叶斯概率简述在我写过的关于统计学相关文章 《概率论基础 —— 2. 条件概率、全概率、贝叶斯概率公式》 提到过一个很重要的概率公式—— 贝叶斯公式。其基本形式如下：P(xi∣Y)=P(xi)P(Y∣xi)P(Y)P(x_i | Y) = \frac{P(x_i) P(Y | x_i)}{P(Y)} P(xi​∣Y)=P(Y)P(xi​)P(Y∣xi​)​这里的 P(Y)P(Y)P(Y) 表示事件 YYY 发生的全概率，P(xi)P(x_i

在上一章节里简要的介绍了无监督学习中聚类的知识点，看的太多理论概念，难免会有点莫名其妙，现在就让我们来实现一个简单的 K-Means 算法，从而从原理上彻底弄明白聚类是怎么工作的。

文章目录什么是聚类聚类与SVM算法的区别是什么聚类算法的重要知识点常见聚类算法K-Means聚类层次聚类 (Hierarchical Clustering)DBSCAN聚类基于密度的HDBSCAN什么是聚类在前面的章节，介绍了机器学习中的第一个分类算法SVM，除此以外，如果你有关注过机器学习或者数据挖掘方面的知识，那么应该也听说过聚类。作为机器学习中的一种重要算法，聚类也是一种无监督学习方法，它的目的是将数据分成若干组，使得每组数据之间相似度尽量大，不同组之间相似度尽量小。聚类与SVM算法的区别是什

此外，如果需要对不平衡的数据进行分类，那么可能需要使用更高级的方法来调整损失函数。例如，对于少数类别，可以使用不同的权重来调整损失函数。如果需要对高维数据进行分类，那么可能需要使用核技巧来解决该问题。在这种情况下，可以使用高斯核函数代替线性核函数。如果需要对大规模的数据进行分类，那么可能需要使用分布式计算来解决该问题。在这种情况下，可以使用类似于Apache Spark或Hadoop之类的工具来处理数据。

核函数是另外一类技巧，是指当数据无法线性分类时，可以通过升维或降纬（不过一般是升纬，因为我们处理数据的过程是从低维度慢慢过渡到高纬度空间）的方式，通过数据自身的某些特点，或者映射，使得数据能够在高纬度空间中可分。上面这段话比较拗口，所以我们来看下面这个例子。例如对于某二维分类问题，对圆点和方块所表示的样本难以使用简单的一维空间中进行区分，因为如果我们要在一维空间中区分圆点和方块，就需要极为复杂的超平面（hyper plane）完成这个分类。注意，对于ML任务来说，我们使用到的函数和方法都应该尽量简单而直接，

文章目录什么是向量什么是支持向量背后的数学思想支持向量的数学定义Hinge Loss 与梯度下降算法软间隔与硬间隔参考资料什么是向量如果从数学的定义出发，所谓「向量」指的是有向线段。但是如果我们从数据科学出发，向量通常指的是某样本的特征表述。举例来说，如果我们有如下一张表，记录了一个人的身高、体重等信息姓名性别身高体重张三男16865李四男17065这种数据通常无法直接用计算机进行处理，所以对数据进行转换后，就可以变成性别身高体重

文章目录先从拉格朗日约束「Lagrange Constraint」开始L1正则与L2正则「L1 and L2 Regularization」先从拉格朗日约束「Lagrange Constraint」开始要理解L1、L2正则是什么含义，我们就要回归最基础的一个概念——拉格朗日数乘。提出拉格朗日数乘的根本原因，就是寻找多元函数在其变量受到一个或多个约束条件限制时的极值问题。就是把 nnn 个变量与 kkk 个约束条件转化为 n+λkn + \lambda kn+λk 的方程组问题。所以，从拉格朗日数乘（或

文章目录Realtime / 实时Recall / 召回率Region Attribute / 区域属性Regression / 回归Regularization / 正则化Remap / 重映射Resolution / 分辨率Runtime Environment / 运行环境SageMakerSegmentation / 分割Self Adversarial Training / 自我对抗训练Session / 对话Split / 数据分离SSD / 单发检测器State of the Art / 最先

文章目录Keypoint Detection / 关键点检测Label / 标签Layer / 网络层Learning Rate / 学习率LiDARLocalization / 定位Loss Function / 损失函数Machine Learning / 机器学习mAP / 平均精度Memory Footprint / 内存占用Metadata / 元数据Metrics / 指标Mixed Precision / 混合精度Mobile Deployment / 移动部署Model / 模型Model

文章目录DarknetData / 数据Dataset / 数据集Deploy / 部署Differentiable / 可微的Distributed / 分布式Domain Specific / 特定领域Early Stopping / 提前停止Edge Deployment / 边缘部署EMA / 指数移动平均Epochs / 代EXIFExport / 导出F1False Negative / 漏测率False Positive / 误检率Family / 族FastAIFeature / 特征Fea

文章目录Ablation Study / 部分切除学习Accuracy / 精确度Activation / 激活函数Anchor Box / 锚箱，边界框Annotation / 标记Annotation Format / 标记格式Annotation Group / 标记组Architecture / 架构AUC / 曲线下面积Augmentation / 增加训练集AutoMLBackbone / 主干网络Backprop / Back propagation / 反向传播Bag of Freebies

文章目录1. 什么是 IoU2. 什么是「边界框（bounding box）」3. 如何计算IoU1. 什么是 IoU在深度学习的相关任务中，尤其当涉及到目标识别这一类的任务时，总能在论文或博客中看到或者听到 IoU，那么 IoU 指的是什么，它又是如何计算的呢？IoU 的全称是「Intersection of Union」对应的中文是「交并比」，也就是交集与并集的比。我们来看看示例图：它表示的是我们的检测区域与目标区域的重合程度，所以自然它的取值范围在 [0,1][0, 1][0,1]。2.

文章目录1. 如何评价一个模型的好坏2. 与「混淆矩阵」有关的几个评价指标2.1. 查准率/准确率2.2. 查全率/召回率/查出率3. 什么是PR曲线1. 如何评价一个模型的好坏评价一个机器学习模型的好坏，通常需要一个具体的量化指标。在展开我们后面的内容前，我们先考虑这样一个场景。假设我们有三类预测目标，但是我们做了可能有十种不同的模型，现在怎么评判某个模型优于另外一个模型呢？回答这个问题之前，我们可以先把预测和目标做成一张表，然后把计算结果填到这张表里面，于是对于某模型A：从左往右分别是1，2，

文章目录1. sigmoid 函数1.1. 函数原型1.2. 函数图与梯度图2. tanh 函数2.1. 函数原型2.2. 函数图与梯度图3. ReLu 函数3.1. 函数原型Dead ReLu 问题3.2. 函数图4. Leaky ReLu 函数4.1. 函数原型4.2. 函数图5. ELU 函数5.1. 函数原型5.2. 函数图6. PReLu 函数6.1. 函数原型7. Softmax 函数7.1. 函数原型8. Swish 函数8.1. 函数原型9. Maxout 函数9.1. 函数原型10. So

文章目录什么是「有监督学习（Supervised Learning）」「有监督学习」任务的缺点什么是「无监督学习（Unsupervised Learning）」「无监督学习」任务的缺点什么是「半监督学习（Semi-supervised Learning）」「半监督学习」任务的缺点什么是「有监督学习（Supervised Learning）」所谓「有监督学习」，指的是使用既有 「特征 xxx」 又有 「标签 yyy」 的数据，f(x)=ωx+bf(x) = \omega x + bf(x)=ωx+b

文章目录因「激活函数（Activation Functions）」而带来的新问题从一个简单的线性模型开始梯度是怎么消失的梯度又是如何爆炸的预防梯度消失、爆炸的办法逐层微调梯度剪切正则化ReLu、LeakyReLu 等激活函数因「激活函数（Activation Functions）」而带来的新问题在 《深度学习知识总结 —— 5. 什么是过拟合和欠拟合》 里，我们为了避免「过拟合」的情况出现，有时候我们需要删减一些不必要的数据，或者对数据进行某种程度的正则化。这通常是通过一组功能和特点各异的 「激活函数（

文章目录过拟合欠拟合泛化能力避免过拟合的一般方法从数据集上规避从训练模型上规避从训练过程上规避作为从「统计学（Statistics）」跟「计算机科学（Computer Science）」交叉而诞生的新学科「机器学习（Machine Learning）」，从诞生的那一刻，基因里就带上了很多来自统计学的概念。我们用于处理类似「分类（Classification）」、「回归（Regression）」、「聚类（Clustering）」、「降维（Dimensionality Reduction）」以及「强化学习（

这一章的知识点其实相当于知识总结，因为基础的内容基本已经在前面的章节中探讨过。但是我这两天思考了一下，觉得有必要把神经元的知识点全部抓出来讨论一下，做一个相当于系统性的概述，这样我们在之后的讨论中，就不会涉及到太多数学性的话题，而更多的可以放在拓扑结构或其他内容上了，比如具体的应用上。文章目录关于前面内容的回顾构建复杂的函数模型矩阵与并行计算计算图与神经元网络的关系关于前面内容的回顾首先，在前面的章节里，我论述过一个完整的神经元的计算单元，其运算过程如下：Created with Raphaël.

在前面的章节里，分别介绍了声名远扬的梯度下降算法，计算图，以及反向传播。现在我们要思考这样一个问题。对于y=ax+by = ax +by=ax+b这样一个线性模型来说，无论x有多复杂，都无法改变它线性输出的特点。线性模型对于线性问题的求解是可行，但是我们需要用倒神经元网络的实际应用场景来说，有很多是无法直接套用线性模型来求解的。举个例子来说，对于分类问题，就无法很好的依靠线性模型进行求解。所以，为了解决这个问题，就有科学家提出在每一层神经元的输出上，根据需要套一个激活函数，从而破坏神经元的线性结构，使.

文章目录计算图（Computational Graph）在梯度下降算法介绍中，我提到过梯度其中的一个重要计算过程，用流程图进行表示就是如下形式：Created with Raphaël 2.2.0Start计算参数符合期望？End更新参数yesno如果说正向传播，其实就是 **计算参数 -> 比较误差（计算损失函数）**那么反向传播的实际意义就是 根据误差 -> 更新参数 这一过程。为了更好的理解神经网络拓扑结构，我们先引入一个名为计算图的概念。计算图（Computational Gra

我鸽了很久，终于有点时间来填这个梯度下降算法的坑。《梯度下降算法——1. 什么是梯度下降》 在上一章里，介绍了什么是梯度下降算法，如果还有点懵逼，那么你就应该好好看一看这篇文章了。看完后，你应该能理解什么是梯度下降算法了。首先，我们需要原始的数据。我们用一个比较复杂的，但是在我其他文章里反复用到的正态分布核去生成我们需要的原始数据，并设置它的μ\muμ和σ\sigmaσ分别是3和5，这样我们可以得到这样一个非标准的正态分布曲线的x和y值：def gaussian_noise_kernel(x, m.

文章目录提出问题暴力求解评价函数梯度曲线学习率提出问题已知如下图形在[0，10]区间内呈现高斯分布特征，在已知高斯公式表达式为：p(z)=12πσe(−(z−μ)22σ2)p(z) = \frac{1}{ \sqrt {2 \pi } \sigma } e^(- \frac{(z- \mu )^2}{2 \sigma^2} )p(z)=2π​σ1​e(−2σ2(z−μ)2​)时，且已知图像中每一点坐标的X Y值，如何求解标准差 σ\sigmaσ 以及期望 μ\muμ？暴力求解针对这样一个问