开飞机的小毛驴儿

读文献的时候经常看到inductive这个词，如果按照直接翻译的方式可以译为“归纳的，诱导的”，可感觉不够直观，总是觉得别别扭扭的。直到读到了一篇论文，我才有了相对好一些的理解。论文原文是这样写的：“One convenient property of our model is that the anomaly detector will be inductive, i.e., it can generalize to unseen data points. One can interpret the mo

转载自：https://blog.csdn.net/weixin_41770169/article/details/79562314，本文只做个人记录学习使用，版权归原作者所有。

按道理讲，这些东西应该熟记于心的。但是自己真心不喜欢记这种东西，看到一个总结不错的博客，转载过来以便于自己查看把！原文1. 几种范数矩阵 X∈Rm×nX∈Rm×n，σi(X)σi(X) 表示 XX 的第 ii 大奇异值（即 XX′XX′ 的第 ii 大特征值的均方根）{cite recht2010guaranteed}。rr 表示矩阵 XX 的秩（R

原文地址：http://www.xiongfuli.com/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/2016-06/tensor-decomposition-cp.html，原地址是一个非常好的个人博客。CP分解(Canonical Polyadic Decomposition)1927年Hitchcock提出了CP 分解。CP 分解将一个

写的特别好的一篇博文，看而不转非礼也！原文在下面，不过好像打不开了啊：http://www.cvchina.info/2010/06/01/sparse-representation-vector-matrix-tensor-1/稀疏表达：向量、矩阵与张量（上）2010年6月1日稀疏表达是近年来SP, ML, PR, CV领域中的一大热点，文章可

前几天旁听了一节小波变换，授课老师讲的非常棒。在开始的时候，老师问了一个问题，傅里叶级数的本质是什么？本质就是线性代数里的线性表示！如何理解呢？网上截几个公式说明一下。上图是傅里叶级数的形式，能不能看成f在基cos(nwt)和sin(nwt)下的线性表示呢？有以下几个问题需要回答一下：1.cos(nwt)和sin(nwt)是基吗？进一步讲，正交吗？正交的概念与内积息息相

今天和导师讨论问题的时候，说到了l21范数。导数希望我能解释一下，我明白它的作用可是我知道我没有向老师解释清楚，有些失落。今晚就自己总结一下吧，希望下次再有人问我这个问题的时候我能向别人解释清楚。先看上面l21范数的定义，注意原始矩阵是n行t列的，根号下平方是对列求和，也就是说是在同一行中进行操作的，根号部分就相当于一个l2范数，由此可以看出l21范数实则为矩阵X每一行的l2范数之和。

对红框部分该如何推导呢？一开始始终无法理解，后来请教了在中科院读数学博士的大学同学，问题轻松解决，手写稿如下：基本上红框部分能够理解了，后面还有很多内容，随着自己的理解不断增量更新吧！

题目：压缩感知测量矩阵之有限等距性质（Restricted Isometry Property,RIP）        阅读压缩感知的文献，RIP绝对是一个抬头不见低头见的英文简写，也就是有限等距性质（Restricted Isometry Property, RIP），尤其是研究测量矩阵的童鞋们，这是一个几乎绕不开的术语，所以在测量矩阵这一块首先讨论一下RIP。一、RIP的定义 

在“Foreground Estimation Based on Linear Regression Model with Fused Sparsity on Outliers”这篇文献里，在介绍最小二乘对噪声不鲁棒的时候提到了一个新的东西叫做M-estimators，好像就是之前所说的M估计，在大学里老师好像提过这个东西，但如今我却不知道这究竟是个什么东东了！经网上查阅，把相关东西记录在此，“以

作者的博客写的特别牛，所以博客都转载过来 原文在这里：http://www.cnblogs.com/scnucs/archive/2012/10/10/2718497.html在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。准确率、召回率、F1信息检索、分类、识别、翻译等领域两个最基本指标是召回率

原文在这里http://amsword.is-programmer.com/，转载只做记录方便自己温习，无疑侵权，如有侵权，可联系 jzwang@bjtu.edu.cn 马上删除！

原文地址：http://www.xiongfuli.com/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/2016-06/tensor-decomposition-tucker.htmlTucker分解Tucker的1966年文章中第一次提到了Tucker分解。一个三阶张量的Tucker分解的图示如下图所示。对于一个三阶张量X∈R

转载自：https://blog.csdn.net/lanyanchenxi/article/details/50448640本文参考文献附在最后。是对参考文献的理解。 1：此算法解决凸优化问题模型如下：minF(x)=g(x)+h(x)minF(x)=g(x)+h(x)其中g(x)g(x)凸的，可微的。h(x)h(x) 闭的凸的。其中g(x),h(x)是由F(x)g(x),h(x)是由F(x) ...

转载自：https://zhuanlan.zhihu.com/p/36503663，版权归原作者所有。1. 什么是梯度？对于梯度下降算法（Gradient Descent Algorithm），我们都已经很熟悉了。无论是在线性回归（Linear Regression）、逻辑回归（Logistic Regression）还是神经网络（Neural Network）等等，都会用到梯度下降算法。我们先来...

文章转载自：http://www.cnblogs.com/tornadomeet/archive/2012/09/06/2673104.html，代码做了一点点的修改和注释，亲测可行。前言：　　PCA是大家经常用来减少数据集的维数，同时保留数据集中对方差贡献最大的特征来达到简化数据集的目的。本文通过使用PCA来提取人脸中的特征脸这个例子，来熟悉下在oepncv中怎样使用PCA这个类

转载自：https://zhuanlan.zhihu.com/p/21583787，版权归原作者所有。主成份（Principal Component Analysis）分析是降维（Dimension Reduction）的重要手段。每一个主成分都是数据在某一个方向上的投影，在不同的方向上这些数据方差Variance的大小由其特征值（eigenvalue）决定。一般我们会选取最大的几个特征值

ADMM算法的相关资源

转载自：http://blog.csdn.net/xidianliutingting/article/details/516732071.已知 对谁求导数，就以谁（分母）作为主序，得出结果。比如这里x是列向量，求Ax关于x求导数，那么对x的每个分量分别求偏导数(写成一行)，然后整理排成一列（同x一样是列向量）。  同理有  关于x的转置x.T求导数，x.T是行向量，

转载自知乎：https://www.zhihu.com/question/23536142先抛给大家一个结论：从贝叶斯的角度来看，正则化等价于对模型参数引入 先验分布 。一. Linear Regression我们先看下最原始的Linear Regression:<img src="https://pic2.zhimg.com/c24e0befa5ee8a84de2

维基百科中对拉普拉斯分布的解释如下。在概率论和统计学中，拉普拉斯分布是一种连续概率分布。由于它可以看作是两个不同位置的指数分布背靠背拼在一起，所以它也叫双指数分布。如果随机变量的概率密度函数分布为那么它就是拉普拉斯分布。其中μ为位置参数，b>0是尺度参数。与正态分布对比，正态分布是用相对于μ平均值的差的平方来表示，而拉普拉斯概率密度用相对于差的绝对值来表示。因此，拉普拉斯分布的尾部比正

现实应用中，归一化和标准化都快被叫烂了，很多时候我们都认为二者有相同的意思。粗略上是可以这样认为的，功能是一样的，目的都是消除量纲的影响，以解决指标之间的可比性问题。细细品味，背后还是有些意思的。从几种方法出发。一.min-max标准化min-max标准化，也称为极差法，这是对原始数据的一种线性变换，使原始数据映射到[0-1]之间。所以说，这种标准化我们称之为归一化的时候，本质

一、简介标题可译为快速随机奇异值分解，单纯觉得念得拗口，故标题未做翻译。之前看过一点相关内容，当时对这个方法还谈不上理解，随着相关文献看的越来越多，理解也就逐渐加深了。当然，涉及到Terry Tao的地方我没有花大量的时间去研读，所以假设我就知道了。今天下午先不谈奇异值分解与其他方法的联系，只是总结一下我对这个方法的理解。事实上，有很多方法可以计算矩阵的奇异值分解，下述内容利用主流的随机思想来

做矩阵低秩近似的时候，需要默认知道一个基本的不等式，这有助于对低秩矩阵近似有一个更深的理解。今天突然想到了，就尝试证明了一下。这个基本的不等式就是两个矩阵乘积的秩不大于这两个矩阵中任何一个的秩，即rank(AB)下面我给出一个证明，基本思路是利用齐次线性方程组的解的理论来证明，为了方便理解写的啰嗦一些，写的这么啰嗦博友还有还有不明白的地方可以参照陈志杰编的《高等代数与解析几何》中“线性方程

记录矩阵F范数、2范数与正交矩阵相乘的范数不变性，有些地方也叫做保范性。首先明确一下正交矩阵A'A=AA'=I先看矩阵的2范数，即矩阵A的2范数定义为A最大的奇异值。对A做奇异值分解，不妨记作A=USV'，其中U、V为正交矩阵，则在A的两边分别乘以正交矩阵不影响其奇异值，比如说，在A的左边乘以正交矩阵P有PA=PUSV‘，注意到PU乘积仍然为正交矩阵，原因在于(PU)'(PU)=U'P'PU=

以下内容多根据wiki翻译转述而来，其中夹杂个人理解。在线性代数里，QR分解是将输入矩阵A分解成两个矩阵乘积的形式A=QR，其中Q是正交矩阵，R是上三角矩阵。QR分解经常用来解决最小回归问题，是特征值算法、QR算法的基础。1 不同情形及相应的定义1.1 方阵情形任何实矩阵A都能够被分解为A=QR其中，Q是一个正交矩阵（其列向量是正交单位向量，即Q‘Q=E），R是一个上三角矩

原文在这里，总结的不错。    在解组件特性相关的方程式时，大多数的时候都要去解偏微分或积分式，才能求得其正确的解。依照求解方法的不同，可以分成以下两类：解析解和数值解。    解析解(analytical solution)就是一些严格的公式,给出任意的自变量就可以求出其因变量,也就是问题的解, 他人可以利用这些公式计算各自的问题. 所谓的解析解是一种包含分式、三角函数、指数

虽然无耻地将文章设置成了原创，其实这里原创的含义是我自己写的，而非转载别人的，但事实情况是这篇文章的大部分内容翻译自“A tutorial on Principle Component Analysis"，特此声明，本人无意侵权，只是在原文基础上加了一些个人理解，如果想看原文直接百度或google标题就能搜到，非常好的主成分分析入门资料。写此博文，目的有二，其一方便群众，其二是系统梳理一遍加深自己

在图论里常谈到邻接矩阵，表示节点之间的邻接关系。今天看到了一点拉普拉斯矩阵的东西，可理解为其由邻接矩阵发展而来，具体的定义为：如果不是对角线上的元素，则拉普拉斯矩阵是原邻接矩阵对应元素的相反数；如果是对角线元素，则拉普拉斯矩阵对角线上的元素是原邻接矩阵对应行除对角线元素外其余元素之和；下面来个图

我不生产自己不熟悉的内容，我只是陌生内容的搬运工！向原作致敬！      Dirichlet分布可以看做是分布之上的分布。如何理解这句话，我们可以先举个例子：假设我们有一个骰子，其有六面，分别为{1,2,3,4,5,6}。现在我们做了10000次投掷的实验，得到的实验结果是六面分别出现了{2000,2000,2000,2000,1000,1000}次，如果用每一面出现的次数

转载自：http://blog.jqian.net/post/pca.html协方差矩阵协方差(Covariance)用于衡量两个变量的总体误差。设两个随机变量 XX 和 YY 的期望值分别为 E(X)E(X) 和 E(Y)E(Y)，则其协方差定义为：cov(X,Y)=E((X−E(X))(Y−E(Y)))cov⁡(X,Y)=E((X−E(X))(Y−E(Y)))

原文在这里：http://blog.csdn.net/hlx371240/article/details/42916869下面讲解介绍一种矩阵分解的方法，这个方法是非常实用的。考虑一个m×n的矩阵R，现在是想找到一个U和V矩阵，使其满足，（矩阵R可能是一个稀疏的矩阵）。正规化的奇异值分解（the Regularized Singular Value Decomposit

原文在这里：http://blog.csdn.net/shanglianlm/article/details/46808793最近开始对凸优化(convex optimization)中的ADMM(Alternating Direction Method of Multipliers)交替方向乘子算法开始感兴趣，接下来我会写一系列关于ADMM(Alternating Direction

刚才实验室的同学问了一下我归一化的作用，但很多时候你总是心里明白却解释不出来，网上找了一个不错的例子记录下来吧，解释出自知乎：https://www.zhihu.com/question/20455227简单的举个例子：一张表有两个变量，一个是体重kg，一个是身高cm。假设一般情况下体重这个变量均值为60（kg），身高均值为170（cm）。1，这两个变量对应的单位不一样，同样是100，对于

今天读paper的时候看到一个概念叫做median absolute deviation，翻译过来好像叫做绝对中位差，好像还挺有用。根据维基百科的解释在这里做一个整理。定义式为：在统计学中，绝对中位差是刻画一元数据样本变化的一个鲁棒度量。由公式可以看出，其求解还算简单，给定一个数据样本集，首先求其中位数，然后求原始数据减去中位数的绝对值从而形成一个新的数据样本，再求新的数据样本的中

今天读paper的时候突然受到了一点小小的启发，之前没怎么注意到，也算是一个小技巧吧！比如说一个矩阵由若干个列向量组成，为了考虑列向量之间的结构信息，我需要定义一个权重，如果两个列向量a,b距离比较近，那我希望赋予这两个列向量一个较大的权重Wab；如果这两个列向量a,b距离比较远，那我希望给它们一个较小的权重。如果距离用欧式距离来定义的话，我自己的第一直觉是直接通过一个倒数函数就解决了。但出于做论

我不生产自己不熟悉的内容，我只是陌生内容的搬运工！向原作致敬！在求取有约束条件的优化问题时，拉格朗日乘子法（Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法，对于等式约束的优化问题，可以应用拉格朗日乘子法去求取最优值；如果含有不等式约束，可以应用KKT条件去求取。当然，这两个方法求得的结果只是必要条件，只有当是凸函数的情况下，才能保证是充分必要条件。KKT

此文由百度文库上的一个PPT整理而得。先简单的几句话说一下时间复杂度。时间复杂度并不是计算机解决一个问题需要花多长时间，而是当问题规模扩大后，而是当问题规模扩大后，程序需要的时间增长速度有多快。不管程序数据有多大，程序处理花的时间总是那么多的，那我们说这个这个程序很好，具有O（1）的复杂度，也就是常数级复杂度；数据规模变得多大，花的时间也跟着变得有多长，那这个程序具有O（n）的复杂度，

我不生产自己不熟悉的内容，我只是陌生内容的搬运工！向原作致敬！来源：http://www.cvchina.info/2011/09/05/matrix-factorization-jungle/美帝的有心人士收集了市面上的矩阵分解的几乎所有算法和应用，由于源地址在某神秘物质之外，特转载过来，源地址Matrix Decompositions