凸优化的预备知识

再也不说我是谁

于 2021-11-03 16:24:42 发布

阅读量544

点赞数 1

CC 4.0 BY-SA版权

分类专栏：凸优化理论文章标签：线性代数

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_14952615/article/details/121121930

凸优化理论专栏收录该内容

16 篇文章

订阅专栏

本文中，我们对凸优化要求的基本知识进行基本的介绍。大家不要嫌烦，这已经是我能想到最少的了。

1. 线性代数

$\{ v_{1}, v_{2},\cdots, v_{k} \}$ 是空间 $R^{k}$ 的一组基，若 $\forall w \in R^{k}, \exists \alpha_{1}, \alpha_{2},\cdots, \alpha_{k}, w = \sum_{i} \alpha_{i} v_{i}$

换言之，任意一个向量w 都要能够被这组基线性表示。

于此，我们可以引出线性不相关。

即若 $v_{1}, v_{2},\cdots, v_{k}$ 中，彼此都无法被剩余的k-1 个向量线性表示，则 $v_{1}, v_{2},\cdots, v_{k}$ 线性无关。

线性无关，这里咱们举个例子：

a = [1 0 0 ] b=[0 1 0] c= [ 0 0 1], 显然a,b,c是线性相关的。

最后，根据上面的例子，我们给出，一组基的向量之间，彼此都是线性无关的。

接着我们定义线性运算内积

$u\cdot v = u^{T}v = <u,v>=\sum_{i=1}^{n} u_{i}v_{i}$

外积（矩阵）

$u\times v =M, M_{i,j}= u_{i}v_{j}$

柯西施瓦茨不等式：

$<u,v>\leq ||u||_{2}||v||_{2}$

这个不等式的证明网上特别的多，简单来说就是 $<u,v>= ||u||_{2}||v||_{2}\cos(\theta)$ , 这里 $\theta$ 是向量 $u,v$ 之间的夹角，所以就简单证明了。

根据这个知识点，我们给出向量在另一个向量上的投影的快速计算方法，如我们需要计算向量 $u$ 在向量 $v$ 方向上的投影，如下图所示：

投影是蓝色这条线，方向应该和v是一个方向。那么我们如何快速计算呢？

首先给出v的方向：

$\frac{ v }{ ||v||_{2} }$

然后我们计算蓝色线条的长度，根据勾股定理，容易得到

$||u||_{2}\cos(\theta)$

这里 $\theta$ 是向量 $u,v$ 之间的夹角

因此，向量 $u$ 在向量 $v$ 方向上的投影为：

$\frac{v}{||v||_{2}}||u||_{2}\cos(\theta)=\frac{<u,v>v}{||v||_{2}^{2}}$

有了投影这个说法之后，我们就有一个新的东西，即：

一个向量 u 对子空间的投影，如果子空间的基 $\{ v_{1}, v_{2},\cdots, v_{k} \}$ 相互正交，且长度为1，那么

该向量在子空间的投影，等于该向量在每一个基向量上投影之和。

$Proj_{(v_{1},v_{2}.\cdots, v_{k} )}(u) = <u,v_{1}>v_{1}+ <u,v_{2}>v_{2}+\cdots+<u,v_{k}>v_{k}$

其实这里讲的意思就是我们很熟悉的矢量的分解与合成差不多。

接着我们说向量的Lp范数

$||x||_{p} = ( \sum_{i} |x_{i}|^{p} )^{1/p}$ 这里的p可以取 1 2 无穷。注意，如果p取无穷，就代表取向量x中绝对自最大的元素。

三角不等式：

$\begin{aligned} &||u||_{2} + ||v||_{2} \geq ||u-v||_{2}\\ &||x-y||_{2}^{2} \leq ||x-w||_{2}^{2} + ||y-w||_{2}^{2} \end{aligend}$

三角不等式的证明网上也有很多，这里我就不过分赘述了。

接着是矩阵的秩；

其实矩阵可以按行和列分别写成行向量形式与列向量形式，那么不论行向量形式还是列向量形式，我们都可以从中发现有多少个线性无关的行向量或者列向量，因此线性无关的行向量或者列向量的个数称为矩阵的秩。

一个矩阵对应着几个特殊的空间：

零空间： $Mx =0$ ，x所构成的空间

值空间： $y=Mx$ , y所构成的空间

因此，如果一个矩阵 $M \in R^{m\times n}$ 的秩为m 或者n，我们称为满秩矩阵

如果一个方阵 $M \in R^{n\times n}$ 的秩为n，则其值空间为 $R^{n}$ , 零空间为{0}。

如果一个矩阵的行列式值为0，则该矩阵一定不满秩。

接着我们聊一聊什么是线性子空间：

所谓子空间就是对加法和放缩(scaling)运算封闭的向量集合。

一个子空间的正交补：

设V是一个子空间，其正交补 $V^{\perp } = \{w:<w,v>=0, \forall v\in V \}$ ,w是一个与子空间V中任何向量都正交的这么一个向量

仿射子空间：

对于一个集合C中两个不同的点 $x_{1}, x_{2}$ , 对于任意 $\theta \in R$ 有

$\theta x_{1 }+ (1-\theta) x_{2} \in C$

上面的变换着称为仿射变换

接着是特征值与特征向量

设M是一个矩阵，则满足

$Mv = \lambda v$

的向量v 称为特征向量，对应的 $\lambda$ 称为特征值

如果M是一个对称矩阵，即 $M=M^{T}$ , 且其所有特征值为实数，特征向量之间彼此正交。同时我们可以对M 进行谱分解

$M = \sum_{i}\lambda_{i} v_{i}\times v_{i}$ x代表外积

正定矩阵与半正定矩阵

即矩阵M 若任意向量v 都有 $v^{T}M v \geq 0$ ,则M为半正定矩阵

若 $v^{T}M v \textgreater 0$ ,则M为正定矩阵

好啦，基础知识就这么些，大家可以看到基本都是一些关于线性代数的概念。下一次，咱么就开始进入正题啦。

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。