【机器学习】机器学习中用到的高等数学知识-1.线性代数 (Linear Algebra)

本文链接：https://blog.csdn.net/IT_ORACLE/article/details/143682643

向量(Vector)和矩阵(Matrix)：用于表示数据集（Dataset）和特征（Feature）。
矩阵运算：加法、乘法和逆矩阵(Inverse Matrix)等，用于计算模型参数。
特征值(Eigenvalues)和特征向量(Eigenvectors)：用于降维(dimensionality reduction)（如主成分分析 PCA(Principal Component Analysis)）和理解数据结构。
奇异值分解 (SVD)：用于数据降维和矩阵近似。

向量和矩阵

向量

向量是线性代数中的一个基本概念，它是具有大小和方向的数学对象。向量在物理学、工程学、计算机科学和许多其他领域中都有广泛的应用。以下是向量的基本概念、性质和应用。

1. 向量的定义

向量可以用有序的数值集合来表示，通常写作 $\mathbf{v}$ 或 $\vec{v}$ 。在 $n$ -维空间中，一个向量可以表示为：

$\mathbf{v} = \begin{pmatrix} v_1 \\ v_2 \\ \vdots \\ v_n \end{pmatrix}$

这里， $v_1, v_2, \ldots, v_n$ 是向量的分量。

2. 向量的类型

向量可以根据其特征进行分类：

位置向量的用途
表示点的位置：可以用位置向量确定一个点在空间中的具体位置。
计算点间距离：两个点的距离可以通过它们的相对位置向量计算，例如 $\|\mathbf{OP}_1 - \mathbf{OP}_2\|$ 。
空间变换：位置向量可以用于描述平移、旋转等空间操作。

示例
若点 $A$ 的坐标为 $(3, 4)$ ，则其位置向量为：

$\mathbf{OA} = \begin{bmatrix} 3 \\ 4 \end{bmatrix}$

若点 $B$ 在三维空间中的坐标为 $(1, -2, 5)$ ，则其位置向量为：

$\mathbf{OB} = \begin{bmatrix} 1 \\ -2 \\ 5 \end{bmatrix}$

位置向量的使用使得我们可以将几何问题转化为向量运算，使得计算更为简洁和直观。

零向量：是向量空间中的特殊向量，它的所有分量都为零。零向量通常用符号 $\mathbf{0}$ 表示，在任意维度的向量空间中都存在。例如：

在二维空间中，零向量为：
$\mathbf{0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix}$
在 $n$ -维空间中，零向量为：
$\mathbf{0} = \begin{bmatrix} 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix}$
零向量的特点是无方向、无长度，它在向量加法中是单位元，添加到任何向量上都不会改变其值。
单位向量：模（长度）为 1 的向量，通常用于表示方向，单位向量的符号通常为 $\hat{i}$ , $\hat{j}$ , $\hat{k}$ 或加上帽子符号的其它向量符号。下面是一些常见的单位向量示例：

二维空间中的单位向量：
沿 $x$ -轴方向的单位向量：
$\hat{i} = \begin{bmatrix} 1 \\ 0 \end{bmatrix}$
沿 $y$ -轴方向的单位向量：
   $\hat{j} = \begin{bmatrix} 0 \\ 1 \end{bmatrix}$
三维空间中的单位向量：
  沿 $x$ -轴方向的单位向量：
       $\hat{i} = \begin{bmatrix} 1 \\ 0 \\ 0 \end{bmatrix}$
沿 $y$ -轴方向的单位向量：
       $\hat{j} = \begin{bmatrix} 0 \\ 1 \\ 0 \end{bmatrix}$
沿 $z$ -轴方向的单位向量：
       $\hat{k} = \begin{bmatrix} 0 \\ 0 \\ 1 \end{bmatrix}$

任意向量的单位化：对于任意非零向量 $\mathbf{v}$ ，可以通过将它除以其模长 $\|\mathbf{v}\|$ 来获得单位向量：

    $\hat{\mathbf{v}} = \frac{\mathbf{v}}{\|\mathbf{v}\|}$

例如，如果 $\mathbf{v} = \begin{bmatrix} 3 \\ 4 \end{bmatrix}$ ，则它的模长为 5，单位向量为：
   $\hat{\mathbf{v}} = \frac{1}{5} \begin{bmatrix} 3 \\ 4 \end{bmatrix} = \begin{bmatrix} 0.6 \\ 0.8 \end{bmatrix}$
单位向量在多种计算中都很有用，尤其是表示方向，而不关注大小。
位置向量（Position Vector）：表示空间中一个点的位置的向量，它通常从坐标系的原点 $O$ 指向该点 $P$ ，可以表示点的相对位置。位置向量是非常有用的工具，尤其在几何、物理学和工程中，用于描述物体的位置。

位置向量的定义

在二维和三维空间中，位置向量常以从原点到目标点的矢量形式表示。若点 $P$ 的坐标为 $(x, y)$ 或 $(x, y, z)$ ，则位置向量 $\mathbf{OP}$ 为：
二维空间中的位置向量：若 $P = (x, y)$ ，则位置向量为：

$\mathbf{OP} = \begin{bmatrix} x \\ y \end{bmatrix}$

三维空间中的位置向量：若 $P = (x, y, z)$ ，则位置向量为：

$\mathbf{OP} = \begin{bmatrix} x \\ y \\ z \end{bmatrix}$

3. 向量的运算

向量之间可以进行多种运算，包括：

向量加法：将两个相同维数的向量相加，对应分量相加。
$\mathbf{u} + \mathbf{v} = \begin{pmatrix} u_1 + v_1 \\ u_2 + v_2 \\ \vdots \\ u_n + v_n \end{pmatrix}$
向量减法：将两个相同维数的向量相减，对应分量相减。