01-线性可分条件下判别函数权矢量算法

1. 线性判别函数

线性判别函数的一般形式：\(d(x)=\textbf{w}^{T}\textbf{x}\)  

增广权向量：\(\textbf{w}=(w_{1}\,w_{2} ... w_{n}\,w_{n+1})^{T}\)

增广模式向量：\(\textbf{x}=(x_{1}\,x_{2} ... x_{n}\,1)^{T}\)

(1)两类情况

(2)多类情况-1：将属于\(w_{i}\)类的模式与区域不属于\(w_{i}\)类的模式分开

     多类情况-2：将\(w_{i}/w_{j}\)分为两类，一个判别界面只能分开两个类别

     多类情况-3：是情况2的特例，它是没有不确定区域是的\(w_{i}/w_{j}\)两分法

2. 广义线性判别函数

\(x^{*}=(f_{1}(x)\,f_{2}(x)...f_{k}(x))^{T}\)  (k>n) \(x^{*}\)的k维大于x的n维

\(d(x)=\textbf{w}^{T}\textbf{x}^{*}\)  

增广权向量：\(\textbf{w}=(w_{1}\,w_{2} ... w_{k}\,w_{k+1})^{T}\)

增广模式向量：\(\textbf{x}^{*}=(f_{1}(x)\,f_{2}(x)...f_{k}(x)\,1)^{T}\)

3. 分段线性判别

4. 模式空间和权空间

界面方程：\(d(x)=\textbf{w}^{T}\textbf{x}=0\)  

此方程表示一超平面\(\pi\),它有三个性质：

（1）系数矢量\(w^T\)是该平面的法矢量

（2）判别函数d(x)的绝对值正比于特征点x到超平面d(x)=0的距离

（3）判别函数数值的正负表示出特征点位于哪个半空间

5. fisher线性判别

从d维空间到一维空间的一般数学变换方法

\(\textbf{y}_{n}=\textbf{w}^{T}\textbf{x}_{n}\)

w的值是无关紧要的，重要的是选择w的方向，w的方向不同，使得样本投影后的可分离度度得不同

因此，上述寻求最佳投影方向的问题，在数学上就是寻求最好的变换向量\(w^{*}\)的问题。

d维X空间

(1)各样本的平均向量：

\(\textbf{m}_{i}=\frac{1}{N_{i}}\sum_{x\in{\Gamma_{i}}} x\)    (i=1、2)

(2)样本类内离散度矩阵\(\textbf{S}_{i}\)和总类内离散度矩阵\(\textbf{S}_{w}\)

\(\textbf{S}_{i}=\sum_{x\in{\Gamma_{i}}}(x-m_{i})(x-m_{i})^{T}\)    (i=1、2)

\(\textbf{S}_{w}=\textbf{S}_{1}+\textbf{S}_{2}\)

(3)样本类间离散度矩阵\(\textbf{S}_{b}\)

\(\textbf{S}_{b}=(m_{1}-m_{2})(m_{1}-m_{2})^{T}\) 

\(\textbf{S}_{w}\)是对称半正定矩阵，单N>d时通常是非奇异的，\(\textbf{S}_{b}\)也是对称半正定矩阵，两类情况下，它的秩最大等于1

1维Y空间

(1)各类样本均值

\(\tilde{m_i}=\frac{1}{N_i}\sum_{y\in{Y_i}} y\)    (i=1、2)

(2)样本类内离散度和总类内离散度

\(\tilde{S_i^2}=\sum_{y\in{Y_i}}(y-\tilde{m_i})^2\)    (i=1、2)

\(\tilde{S_w}=\tilde{S_1^2}+\tilde{S_2^2}\)

Fisher准则函数

\( \large J_F(w) =  \frac{(\tilde{m_1}-\tilde{m_2})^2} {\tilde{S_1^2}+\tilde{S_2^2} } \) = \( \large \frac{w^T S_b w } { w^T S_w w }\)

利用Lagrange乘数法求解得到\( w^*=S_w^{-1}(m_1 - m_2)\)