人工智能（无监督学习-降维）——非负矩阵分解（NMF）

最新推荐文章于 2025-05-26 10:12:42 发布

荔枝科研社

最新推荐文章于 2025-05-26 10:12:42 发布

阅读量3.6k

点赞数 5

CC 4.0 BY-SA版权

分类专栏：机器学习、深度学习文章标签：矩阵人工智能线性代数 python

本文链接：https://blog.csdn.net/weixin_46039719/article/details/122485274

机器学习、深度学习专栏收录该内容

84 篇文章

订阅专栏

本文介绍非负矩阵分解(NMF)的基本原理与应用案例，重点讲述NMF如何从非负矩阵中提取特征，并通过Python代码实现对Olivetti人脸数据集进行特征提取的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 概念

1.1 非负矩阵分解

（ Non-negative Matrix Factorization ， NMF ）：是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。

1.2 基本思想

给定一个非负矩阵 V ， NMF 能够找到一个非负矩阵 W 和一个非负矩阵H ，使得矩阵 W 和 H 的乘积近似等于矩阵 V 中的值。

1.3 W矩阵

基础图像矩阵，相当于从原矩阵V 中抽取出来的特征。

1.4 H矩阵

系数矩阵。NMF能够广泛应用于图像分析、文本挖掘和语音处理等领域。

上图摘自 NMF 作者的论文，左侧为 W矩阵，可以看出从原始图像中抽取出来的特征，中间的

是 H矩阵。可以发现乘积结果与原结果是很像的。

2 矩阵分解优化目标

最小化 W 矩阵 H 矩阵的乘积和原始矩阵之间的差别，目标函数如下：

基于 KL 散度的优化目标，损失函数如下：

(公式的推导略)

3 案例

NMF人脸数据特征提取：

目标：已知Olivetti人脸数据共400个，每个数据是64*64大小。由于NMF分解得到的 W矩阵相

当于从原始矩阵中提取的特征，那么就可以使用NMF对400个人脸数据进行特征提取。

通过设置k的大小，设置提取的特征的数目。在本实验中设置k=6，随后将提取的特征以图像的形式展示出来。

4 代码实现（Python）

在sklearn库中，可以使用sklearn.decomposition.NMF加载NMF算法，主要参数有：

• n_components：用于指定分解后矩阵的单个维度k；

• init：W矩阵和H矩阵的初始化方式，默认为‘nndsvdar’。

4.1 代码

#====1. 建立工程，导入sklearn相关工具包：=====
from numpy.random import RandomState  #加载RandomState用于创建随机种子
import matplotlib.pyplot as plt
from sklearn.datasets import fetch_olivetti_faces   #加载Olivetti人脸数据集导入函数
from sklearn import decomposition #加载PCA算法包
from pylab import *
import matplotlib; matplotlib.use('TkAgg')
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False

#======2. 设置基本参数并加载数据：=====
n_row, n_col = 2, 3      #设置图像展示时的排列情况，如右图
n_components = n_row * n_col  #设置提取的特征的数目
image_shape = (64, 64)           #设置人脸数据图片的大小

#=====3.下载人脸数据:================
dataset = fetch_olivetti_faces(shuffle=True, random_state=RandomState(0)) #加载数据，并打乱顺序
faces = dataset.data      #加载数据，并打乱顺序


#=====4. 设置图像的展示方式:==========
def plot_gallery(title, images, n_col=n_col, n_row=n_row):
    plt.figure(figsize=(2. * n_col, 2.26 * n_row))   #创建图片，并指定图片大小（英寸）
    plt.suptitle(title, size=16)   #设置标题及字号大小

    for i, comp in enumerate(images):
        plt.subplot(n_row, n_col, i + 1)    #选择画制的子图
        vmax = max(comp.max(), -comp.min())
        #==对数值归一化，并以灰度图形式显示==
        plt.imshow(comp.reshape(image_shape), cmap=plt.cm.gray,
                   interpolation='nearest', vmin=-vmax, vmax=vmax)
        plt.xticks(())    #去除子图的坐标轴标签
        plt.yticks(())
    plt.subplots_adjust(0.01, 0.05, 0.99, 0.94, 0.04, 0.)  #对子图位置及间隔调整


plot_gallery("首先是奥利维蒂的脸", faces[:n_components])

#=======5.创建特征提取的对象NMF，使用PCA作为对比：====
estimators = [
    ('基于随机奇异值分解的特征脸PCA',  #提取方法名称
     decomposition.PCA(n_components=6, whiten=True)),   #PCA实例

    ('非负性成分-NMF',         #提取方法名称
     decomposition.NMF(n_components=6, init='nndsvda', tol=5e-3))  #NMF实例
]

#=======6.降维后数据点的可视化：=================
for name, estimator in estimators:         #分别调用PCA和NMF
    print("Extracting the top %d %s..." % (n_components, name))
    print(faces.shape)
    estimator.fit(faces)                   #调用PCA或NMF提取特征(数据训练）
    components_ = estimator.components_         #获取提取的特征
    plot_gallery(name, components_[:n_components])   #按照固定格式进行排列

plt.show()

4.2 结果展示

Extracting the top 6 基于随机奇异值分解的特征脸PCA...
(400, 4096)
Extracting the top 6 非负性成分-NMF...
(400, 4096)