数据降维算法——主成分分析

最新推荐文章于 2025-02-19 23:57:58 发布
最新推荐文章于 2025-02-19 23:57:58 发布
阅读量1.1k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： python 算法 机器学习
需要转载 或者需要深入学习这一块加我qq:2586251102
本文链接：https://blog.csdn.net/qq_42370150/article/details/105558076
数据降维是机器学习中的重要算法，PCA（主成分分析）是一种常用方法。PCA通过选取低维度空间，保持数据的离散性。在数学上，PCA涉及协方差矩阵、特征值与特征向量的计算，并通过特征值排序选择主要成分。PCA在数据可视化和特征选择中有广泛应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

数据降维

数据降维在机器学习中非常有用，可以用来舍弃数据中一些区分度较小的特征，转化数据的观察视角，使其在更少量的特征维度上也有较好的表现。数据降维也可以用在将高维数据可视化的操作中，这都是不可或缺的重要算法，

PCA

PCA（Principal Components Analysis）主成分分析法，是一种常用的数据降维算法。

PCA的主要思路，是选取数据特征中一些较低维度的空间，让数据在这些空间上的方差比较大，这个时候我们可以认为数据是比较分散的，我们在这个低维度空间依然还能表现出数据的离散性。

数学

在正式介绍PCA的步骤之前，有一些重要的数学知识能够极大的帮助我们计算。如果你读完了本节还是不清楚，下面两篇文章或许可以帮到你。

参考一

参考二，数学原理

方差表示

假设矩阵的每一行表示一组数据，每一列表示一维特征，即A_{n \times m}A​n×m​​。

协方差矩阵可以表示为：

其中nn是数据组数。

反之，若用行表示每组特征，则

Cov = \frac{1}{n} A A^TCov=​n​​1​​AA​T​​

显然，协方差矩阵CovCov是实对称矩阵。

特征值与特征向量

对于矩阵AA，如果存在\lambdaλ和向量vv满足

A v = \lambda vAv=λv

那么称\lambdaλ为AA的特征值，vv为AA的特征向量。

特征值特征向量的求解

求解（2）式就可以算出所有的特征值与特征向量。

特征值与特征向量的性质

将矩阵按照特征值可以分解为

最低0.47元/天 解锁文章

200万优质内容无限畅学
深度学习--PyTorch的特点和概述
2201_76007274的博客
03-10 2060
PyTorch主要提供动态图计算的功能，API涉及接近Python原生语法，因此易用性较好，但是在图优化方面不如TensorFlow。这样的特点导致TensorFlow大量用于AI企业的模型部署，而学术界大量使用PyTorch进行研究。不过目前工业界也在向Pytorch转型。
人工智能（降维）——主成分分析（PCA)
2401_84141219的博客
04-28 1278
书籍的好处就在于权威和体系健全，刚开始学习的时候你可以只看视频或者听某个人讲课，但等你学完之后，你觉得你掌握了，这时候建议还是得去看一下书籍，看权威技术书籍也是每个程序员必经之路。Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。：矩阵的主成分就是其协方差矩阵对应的特征向量，按照对应的特征值大小进行排序，最大的特征值就是第一主成分，其次是第二主成分，以此类推。将数据X转换成降维后的数据。
主成分分析（PCA）推导过程及简单实例
技术分享
11-14 7382
本文对主成分分析（Principal Component Analysis，PCA）进行了详细的讲解，它是一种常用的数据降维算法，可以将高维度的数据降到低维度，去除噪声和部分关联特征。文中主要讲解了PCA中协方差矩阵的定义，以及PCA具体的实现步骤。此外，为了便于读者理解，提供了完整的实例。
主成分分析
Tsingzao的博客
04-15 185
深度学习-torch-手写数字识别-线性降维-Sequential
weixin_43049614的博客
01-08 1379
Sequential：是torch.nn自带的功能函数，实乃相见恨晚，它相当于把神经网络的各层装进一个容器，层与层之间通道数的变化也更加清晰。以基于线性降维的全连接对手写数字识别为例： 代码： import torch import torch.nn as nn from torchvision import datasets from torchvision import transforms from torch.utils.data import DataLoader import matplotli
pytorch中的tensor实现数据降维以及通道数转换
yangfaner2021的博客
11-16 8465
上例中torch.narrow(x,0,2,3)，因x为5X6的二维tensor，由两个维度[0,1]，0表示第一维,横向，1表示第二维，纵向；且第一维通道数为5，第二维通道数为6。第三个变量为所选维度中的第几个通道为起点。如果在深度学习中图像处理中常遇到思维tensor，即x.shape=[9，3，256，256],3代表彩色图片RGB的三个通道数，如想实现降维操作，可将x的第二维的通道数3变为1，再使用x=torch.squeeze(x,dim=1)实现降维，降维后shape变为[9,256,256]
降维的艺术——主成分分析（PCA）
零度°C的博客
07-26 2039
在数据科学和机器学习领域，数据降维是一个至关重要的步骤，尤其是在处理具有大量特征的高维数据集时。主成分分析（PCA）作为一种经典的线性降维方法，能够有效地减少数据的维度，同时保留数据集中最重要的信息。本文将从PCA的基本原理出发，探讨其在数据分析中的应用，并提供Python实现的 示例。
机器学习实战(8)：降维技术——主成分分析（PCA）
最新发布
yweng18的博客
02-19 1976
随着特征维度的增加，数据的稀疏性会急剧上升，导致模型训练变得更加困难。这种现象被称为维度灾难（Curse of Dimensionality）。高维数据不仅增加了计算复杂度，还可能导致过拟合。因此，降维技术成为解决这一问题的重要工具。图1：维度灾难示意图（图片描述：三维空间中展示了低维数据点的分布较为密集，而高维空间中数据点变得稀疏，难以捕捉模式。MNIST 数据集包含 70,000 张 28x28 像素的手写数字图像（0-9）。每张图像被展平为 784 维向量。
数据降维——PCA：主成分分析法
lili_lak的博客
06-17 1739
目录 一、PCA相关概念 1. 什么是PCA？ 1.1 概念阐释 1.2 为什么要做PCA 2. 特征维度约减的概念与目的 3. 主成分分析的主要步骤 3.1 求出所有值的均值，然后将所有案例都减去该均值 3.2求样本的协方差矩阵 3.3 求得特征值和特征向量 3.4 将特征值按照从大到小的顺序排序，选择其中最大的k个,及其对应特征向量 3.5 将原始数据投影到选取的特征向量上 3.6 输出投影后的数据集 二、PCA的简单实现 1. 导入库 2. 选取一个二维数据 3. 查看
Python——PCA主成分分析
weixin_44823313的博客
03-04 1836
PCA主成分分析 输入X，降低后的维度k def PCA_Batch_Feat(X, k, center=True): """ param X: BxCxHxW param k: scalar return: """ B, C, H, W = X.shape X = X.permute(0, 2, 3, 1) # BxHxWxC X = X.reshape(B, H * W, C) U, S, V = torch.pca_lowran
torch-decomposition:使用 Torch7 进行成分分析（PCA、Whitened PCA、LDA、LPP、NPP、FastICA）
06-23
Torch7的分解模块 主成分分析 (PCA) 白化主成分分析 (W-PCA) 线性判别分析 (LDA) 局部保护投影 (LPP) 邻里保护预测 (NPP) 快速独立分量分析 (FastICA) 约翰-亚历山大·阿塞尔 安装 克隆此存储库或下载源代码。 用法 调用decomposition = require "decomposition" ，然后是以下任何一项： decomposition.pca(x) , decomposition.lda(x, y) , decomposition.lpp(x) , decomposition.npp(x) , decomposition.fastica(x) 。 或者，您可以使用 iTorch notebook 并打开decomposition.ipynb 。 贡献 叉它！ 创建您的功能分支： git checkout
pytorch对特征图使用PCA降维返回numpy数组
pp2373886592的博客
10-17 252
【代码】pytorch对特征图使用PCA降维返回numpy数组。
torch 和 numpy 中 flatten() 降维操作
FFTang的博客
11-29 2790
总结了 numpy 和 torch 中关于展平和压缩维度 操作的函数。
多特征降维 pytorch刘二 ，多参数变化
qq_48983365的博客
10-14 300
import numpy as np import torch xy = np.loadtxt(r"d:\diabetes.csv.gz",delimiter=',',dtype=np.float32) x_data = torch.from_numpy(xy[:,:-1]) y_data = torch.from_numpy(xy[:,[-1]]) class MoreModel(torch.nn.Module): def __init__(self): super(More
torch版本的降维和升维
aboy2018的博客
05-27 1万+
原文地址：http://www.mamicode.com/info-detail-2561432.html unsqueeze（arg）是增添第arg个维度为1，以插入的形式填充 squeeze（arg）是删除第arg个维度(如果当前维度不为1，则不会进行删除) ...
【scikit-learn】主成分分析（PCA)
12-30 1923
目录PCA步骤PCA优缺点实战主成分分析 (PCA)不同主成分个数对应的可解释方差分析(Explained Variance) PCA 主成分分析算法（PCA）是最常用的线性降维方法，它的目标是通过某种线性投影，将高维的数据映射到低维的空间中，并期望在所投影的维度上数据的信息量最大（方差最大），以此使用较少的数据维度，同时保留住较多的原数据点的特性。 PCA降维的目的，就是为了在尽量保证“信息量不丢失”的情况下，对原始特征进行降维，也就是尽可能将原始特征往具有最大投影信息量的维度上进行投影。将原特征投影到这
PCA(主成分分析) python实现
Roc-Ng的博客
04-26 3537
PCA(主成分分析) python实现 主要参考了吴恩达老师的UFLDL UFLDL 推导的话，建议先看吴恩达老师的UFLDL和CS229，然后的周志华老师的西瓜书感觉比较简略。Goodfellow的深度学习感觉是从另一个方面展开的，比较好玩。 实现部分的最后使用了sklearn库中的PCA做了简单的验证。效果图都在下面。 比较粗糙，欢迎指正！ # -*- coding: utf-8 -...
PCA （主成分分析）详解 （写给初学者） 结合matlab
热门推荐
saishangxue123的专栏
01-19 2万+
本文转自：http://hi.baidu.com/ifengzh/item/8851b6387aebefc4382ffa60 PCA （主成分分析）详解 （写给初学者） 结合matlab 一、简介         PCA（Principal Components Analysis）即主成分分析，是图像处理中经常用到的降维方法，大家知道，我们在处理有关数字图像处理方面的问题
深度学习torch之五（数据的预处理）
little_yan的博客
01-31 2245
因为自己也是一个初级小白学者，有很多的知识也是迷惑的，写博客一方面是为了和大家一起学习，另一方面的原因是想通过这种方式记录自己的学习历程，留下一些可以查看的轨迹。本内容主要是参考博客园中昵称为一只有恒心的小菜鸟的博客，我只是学习他所写内容的基础上做一下适合自己查看的笔记，希望对其他的童鞋能有所帮助。言归正传，本内容使用的数据集为SVHN,该数据集的介绍可以参考链接SVHN介绍： 1.先将用到的包
探索MDS数据降维算法的优势与应用
综上所述，本资源为数据科学领域提供了一种有效的数据降维算法——MDS。它通过保持数据点间的距离关系来揭示数据的内在结构，并且其应用范围广泛，尤其在数据分析和可视化方面具有独特的价值。同时，提供的文件列表...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值