Convolutional Pose Machines

最新推荐文章于 2022-06-12 19:40:31 发布
最新推荐文章于 2022-06-12 19:40:31 发布
阅读量1.4k 收藏 6
点赞数 2
CC 4.0 BY-SA版权
分类专栏： deep-learning joint 深度学习 人体姿态 文章标签： CPM deep-learning joint 深度学习 人体姿态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_30096641/article/details/77290151
本文介绍了一种基于深度学习的人体姿态分析方法——卷积姿态机（CPM）。该方法通过构建多个全卷积网络（FCN）预测身体部位热力图，并采用中间监督策略优化梯度消失问题，在MPII竞赛中取得优异成绩。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

本论文将深度学习应用于人体姿态分析，同时用卷积图层表达纹理信息和空间信息。目前在2016年的MPII竞赛中名列前茅。作者在github提供了训练和测试源码。 

convolutional pose machines, CVPR 2016.

论文：http://arxiv.org/abs/1602.00134

project：https://github.com/shihenw/convolutional-pose-machines-release

网络结构

framework


整个framework还是比较清晰的，从构建多个FCN网络来预测part/joint的heat maps，多个FCN就构成了convolutional pose machines（CPM）。

自然而然地满足了CPM得multi-loss的joint training，而且stage越往前的objective还起到解决梯度弥漫的作用，以及自然而然地提高CPM的感受野。

网络输入彩色图像。每个阶段都能输出各个部件的响应图，使用时以最后一个阶段的响应图输出为准。 

center map是一个提前生成的高斯函数模板，用来把响应归拢到图像中心。 


第一阶段（对应论文3.2.1）

第一阶段是一个基本的卷积网络 ，从彩色图像直接预测每个部件的响应。


第二阶段（对应论文3.2.1）

第二阶段也是从彩色图像预测各部件响应，但是在卷积层中段多了一个串联层。共三个数据：
-纹理特征 ---- 阶段性的卷积结果 ；     
- 空间约束----前一阶段各部件响应；
- 中心约束；
串联后的结果尺寸不变；

第三阶段

第三阶段不再使用原始图像为输入，而是从第二阶段的中途取出一个 深度为X的特征图 （feature image）作为输入。同样使用串联层综合三种因素：纹理特征+空间特征+中心约束。 

第四阶段以后


第四阶段结构和第三阶段完全相同。在设计更复杂的网络时（例如全身模型），只需调整部件数量，并重复第三阶段结构即可。 

训练

数据扩展

为了丰富训练样本，对原始图片进行随机旋转缩放镜像。

标定

姿态数据集中标定的是各个部件的位置，可以通过在每个关键点的真实位置上放置一个高斯响应，来构造响应图的真值。

中继监督优化

如果直接对整个网络进行梯度下降，输出层的误差经过多层反向传播会大幅减小，即发生vanishing gradients现象。

为解决此问题，本文 在每个阶段的输出上都计算损失 。这种方法称为 intermediate supervision ，可以保证底层参数正常更新。
 训练时，初始化参数随机设定。

中继监督的效果


上图示出有中继监督（黑色）和无中继监督（红色）情况下，各层梯度的分布情况。 在无中继监督时，顶层梯度分布较均匀，而底层梯度都集中0附近，几乎无法更新网络。 有中继监督时，各层梯度分布情况良好，网络能够随着训练正常更新。

实验效果




结果可视化



Convolutional Pose Machine - 卷积姿态网络
mpsk的博客
03-12 1万+
Convolutional Pose Machine - 卷积姿态网络 论文主要解决 单人单目 RGB图像姿态估计问题。本篇论文也是现在非常火热的openpose开源项目的核心之一，这篇来自CMU的论文为单人姿态估计方面研究注入新的思路。论文网址 Convolutional Pose Machine 大家可以下载原文。 Convolutional Pose Machine - ...
论文翻译与原理理解：Convolutional Pose Machines
sunnyblogs的博客
01-06 763
网络结构 这篇论文是著名的openpose的前身。文章的网络结构如下： 图（a）和（b）所示是姿态机(pose machine )的工作原理，相应的卷积网络如图（c）和（d）所示。 图（a）和（c）展示了在第一阶段（stage 1）只对图像特征进行操作的结构。图（b）和（d）显示了后续stage（2~T）的结构，这两个stage同时对图像features和前一阶段的belief map（信念图）进行操作。（b）和（d）中的架构在所有后续阶段（2到T）中重复。在每个阶段之后，使用中间损耗层对网络进行局部监督
论文学习- Convolutional Pose Machines 卷积位姿机
backer
10-29 2228
Abstract Pose Machines提供了一个顺序预测框架，用于学习丰富的隐式空间模型。在这项工作中，我们展示了如何将卷积网络结合到用于学习图像特征的姿势机器框架和用于姿势估计任务的图像相关空间模型的系统设计。本文的贡献是隐式地模拟结构化预测任务中变量之间的长程依赖关系，例如关节姿态估计。我们通过设计一个由卷积网络组成的顺序架构来实现这一目标，该卷积网络直接在前一阶段的信念图上运行，为部...
READING NOTE: Convolutional Pose Machines
joshua_1988
12-27 1348
TITLE: Convolutional Pose Machines
convolutional pose machines
十年磨一剑
11-04 314
该篇文章主要用来估计Joint的位置 贡献在于用了ψt>1\psi_{t>1}ψt>1​ capture spatial context across all stages 值得注意的句子 the magnitude of back-propagated gradients decreases in strength with the number of intermediat...
深度学习论文课程-全英文（高级） Convolutional Pose Machines CVPR2015-CasCNN等论文课程内容
最新发布
03-22
姿态机提供了一种用于学习丰富隐式空间模型的顺序预测框架。在这项工作中，我们展示了如何将卷积网络系统地融入姿态机框架，以学习图像特征和图像相关的空间模型，从而完成姿态估计任务。本文的贡献在于隐式地对诸如...
convolutional pose machines, CVPR 2016
热门推荐
_menglan_Zi
07-31 1万+
convolutional pose machines, CVPR 2016. 论文：http://arxiv.org/abs/1602.00134 project：https://github.com/shihenw/convolutional-pose-machines-release ===== 看到这篇论文，心里还是有点难受的，当初做pose的毕设时，为什么就不参考下这篇掉渣天的论
convolutional pose machines 论文解读
JerryZhang__的博客
07-27 1463
paper title: convolutional pose machines paper link: https://arxiv.org/abs/1602.00134 oral or demo video：https://www.youtube.com/watch?v=L9Z8ijMfCCM https://www.youtube.com/watch?v=EOKfMpGLGdY project...
Python-ConvolutionalPoseMachines的Tensorflow实现这是用于2D身体和手部姿势估计的最先进模型之一
08-10
Convolutional Pose Machines的Tensorflow实现，这是用于2D身体和手部姿势估计的最先进模型之一
【人体姿态估计1】Convolutional Pose Machines_2016
呆呆的猫的博客
03-14 1887
文章目录1. Introduction 该论文展示了如何将卷积网络嵌入到人体姿态估计框架中，来学习图像特征和与图像无关的空域特征。 贡献点： 使用序列化的卷积结构来表达图像信息和空间信息。 序列化的卷积结构表现在网络分为多个阶段，每个阶段都有监督训练的部分，前面阶段使用原始图片作为输入，后面阶段使用之前阶段的特征图作为输入，产生对局部位置越来越精细的估计。主要是为了融合空间信息，纹理信息和中心约束...
Convolutional Pose Machine总结
Well~
06-28 1万+
Convolutional Pose Machine总结 目录 Convolutional Pose Machine总结 目录 Convolutional Pose Machine简介 算法详细分析 算法流程(使用阶段而非训练阶段) 创新点 数据集 效果展示 相关资料 博客 github Convolutional Pose Machine简介 Con...
【Pose】Convolutional Pose Machines
Arron_hou的博客
06-02 655
【Pose】Convolutional Pose Machines3.1 Method3.2 Convolutional Pose Machines：3.2.1 Keypoint Localizaton Using Local Image Evidence3.2.2 Sequential Prediction with Learned Spatial Context Features算法流程使用阶...
Convolution Pose Machines (CPM)
Matthew技术小站
03-08 614
https://arxiv.org/pdf/1602.00134.pdf CPM基本上可以算是第一个end-to-end的单人姿态全卷积神经网络（同时期还有个Hourglass，两者时间差不多）。CPM是在之前PM(Pose Machines)基础上，加入卷积神经网络得到，CPM整体流程如下所示： （a）和（b）就是PM中的结构，（c）（d）则是CPM对应（a）（b）做的改进。CPM分为多个sta...
《人体姿态估计》经典文章回顾1：Convolutional Pose Machine
wqthaha的专栏
06-12 660
这篇文章展示了一个姿态估计的系统设计，如何将卷积网络整合到pose机中以学习图像特征和图像相关的空间模型。
论文阅读：《Convolutional Pose Machines》CVPR 2016
DRACOYU的博客
12-17 772
        概述 本文使用CNN进行人体姿态估计，它的主要贡献在于使用顺序化的卷积架构来表达空间信息和纹理信息。顺序化的卷积架构表现在网络分为多个阶段，每一个阶段都有监督训练的部分。前面的阶段使用原始图片作为输入，后面阶段使用之前阶段的特征图作为输入，主要是为了融合空间信息，纹理信息和中心约束。另外，对同一个卷积架构同时使用多个尺度处理输入的特征和响应，既能保证精度，又考虑了各部件之...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值