深度学习视频压缩与音乐情绪可视化框架探索

### 深度学习视频压缩与音乐情绪可视化框架探索 #### 深度学习视频压缩 在视频处理领域，利用人工智能技术生成视频是一个极具潜力的方向。通过从视频和源图像中提取少量信息并借助网络传输，有望实现视频的重建。 ##### 视频生成效果与量化处理 生成的视频大多与原始视频相似，但在质量上与AV1等编解码器相比存在一定不足。不过，从感知角度来看，生成视频与源视频较为接近。 在处理过程中采用了量化方法，即通过分割关键点值并截断最后几位数字，降低了关键点和仿射变换的精度，这对生成视频的质量产生了影响。不同的量化因子会导致不同的结果，研究发现，小于1000的10的幂，无论是用于关键点还是仿射变换张量，都会产生更明显的伪影。这些伪影通常在人物边缘，如肩膀或脸部较为明显，表现为人物边缘在帧中快速移动后又回到正确位置，类似“卡顿”现象。 为了在保证质量的前提下尽可能减小文件大小，最终选择了关键点量化因子为10000，变换量化因子为1000。虽然使用1000作为关键点量化因子也可行，但文件大小和质量的差异较小，因此更倾向于选择质量稍高的方案。通过MSU视频质量管理工具可以看到量化对图像的影响，尽管肉眼可能无法察觉，但该工具能显示出质量差异。 |量化因子选择|效果| | ---- | ---- | |关键点10000，变换1000|保留大部分质量，大幅减小文件大小| |关键点1000|文件大小和质量差异小，选择质量稍高方案| ##### 视频生成的局限性 在使用该技术时，需要了解其局限性。首先，软件在填充源图像中不可见的数据方面表现不佳。例如，当人物转头时，源图像中未包含的区域可能会出现，虽然会尝试通过着色或变形来填充这些信息，但效果并不理想，影响图像质量。 此外，生成器无法生成新信息，像移动背景、遮挡区域、转头或物体以及过度运动等情况，往往会导致输出视频效果不佳。因此，在选择合适的驱动视频时需要谨慎考虑。 背景移动会导致不仅移动部分变形，还可能使脸部变形，产生轻微扭曲，使脸部更不稳定且分散注意力。即使背景静止，生成器也可能无法清晰区分头部和背景的边界，导致背景有时会因头部运动而变形。 人物的面部表情需要清晰，轻微的嘴唇动作或眉毛移动可能无法被关键点检测器和生成器捕捉，导致输出帧中几乎看不到运动。眨眼动作也可能无法正确呈现，像素的移动并不像真正的眨眼。 头部转动角度过大，如接近90°，会导致面部位置错误，网络只能理解正面视图，会显示扭曲的正面帧。人物头部应覆盖大部分帧区域，最好居中并面向相机，否则面部特征可能无法正确检测