【光流】——《GMFlow: Learning Optical Flow via Global Matching》基于全局匹配的光流估计算法可视化

### SPyNet 光流可视化的实现方法 SPyNet 是一种基于深度学习的光流估计框架，其核心在于通过空间金字塔结构来高效地捕捉不同尺度下的像素运动[^3]。为了实现 SPyNet 的光流可视化，通常需要以下几个方面的技术支持： #### 1. **数据准备** 需要一组连续的视频帧作为输入。这些帧可以通过摄像头采集或者从现有的视频文件中提取。对于每一对相邻帧 \(I_1\) 和 \(I_2\)，SPyNet 能够预测它们之间的光流场。 #### 2. **加载预训练模型** 使用 PyTorch 或其他深度学习框架加载 SPyNet 的预训练权重。这一步骤非常重要，因为 SPyNet 的性能依赖于经过充分训练的参数集合[^2]。 ```python import torch from models.spynet import SpyNet # 假设这是 SPyNet 的定义模块 model = SpyNet() pretrained_weights_path = 'path_to_pretrained_spynet.pth' state_dict = torch.load(pretrained_weights_path, map_location=torch.device('cpu')) model.load_state_dict(state_dict) model.eval() # 设置为评估模式 ``` #### 3. **前向传播获取光流** 输入两个连续帧到 SPyNet 中，得到对应的光流张量。该张量表示了每一像素在两帧之间移动的方向和大小。 ```python def estimate_optical_flow(frame1, frame2): with torch.no_grad(): flow_tensor = model(frame1.unsqueeze(0), frame2.unsqueeze(0)) return flow_tensor.squeeze().numpy() frame1_tensor = preprocess_frame(frame1) # 自定义预处理函数 frame2_tensor = preprocess_frame(frame2) optical_flow = estimate_optical_flow(frame1_tensor, frame2_tensor) ``` #### 4. **光流可视化** 获取到的光流是一个二维矢量场，其中每个位置对应一个 (u,v) 向量，分别代表水平方向和垂直方向上的位移。常见的可视化方式包括颜色编码法（Color Coding）以及箭头图（Quiver Plot）。以下是两种主要的实现方法： ##### （1）**颜色编码法** 利用 HSV 色彩空间将光流向量映射成彩色图像。这种方法能够直观展示光流的方向和强度[^1]。 ```python import cv2 import numpy as np def visualize_color_coding(flow_uv): h, w = flow_uv.shape[:2] hsv_image = np.zeros((h, w, 3), dtype=np.uint8) mag, ang = cv2.cartToPolar(flow_uv[..., 0], flow_uv[..., 1]) hsv_image[..., 0] = ang * 180 / np.pi / 2 # 方向 -> 色相 hsv_image[..., 1] = 255 # 饱和度固定为最大值 hsv_image[..., 2] = cv2.normalize(mag, None, 0, 255, cv2.NORM_MINMAX) # 大小 -> 明亮度 bgr_image = cv2.cvtColor(hsv_image, cv2.COLOR_HSV2BGR) return bgr_image color_coded_flow = visualize_color_coding(optical_flow) cv2.imshow('Optical Flow Visualization', color_coded_flow) cv2.waitKey(0) ``` ##### （2）**箭头图** 对部分采样点绘制带有方向的箭头线段，适合观察局部区域内的运动趋势。 ```python import matplotlib.pyplot as plt def plot_quiver(flow_uv, step=10): u = flow_uv[::step, ::step, 0] v = flow_uv[::step, ::step, 1] y_coords, x_coords = np.mgrid[0:flow_uv.shape[0]:step, 0:flow_uv.shape[1]:step] fig, ax = plt.subplots(figsize=(7, 7)) q = ax.quiver(x_coords, y_coords, u, v, angles='xy', scale_units='xy', scale=1) ax.set_aspect('equal') plt.show() plot_quiver(optical_flow) ``` --- ### 总结 上述过程展示了如何利用 SPyNet 进行光流估计并将其结果转换为可理解的形式。无论是采用颜色编码还是箭头图的方式，都可以帮助研究者更好地分析视频序列中的动态变化特性。