手撕bevformer

### BEVFormer 源码解析及实现细节 #### 1. 核心原理概述 BEVFormer 是一种基于鸟瞰图（Bird's Eye View, BEV）的感知框架，其核心在于通过多视角图像输入构建统一的 BEV 表示。为了完成这一目标，BEVFormer 使用了一种 Transformer 结构来融合来自不同摄像头的信息，并将其映射到 BEV 坐标系下。 在实际应用中，BEVFormer 将 H×W×C 的三维张量定义为查询网格（Query Grid），这些查询表示 BEV 空间中的特征点[^1]。在将这些查询传递给网络之前，会为其附加可学习的位置编码（Positional Encoding）。这种设计使得模型能够更好地捕捉空间信息并逐步优化 BEV 查询的值。 #### 2. Encoder 实现分析 Encoder 部分的主要作用是对 BEV Queries 进行初始化和初步处理。具体来说： - **初始化参数** 在 Encoder 初始化阶段，`bev_queries` 被创建用于存储 BEV 特征，而 `bev_pos` 则记录了每个 Query 的位置信息[^2]。此外，还计算了一些辅助变量如 `pc_range`（坐标范围）、`real_w` 和 `real_h`（物理世界宽度和高度的实际分辨率）。 - **PerceptionTransformer** PerceptionTransformer 是整个 Encoder 的核心组件，负责跨视图注意力机制的学习过程。它接收多个摄像头拍摄的二维图像作为输入，并利用自注意机制提取全局上下文信息。最终输出的结果会被投影回 BEV 平面以供后续解码器使用。 以下是部分代码片段展示如何设置初始状态： ```python import torch.nn as nn class BEVFormer(nn.Module): def __init__(self, embed_dims=256, num_bev_queue=3, ...): super(BEVFormer, self).__init__() # 创建 BEV Queries 及对应位置编码 self.bev_queries = nn.Parameter(torch.zeros(num_bev_query, embed_dims)) self.bev_pos = nn.Parameter(self.init_bev_position(real_w, real_h)) def init_bev_position(self, w, h): """生成 BEV Queries 所需的位置编码""" grid_length_x = (w - 1) / w * (pc_range[3] - pc_range[0]) grid_length_y = (h - 1) / h * (pc_range[4] - pc_range[1]) xs = ((torch.arange(w).float() + 0.5) / w * grid_length_x + pc_range[0]).view(-1, 1).repeat(1, h) ys = ((torch.arange(h).float() + 0.5) / h * grid_length_y + pc_range[1]).repeat(w, 1) pos_grid = torch.cat([xs.unsqueeze(dim=-1), ys.unsqueeze(dim=-1)], dim=-1) return pos_grid.flatten(start_dim=0, end_dim=1) ``` #### 3. Decoder 实现分析 Decoder 主要承担预测任务的功能，例如检测框回归或分类标签估计。它的结构通常由若干层堆叠而成，每层都包含交叉注意力模块以及前馈神经网络（FFN）。 下面是一个简化版本的 Decoder 层次逻辑说明： ```python def forward_decoder_layer(self, query, key_padding_mask=None, reference_points=None): """ 单个 Decoder Layer 的正向传播函数 参数: - query: 当前时刻的 BEV Queries - key_padding_mask: 关键字掩码矩阵 - reference_points: 注意力参考点列表 返回: 输出经过一层操作后的更新 Query """ # Cross Attention Step cross_attn_output = self.cross_attention(query=query, key=key, value=value, reference_points=reference_points, spatial_shapes=self.spatial_shapes, level_start_index=self.level_start_index)[0] # Add & Norm Operation After Cross Attn output = self.norm1(cross_attn_output + query) # Feed Forward Network Processing ffn_output = self.ffn(output) # Final Output Combination via Residual Connection and Normalization final_output = self.norm2(ffn_output + output) return final_output ``` #### 4. 整体流程总结 综上所述，BEVFormer 的工作流可以分为以下几个方面： - 数据预处理：读取相机内外参、校准文件等内容； - 编码阶段：借助 Encoder 提取出场景级语义特征； - 解码阶段：运用 Decoder 对感兴趣的目标进行精确定位与属性推断； - 后续评估指标统计等环节则依据具体应用场景定制化开发。 ---