torch. decompose

`torch.decompose` 是 PyTorch 中的一个函数，用于对一个方阵进行特征值分解或奇异值分解。它可以将一个实对称方阵分解为特征值和特征向量，或者将一个非方阵分解为奇异值和奇异向量。特征值分解和奇异值分解在线性代数和数据分析中有广泛的应用。 特征值分解将方阵分解为特征值和特征向量的乘积，其中特征值表示方阵的特征，而特征向量表示特征对应的方向。奇异值分解将非方阵分解为奇异值和奇异向量的乘积，其中奇异值表示矩阵的奇异性，而奇异向量表示奇异值对应的方向。 在 PyTorch 中，`torch.decompose` 函数可以用于执行这两种分解。具体使用方法可以参考 PyTorch 的官方文档或相关教程。

这段代码实现了一系列与三维重建和视觉里程计相关的几何变换操作。以下是对每个函数的具体分析： ### 1. `skew_sym` 函数 这个函数将一个三维向量转换为对应的反对称矩阵（Skew-symmetric Matrix）。在李群和李代数中，这种矩阵常用于表示旋转向量。 ```python def skew_sym(x): b = x.shape[:-1] x, y, z = x.unbind(dim=-1) o = torch.zeros_like(x) return torch.stack([o, -z, y, z, o, -x, -y, x, o], dim=-1).view(*b, 3, 3) ``` #### 输入： - `x`: 形状为 `[batch_size, ..., 3]` 的张量，表示一批三维向量。 #### 输出： - 形状为 `[batch_size, ..., 3, 3]` 的张量，表示这批三维向量对应的反对称矩阵。 ### 2. `point_to_dist` 函数 计算点到原点的距离，并保持维度不变。 ```python def point_to_dist(X): d = torch.linalg.norm(X, dim=-1, keepdim=True) return d ``` #### 输入： - `X`: 形状为 `[batch_size, ..., 3]` 的张量，表示一批三维点。 #### 输出： - 形状为 `[batch_size, ..., 1]` 的张量，表示这些点到原点的距离。 ### 3. `point_to_ray_dist` 函数 将点投影到单位长度的方向向量上，并可选择性地返回雅克比矩阵。 ```python def point_to_ray_dist(X, jacobian=False): b = X.shape[:-1] d = point_to_dist(X) d_inv = 1.0 / d r = d_inv * X rd = torch.cat((r, d), dim=-1) # Dim 4 if not jacobian: return rd else: d_inv_2 = d_inv**2 I = torch.eye(3, device=X.device, dtype=X.dtype).repeat(*b, 1, 1) dr_dX = d_inv.unsqueeze(-1) * ( I - d_inv_2.unsqueeze(-1) * (X.unsqueeze(-1) @ X.unsqueeze(-2)) ) dd_dX = r.unsqueeze(-2) drd_dX = torch.cat((dr_dX, dd_dX), dim=-2) return rd, drd_dX ``` #### 输入： - `X`: 形状为 `[batch_size, ..., 3]` 的张量，表示一批三维点。 - `jacobian`: 布尔值，指示是否返回雅克比矩阵。 #### 输出： - 如果 `jacobian=False`，输出形状为 `[batch_size, ..., 4]` 的张量，其中前三个元素是方向向量，最后一个元素是距离。 - 如果 `jacobian=True`，额外返回雅克比矩阵。 ### 4. `constrain_points_to_ray` 函数 将深度图中的点约束到相机光线方向上。 ```python def constrain_points_to_ray(img_size, Xs, K): uv = get_pixel_coords(Xs.shape[0], img_size, device=Xs.device, dtype=Xs.dtype).view( *Xs.shape[:-1], 2 ) Xs = backproject(uv, Xs[..., 2:3], K) return Xs ``` #### 输入： - `img_size`: 图像尺寸 `(height, width)`。 - `Xs`: 形状为 `[batch_size, height, width, 3]` 的张量，表示深度图中的点。 - `K`: 相机内参矩阵。 #### 输出： - 形状为 `[batch_size, height, width, 3]` 的张量，表示约束后的点云。 ### 5. `act_Sim3` 函数 应用相似变换（Sim3）到点集，并可选择性地返回雅克比矩阵。 ```python def act_Sim3(X: lietorch.Sim3, pC: torch.Tensor, jacobian=False): pW = X.act(pC) if not jacobian: return pW dpC_dt = torch.eye(3, device=pW.device).repeat(*pW.shape[:-1], 1, 1) dpC_dR = -skew_sym(pW) dpc_ds = pW.reshape(*pW.shape[:-1], -1, 1) return pW, torch.cat([dpC_dt, dpC_dR, dpc_ds], dim=-1) # view(-1, mdim) ``` #### 输入： - `X`: 类型为 `lietorch.Sim3` 的对象，表示相似变换。 - `pC`: 形状为 `[batch_size, ..., 3]` 的张量，表示一批点。 - `jacobian`: 布尔值，指示是否返回雅克比矩阵。 #### 输出： - 如果 `jacobian=False`，输出形状为 `[batch_size, ..., 3]` 的张量，表示变换后的点。 - 如果 `jacobian=True`，额外返回雅克比矩阵。 ### 6. `decompose_K` 函数 分解相机内参矩阵 `K`，提取焦距和主点坐标。 ```python def decompose_K(K): fx = K[..., 0, 0] fy = K[..., 1, 1] cx = K[..., 0, 2] cy = K[..., 1, 2] return fx, fy, cx, cy ``` #### 输入： - `K`: 形状为 `[batch_size, 3, 3]` 的张量，表示相机内参矩阵。 #### 输出： - 四个标量张量：`fx`, `fy`, `cx`, `cy`，分别表示水平和垂直方向上的焦距以及图像中心的坐标。 ### 总结 这些函数共同实现了从二维图像坐标系到三维世界坐标系的转换，包括点的规范化处理、相似变换的应用及其雅克比矩阵的计算等。它们在视觉里程计（SLAM）、结构化光扫描以及其他三维重建任务中有广泛应用。通过这些函数，可以高效且精确地处理三维数据，特别是在实时应用场景中。