https://github.com/heatMa

此图是OpenCV官方文档示例https://docs.opencv.org/3.4/d9/d0c/group__calib3d.html，很清晰。把相机平面坐标系下的点表示为极坐标（r,θ），则径向畸变表示径r变化δr，而切向变换表示角度θ变化δθ。也就是说,如果只传入4个参数，则是k1,k2,p1,p2，后面的参数都是0.r2)，x’‘>x’，去畸变后的图像会变大，为帧形畸变；假设只有k1，如果k1大于0，则x’’ = x’distCoeffs为k1,k2,k3,k4。畸变分为径向畸变和切向畸变。

lidar发射射线和camer类似，只需要根据世界坐标系下lidar原点的坐标和点云的坐标，就能确定一条射线了，沿这条射线采样点，真值是这条射线上真正扫描到的点。如patch设置为32x32,patch_scale设置为3，则先在原图上采样96x96大小的像素块，然后每隔三个取一个像素，降采样成32x32的块。采样方式是把全部帧的点云concate起来，每个点有个全局的序号和帧的idx，假设总点数为100万，采样时在0-100万之间随机生成N个随机数。因此两种render weight的方式是不同的。

非常值得学习的一篇文章，几乎把自动驾驶场景下所有的优化都加上了，并且也开源了。和Unisim做了对比，指出Unisim使用lidar指导采样的问题是lidar的垂直FOV有限，高处的东西打不到，使得lidar FOV外的效果不好。

该方法是Nvidia提出的，其亮点是不需要额外的2D、3Dbox先验，可以自动解耦动静field。

原始的NeRF每条光线上的点都要经过MLP的查询，才能得到其密度和颜色值，要查询的点非常多，而MLP的推理是比较耗时的。InstantNGP将空间划分成多个层级的体素（voxels），并且在每个体素内部使用神经网络来预测feature。而Plenoxels则干脆就不使用神经网络了，它直接在体素中存储场景的辐射亮度和密度信息。通过使用球谐函数（Spherical Harmonics）来近似每个体素内的光照分布，Plenoxels能够有效地压缩存储需求，同时保持高质量的渲染效果。

**神经辐射场（NeRF）**是一种基于深度学习的辐射场表示方法。它使用一个全连接的神经网络来学习场景的连续体积密度和颜色分布。网络输入是一个五维向量（空间位置的XYZ坐标和观察方向的θ和φ角度），输出是该点的RGB颜色值和体积密度。