SketchSplat: 3D Edge Reconstruction via Differentiable Multi-view Sketch Splatting

一、核心问题与创新点

问题背景

• 传统方法缺陷：
  现有方法（如LIMAP、EdgeGS）先重建3D边缘点集，再拟合参数化边缘（线/曲线）。此流程存在两大问题：
  1. 点集噪声导致拟合边缘断裂（图1b）
  2. 拟合过程脱离2D图像监督，导致3D边缘与多视角图像对齐不佳
• 关键需求：
  实现端到端的参数化边缘优化，确保3D边缘直接受2D图像约束，提升重建的完整性与准确性。

创新突破

• 可微草图溅射（Differentiable Sketch Splatting）：
  将3D边缘表示为参数化草图（线/曲线），通过可微渲染实现从3D参数到2D图像的梯度反传。
• 自适应拓扑控制：
  动态合并/过滤草图，解决冗余和断裂问题。
• 2DGS-SN边缘检测器：
  融合深度图与法向图梯度，提升边缘检测精度。

二、方法架构

1. 3D草图表示

• 几何参数：
  • 直线：2个端点坐标
  • 三阶贝塞尔曲线：4个控制点
• 属性参数：
  • 透明度
  • 局部尺度 （控制边缘厚度）
• 初始化：
  从EdgeGS输出提取初始草图，继承其完整覆盖性优势。

2. 可微优化流程

• 关键步骤：
  1. 采样：沿草图每5mm采样高斯点，继承草图属性 。
  2. 渲染：使用3DGS式溅射渲染（公式1），生成2D边缘图 。
  3. 损失函数：
     
  4. 梯度反传：通过自动微分更新草图几何参数 及属性 。

3. 自适应拓扑控制

• 端点合并：距离 < 10mm 的端点合并）。
• 重叠草图合并：覆盖率 > 80% 的草图合并。
• 共线草图合并：方向偏差 < 5° 且投影偏移 < 10mm 的直线合并。
• 草图过滤：训练后移除多视角不可见草图（>50%点不可见）。
• 作用：
  • 边缘数减少68%
  • 解决断裂问题

4. 2DGS-SN边缘检测器

• 设计原理：
  结合前景掩码 、深度图 、法向图 ，生成更鲁棒的边缘：
  
  • ：Sobel算子计算梯度
  • ：高斯滤波平滑边界