SOIT: 实例感知Transformer的端到端实例分割框架

SOIT（Segmentation with Object-aware Transformer，实例感知变压器实例分割框架）是一种创新的端到端解决方案，旨在简化和提升实例分割任务的性能。它受到了DETR（Detected Transformers for Object Recognition）模型的启发，将实例分割视为一个集预测问题，避免了传统的多步骤流程，如ROI（Region of Interest，兴趣区域）裁剪、一对多标签分配以及非极大值抑制（NMS）等复杂的后处理步骤。 在SOIT中，设计的核心是将物体的语义类别、边界框位置和像素级掩码作为一个整体进行并行处理。这得益于Transformer架构，它能够有效地捕捉全局图像上下文信息。物体类别被编码为固定长度的向量，而边界框则作为位置信息嵌入，这种设计使得Transformer能够直接处理全尺寸图像，无需进行ROI操作。特别是，像素级掩码通过一组参数化嵌入，构建出轻量级的实例感知Transformer，从而在保持精度的同时减少计算复杂度。 SOIT的独特之处在于它提供了一个单一阶段的实例分割框架，摆脱了ROI限制和NMS带来的复杂性。这种方法在实验中展示了在MSCOCO数据集上的显著优势，相对于现有的最先进的实例分割算法，它在性能上有所突破。同时，SOIT还支持多任务联合学习，通过统一查询嵌入的方式进一步提升了检测能力。 为了方便研究者和开发者复制和扩展这一成果，SOIT的源代码可以在[https://github.com/yuxiaodongHRI/SOIT](https://github.com/yuxiaodongHRI/SOIT)上获取。SOIT的研究不仅推动了实例分割技术的进步，也为未来的计算机视觉任务，尤其是那些追求效率和准确性的任务，提供了新的思考方向。