门控跳跃（Gated Skip Connection）的详解

门控跳跃（Gated Skip Connection）是深度学习中一种动态控制信息流动的技术，通过可学习的门控信号调整特征传递路径，解决梯度消失、特征冗余等问题。其核心在于选择性融合跨层信息，在提升模型表达能力的同时保持训练稳定性。以下从原理、类型、应用三个维度系统解析：

一、核心原理：动态信息调控

1. ​门控机制的本质​

• ​数学表达​：
  y=T⋅F(x)+(1−T)⋅x
  • x：输入特征
  • F(x)：非线性变换（如卷积层）
  • T：门控信号（范围 [0,1]），由 Sigmoid 激活生成。
• ​作用​：
  • T→1：强化当前层特征 F(x)；
  • T→0：保留原始输入 x（恒等映射）。

2. ​门控信号生成​

• 通过子网络（如全连接层、1×1 卷积）学习输入相关的权重：

  # PyTorch 示例：门控信号生成
  gate =