深度学习之表示学习 - 半监督解释因果关系篇

序言

在深度学习的广阔领域中，表示学习（$\text{Representation Learning}$）与半监督学习（$\text{Semi-supervised Learning}$）是两大核心研究方向，它们不仅深刻影响着模型的性能与泛化能力，还在探索数据的内在结构与因果关系上展现出巨大潜力。表示学习旨在通过深度学习模型从原始数据中自动提取出有效的特征表示，这些表示能够简化问题复杂度，提高模型的学习效率与准确性。而半监督学习则巧妙地将有标签数据与无标签数据结合，利用有限的标注信息指导模型从大量未标注数据中学习，从而在数据稀缺的情况下获得更好的性能。

半监督解释因果关系

• 表示学习的一个重要问题是 ‘‘什么原因能够使一个表示比另一个表示更好？ ”

  • 一种假设是，理想表示中的特征对应到观测数据的潜在成因，特征空间中不同的特征或方向对应着不同的原因，从而表示能够区分这些原因。
  • 这个假设激励我们去寻找表示 $p(\mathbf{x})$ 的更好方法。
  • 如果 $\mathbf{y}$ 是 $\mathbf{x}$ 的重要成因之一，那么这种表示也可能是计算 $p(\mathbf{y}\mid \mathbf{x})$ 的一种良好表示。
  • 从至少 $20$ 世纪 $90$ 年代以来，这个想法已经指导了大量的深度学习研究工作 ($\text{Becker and Hinton, 1992; Hinton and Sejnowski, 1999}$)。
  • 关于半监督学习可以超过纯监督学习的其他论点，请读者参考$\text{Chapelle et al. (2006b)}$的第 $1.2$ 节。

• 在表示学习的其他方法中，我们大多关注易于建模的表示——例如，数据稀疏或是各项之间相互独立的情况。

  • 能够清楚地分离出潜在因素的表示可能并不一定易于建模。
  • 然而，该假设的激励半监督学习使用无监督表示学习的一个更深层原因是，对于很多人工智能任务而言，有两个相随的特点：一旦我们能够获得观察结果基本成因的解释，那么将会很容易分离出个体属性。
  • 具体来说，如果表示向量$\mathbf{h}$ 表示观察值 $\mathbf{x}$ 的很多潜在因素，并且输出向量 $\mathbf{y}$ 是最为重要的原因之一，那么从$\mathbf{h}$ 预测 $\mathbf{y}$ 会很容易。

• 首先，让我们看看 $p(\mathbf{x})$ 的无监督学习无助于学习 $p(\mathbf{y}\mid \mathbf{x})$ 时，半监督学习为何失败。

  • 例如，考虑一种情况， $p(\mathbf{x})$ 是均匀分布的，我们希望学习 $f(\mathbf{x})=$