26、感知机相关分析与计算

感知机相关分析与计算

1. 加德纳分析

在这部分内容中，我们主要对淬火熵 (S = \langle\langle\ln \varPhi(\boldsymbol{\xi}^{\mu}, \mathbf{T})\rangle\rangle_{\boldsymbol{\xi}^{\mu},\mathbf{T}}) 进行详细计算。这里涉及一个具有 (N) 个输入的球形感知机 (\mathbf{J})，它由随机示例 (\boldsymbol{\xi}^{\mu})（(\mu = 1, \cdots, p = \alpha N)）进行训练，这些示例由一个具有耦合向量 (\mathbf{T}) 的随机球形教师感知机进行分类。

我们考虑以下概率分布：
- 示例分量 (\xi_{i}^{\mu}) 的概率分布：(P_{\boldsymbol{\xi}}(\boldsymbol{\xi}^{\mu}) = \prod_{i}\left(\frac{1}{2}\delta(\xi_{i}^{\mu} + 1) + \frac{1}{2}\delta(\xi_{i}^{\mu} - 1)\right))
- 教师耦合向量 (\mathbf{T}) 的概率分布：(P_{\mathbf{T}}(\mathbf{T}) = (2\pi e)^{-\frac{N}{2}}\delta(\mathbf{T}^{2} - N))

通过复制技巧，我们将 (\langle\langle\ln \varPhi(\boldsymbol{\xi}^{\mu}, \mathbf{T})\rangle\rangle_{\boldsymbol{\xi}^{\mu},\mathbf{T}}) 与 (\langle