16、语音处理中的新型深度架构

语音处理中的新型深度架构

在语音处理领域，新型深度架构的研究对于提高语音处理的性能至关重要。本文将介绍几种新型深度架构，包括基于信念传播的架构、深度非负矩阵分解以及多通道深度展开等。

1. 特殊结构的Sigmoid网络

Sigmoid网络具有特殊的结构，其激活函数可以表示为：
[
\mathbf{\pi} k = \text{logistic}(\mathbf{A}_k\mathbf{\pi} {k - 1} + \mathbf{b} k + \mathbf{C}_k\mathbf{v})
]
其中，(\mathbf{\pi}_k) 是第 (k) 层的激活向量，(\mathbf{\pi} {k,i} = q_k(h_i = 1))。这种结构是将模型展开的结果，输入连接到所有层。为了模拟传统的Sigmoid网络，即第一层仅依赖输入，后续层仅依赖前一层，我们可以让 (c_{k,i,l}) 仅在 (k = 0) 时非零，同时将初始分布 (\mathbf{\pi} {k = 0,i}) 和相关权重 (\mathbf{a} {k = 1,i,j}) 设为零，并放松约束 (a_{k,i,i} = 0)。

传统的前馈Sigmoid网络也可以通过从深度的层状二进制马尔可夫随机场（MRF）开始，进行一次从输入到最后一层的平均场更新来简单推导得出。这对应于我们框架中MRF结构和更新调度的一个特殊情况。对于给定的传统神经网络，我们可以有两种不同的解释方式，要么将其视为与神经网络结构相同的MRF中的近似平均场（MF）推理，要么将其视为具有更紧凑结构的模型的深度展开。

当我们有了对