Andor等人的工作（2016年）介绍了一种基于全局归一化的基于转移的神经网络模型，该模型在自然语言处理（NLP）领域的重要任务，如词性标注、依存句法分析和句子压缩方面取得了先进的效果。他们提出的模型是一种简单的前馈神经网络，虽然没有使用任何循环结构，但能够达到与循环神经网络（RNNs）模型，尤其是长短期记忆（LSTM）网络相当甚至更好的准确率。
模型采用了一个基于转移的系统，这个系统最早由Nivre（2006）提出，并采用了Chen和Manning（2014）引入的特征嵌入方法。Andor等人的模型并未使用递归结构，而是采用了束搜索（beam search）以维护多种假设，并引入了条件随机场（CRF）目标函数来进行全局归一化，以此克服了局部归一化模型所受的标签偏差问题。在实施束推理时，他们通过在束内的元素上求和来近似计算分区函数，并使用早期更新策略（Collins和Roark，2004；Zhou等人，2015）。
这篇工作深入探讨了局部归一化模型相对于全局归一化模型的表达能力上的不足。作者通过新颖的证明展示了标签偏差问题的本质，并指出全局归一化模型相较于局部归一化模型具有更严格的表达能力。这在当时对理解全局归一化与局部归一化在深度学习模型中的作用提供了新的视角。
Andor等人（2016）的成果对NLP领域的后续研究产生了重要影响。其关键贡献在于展示了即使是最基本的前馈神经网络，在适当的正则化和归一化技术下，也可以达到或超过更为复杂的循环神经网络的性能。这不仅对于理论研究而言是一个重要发现，而且对于工业界和工程实践中的模型设计有着重大意义，因为它简化了模型结构，并可能降低了实现和维护的成本。
在技术细节方面，他们提出的模型在操作层面上使用了具有全局归一化的简单前馈神经网络。与常规的局部归一化模型不同，这种全局归一化机制通过条件随机场（CRF）目标函数，考虑了所有可能的输出序列，这有助于缓解局部归一化下可能发生的标签偏差问题，从而使模型在处理任务时更加鲁棒和准确。
Andor等人还展示了他们的模型如何通过束搜索算法在多个假设之间进行权衡，并保持对全局最优解的搜索。这一点对于处理诸如自然语言这样复杂的数据集尤其重要，因为这种数据往往包含大量歧义和不同的合法结构。通过束搜索，模型能够在复杂决策空间中有效地定位出具有最高概率的解决方案。
全局归一化和局部归一化的概念是深度学习和统计学习领域中的核心概念。局部归一化通常用于简单的模型或算法中，只考虑了单个数据点或局部决策路径，而全局归一化则考虑了整个数据集的概率分布。Andor等人提出的这种方法强调了在模型设计中合理地选择归一化策略的重要性，即使是最简单的模型，采用正确的归一化也可以显著提高性能。
在实现方面，作者还展示了如何有效地计算梯度和进行早期更新，这是在训练具有复杂结构的神经网络时不可或缺的。通过早期更新，他们能够在整个训练过程中维持模型的稳定性并提高学习效率。这一策略在训练大规模深度学习模型时尤其有用，因为它可以加速收敛，并降低计算成本。
Andor等人的研究在当时是一种创新性的突破，因为它挑战了NLP社区的普遍假设，即复杂的循环网络在处理语言任务方面是必不可少的。他们的方法表明，在一些情况下，即使是较为简单且易于训练的前馈网络，只要适当地设计和归一化，也能达到与复杂模型相媲美的性能。
