DeepMind & UCL 推出新的推理模型和测试集

侦探大师可能会检查丢弃在烟灰缸中的香烟和翻领上的一缕头发，然后宣布他们已经解决了谋杀案。这些惊人的结论是通过推理得出的，推理是一种微妙而独特的人类技术，可以根据看似不同或遥远的物品和事件之间的联系形成预测。推理是当今神经网络研究人员的热门话题，但即使是SOTA模型仍然难以实现良好的性能。

现在，DeepMind和伦敦大学学院（UCL）推出了一个名为MEMO的新深度网络，它将Facebook的bAbI数据集上的SOTA结果相匹配，用于测试文本理解和推理，并且是第一个也是唯一一个能够解决长序列新推理任务的架构。

由于bAbI训练集和测试集之间的高度相似性，神经网络可以通过过拟合产生不可靠的结果。因此，研究人员引入了一项名为配对联想推理（PAI）的新任务，该任务基于神经科学文献，旨在测试长距离推理。

PAI完全是程序生成的，因此神经网络需要学习单个项目之间的间接关系。PAI 显示图像对，模型尝试将单独配对的两个图像与公共图像相关联。

配对关联推理

与其他使用固定内存表示的端到端内存网络（EMN））等内存增强架构不同，MEMO在具有完整细节的内存剪辑上学习线性投影与强大的循环注意力机制配对。基于与EMN相同的基本结构，MEMO设计了新的架构组件以支持推理推理。

在 REMERGE 模型中（重新出现和情节记忆导致泛化），检索到的内存被视为一个新查询，进入网络再循环过程以查找与现有内存的匹配项。该网络考虑在再循环过程中不同时间步检索的内容之间的差异，以稳定到一个固定点。

受REMERGE和自适应计算时间（ACT）的启发，研究人员使用强化（一类用于连接主义网络的关联强化学习算法）训练MEMO，以确定计算步骤的最佳数量，从而在不牺牲性能的情况下最大限度地减少所需的计算。

在实验中，研究人员在PAI推理查询集上测试了MEMO与SOTA架构EMN，差分神经计算机（DNC）和通用变压器（UT）。MEMO在所有