Memoryaugmented Neural Networks

最新推荐文章于 2024-12-22 03:05:51 发布

AI天才研究院

最新推荐文章于 2024-12-22 03:05:51 发布

阅读量713

点赞数 1

CC 4.0 BY-SA版权

分类专栏： AI人工智能与大数据深度学习实战文章标签：自然语言处理人工智能语言模型编程实践开发语言架构设计

本文链接：https://blog.csdn.net/universsky2015/article/details/132383365

AI人工智能与大数据同时被 2 个专栏收录

38321 篇文章 ¥69.90 ¥99.00

订阅专栏

超级会员免费看

深度学习实战

3608 篇文章 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

本文详细介绍了Memory-augmented Neural Network(MANN)的组成，包括controller和memory network，并探讨了MANN如何应用于序列任务。接着，文章对比了MASS和BERT，提出了BERT-MASS模型，该模型结合了BERT与MANN，能够处理长文本，具有训练速度快、适应性强的特点。BERT-MASS模型的计算流程、架构和数学公式进行了详尽的解释，包括Memory-Network Module的Controller、Memory Write和Read Module。最后，文章讨论了BERT-MASS的优缺点和应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

作者：禅与计算机程序设计艺术

1.简介

Memory-augmented Neural Network(MANN)

MANN由两个组件组成: controller和memory network。controller负责产生memory matrix，它会根据input的history，通过计算得到当前应该存储哪些信息。memory network则用来存储这些信息，并对新的input进行编码。两者相互作用，共同完成对input的建模。

上图展示了MANN结构中的controller及其对应memory network。在训练过程中，基于之前的输入history，controller将生成一个memory matrix。memory network接收到controller生成的matrix，然后利用自学习的方式存储历史数据，并根据新输入进行编码。编码后的信息可以送入后续的任务中。MANN除了能够解决序列型的问题外，还可以应用于多种场景下，比如图片分类、目标检测、语言模型等。