paddle与pytorch框架multheadattention对齐

【相关推荐】

• 这篇文章：paddle和pytorch api对比 也许有你想要的答案，你可以看看
• 除此之外, 这篇博客: paddle与pytorch编程的一点感悟中的 pytorch 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
  

  编程过程同样一般如下：

  1. 数据准备：一般包含认知数据，从文件中加载数据，打乱数据归一化等数据预处理，使用 torch.utils.data.DataLoader导入。
  2. 网络配置：一般包括，网络搭建（继承nn.Module，网络结构，定义前向传播），实例化，定义损失函数和优化器。
  3. 网络训练：一般包括，前向传播求输出和损失，使用损失反向传播和优化器，打印相关loss信息和保存模型等等。（通过torch.utils.data.DataLoader导入的数据一般直接可以在训练时用枚举函数enumerate取出）
  4. 网络预测：一般包括，数据预处理，输入模型开始预测。
     可以看出，使用pytorch更符合我们推导数据处理以及正反向传播的一般思路。

如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^