File tree Expand file tree Collapse file tree 1 file changed +3
-3
lines changed
chapter_programming_interface Expand file tree Collapse file tree 1 file changed +3
-3
lines changed Original file line number Diff line number Diff line change @@ -94,7 +94,7 @@ Transformer又是BERT模型架构的重要组成。随着深度神经网络的
9494
9595### 神经网络层的实现原理
9696
97- 2 .3.1中使用伪代码定义了一些卷积神经网络接口和模型构建过程,整个构建过程需要创建训练变量和构建连接过程。随着网络层数的增加,手动管理训练变量是一个繁琐的过程,因此2 .3.1中描述的接口在机器学习库中属于低级API。机器学习编程库大都提供了更高级用户友好的API,它将神经网络层抽象出一个基类,所有的神经网络层都继承基类来实现,如MindSpore提供的mindspore.nn.Cell;PyTorch提供的torch.nn.Module。基于基类他们都提供了高阶API,如MindSpore 提供的mindspore.nn.Conv2d、mindspore.nn.MaxPool2d、mindspore.dataset;PyTorch提供的torch.nn.Conv2d、torch.nn.MaxPool2d、torch.utils.data.Dataset。
97+ 3 .3.1中使用伪代码定义了一些卷积神经网络接口和模型构建过程,整个构建过程需要创建训练变量和构建连接过程。随着网络层数的增加,手动管理训练变量是一个繁琐的过程,因此3 .3.1中描述的接口在机器学习库中属于低级API。机器学习编程库大都提供了更高级用户友好的API,它将神经网络层抽象出一个基类,所有的神经网络层都继承基类来实现,如MindSpore提供的mindspore.nn.Cell;PyTorch提供的torch.nn.Module。基于基类他们都提供了高阶API,如MindSpore 提供的mindspore.nn.Conv2d、mindspore.nn.MaxPool2d、mindspore.dataset;PyTorch提供的torch.nn.Conv2d、torch.nn.MaxPool2d、torch.utils.data.Dataset。
9898
9999 :numref:` model_build ` 描述了神经网络构建过程中的基本细节。基类需要初始化训练参数、管理参数状态以及定义计算过程;神经网络模型需要实现对神经网络层和神经网络层参数管理的功能。在机器学习编程库中,承担此功能有MindSpore的Cell、PyTorch的Module。Cell和Module是模型抽象方法也是所有网络的基类。现有模型抽象方案有两种,一种是抽象出两个方法分别为Layer(负责单个神经网络层的参数构建和前向计算),Model(负责对神经网络层进行连接组合和神经网络层参数管理);另一种是将Layer和Model抽象成一个方法,该方法既能表示单层神经网络层也能表示包含多个神经网络层堆叠的模型,Cell和Module就是这样实现的。
100100
@@ -112,7 +112,7 @@ Transformer又是BERT模型架构的重要组成。随着深度神经网络的
112112
113113### 自定义神经网络层
114114
115- 2 .3.1中使用伪代码定义机器学习库中低级API,有了实现的神经网络基类抽象方法,那么就可以设计更高层次的接口解决手动管理参数的繁琐。假设已经有了神经网络模型抽象方法Cell,构建Conv2D将继承Cell,并重构\_\_ init\_\_ 和\_\_ call\_\_ 方法,在\_\_ init\_\_ 里初始化训练参数和输入参数,在\_\_ call\_\_ 里调用低级API实现计算逻辑。同样使用伪代码描述自定义卷积层的过程。
115+ 3 .3.1中使用伪代码定义机器学习库中低级API,有了实现的神经网络基类抽象方法,那么就可以设计更高层次的接口解决手动管理参数的繁琐。假设已经有了神经网络模型抽象方法Cell,构建Conv2D将继承Cell,并重构\_\_ init\_\_ 和\_\_ call\_\_ 方法,在\_\_ init\_\_ 里初始化训练参数和输入参数,在\_\_ call\_\_ 里调用低级API实现计算逻辑。同样使用伪代码描述自定义卷积层的过程。
116116
117117``` python
118118# 接口定义:
@@ -146,7 +146,7 @@ output = conv(input)
146146
147147### 自定义神经网络模型
148148
149- 神经网络层是Cell的子类(SubClass)实现,同样的神经网络模型也可以采用SubClass的方法自定义神经网络模型;构建时需要在\_\_ init\_\_ 里将要使用的神经网络组件实例化,在\_\_ call\_\_ 里定义神经网络的计算逻辑。同样的以2 .3.1的卷积神经网络模型为例,定义接口和伪代码描述如下:
149+ 神经网络层是Cell的子类(SubClass)实现,同样的神经网络模型也可以采用SubClass的方法自定义神经网络模型;构建时需要在\_\_ init\_\_ 里将要使用的神经网络组件实例化,在\_\_ call\_\_ 里定义神经网络的计算逻辑。同样的以3 .3.1的卷积神经网络模型为例,定义接口和伪代码描述如下:
150150``` python
151151# 使用Cell子类构建的神经网络层接口定义:
152152# 构建卷积神经网络的组件接口定义:
You can’t perform that action at this time.
0 commit comments