M-P 神经元模型
神经元接受数据,根据各自权重输入进激活函数,输出值与阈值比较后,得出结果作为该神经元的输出结果

激活函数

多层前馈网络
多层网络:包括隐层的网络
前馈网络:神经元之间不存在同层连接也不存在跨层连接
隐层和输出层神经元亦称“功能单元”

万有逼近性
仅需一个包含足够多神经元的隐层,多层前馈神经网络就能以任意精度逼近任意复杂度的连续函数
但是,设置隐层神经元数是未决问题,实际常用试错法
BP算法推导



缓解过拟合
早停
- 训练误差连续a轮的变化小于b,停止训练
- 使用验证集,若训练误差降低,验证误差升高,则停止训练
正则化
误差目标函数中增加描述网络复杂度
