补充:深度学习
深度学习的概念源于人工神经网络,但是并不完全等于传统神经网络。不过在叫法上,很多深度学习演算法中都会包含”神经网路”这个词,比如:卷积神经网络、循环神经网络。所以,深度学习可以说是传统神经网络的升级版,约等于神经网络。
深度学习主要的特征就是:
- 利用了复杂结构,会有多个处理层;
- 深度学习引入了概率生成模型,可以自动从训练集里提取特征。
卷积神经网络(Convolutional Neural Network, CNN)
历史
1962年,Hubel(休贝尔)和Wiesel(威塞尔)
20世纪60年代初,David Hubel,Torsten Wiesel(托斯滕·威塞尔),和Steven Kuffler一起到哈佛大学,在哈佛医学院建立了神经生物学系。
他们们在论文《Receptive fields, binocular interaction and functional architecture in the cat's visual cortex》(猫视觉皮层的感受野、双眼交互和功能结构)中提出了Receptive fields(感受野)的概念。这个概念在视觉系统中的信息处理方面有非常大的贡献,所以,他们在1981年获得了诺贝尔生理学或医学奖。
大概的内容就是:Hubel和Wiesel记录了猫脑中各个神经元的电活动。他们用幻灯机向猫展示特定的模式,并且指出刺激了大脑特定部位的活动。这种单神经元记录,是当时的一项创新,他们通过这些实验系统地创建了视觉皮层的地图。
1980年,福岛邦彦
1980年,日本科学家福岛邦彦在论文《Neocognitron: A self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position》(Neocognitron:一种不受位置变化影响的模式识别机制的自组织神经网络模型)提出了一个包含卷积层、池化层的神经网络结构。
他已经退休了,被誉为“八十多岁仍在奋斗的全球人工智能专家”。
1998年,Yann Lecun(闫乐康)
1998年,在这个基础上,Yann Lecun在论文《Gradient-Based Learning Applied to Document Recognition》(应用于文档识别的基于梯度的学习)中,提出了LeNet-5,将BP算法应用到这个神经网络结构的训练上,就形成了当代卷积神经网络的雏形。
原始的CNN效果并不算好,而且训练也非常