动手学深度学习笔记1

介绍

定义：深度学习是一类基于人工神经网络的机器学习技术， 通过构建具有多个层次的神经网络模型，让计算机自动从 大量数据中学习特征和模式。它模拟人类大脑的神经元结 构，通过大量神经元之间的相互连接和信息传递，实现对 复杂数据的学习和理解。

Tips:与传统机器学习的区别：传统机器学习通常需要人工手动设计特征，这依赖于领域专家的经验和知识，且设计的特征往往具有局限性。而深度学习能够自动从数据中学习到复杂的特征表示。

基本原理 

前向传播：数据从输入层进入，每个神经元将输入信号经过 加权求和与激活函数计算后，将结果传递给下一层神经元， 经过隐藏层的一系列计算，最终在输出层得到预测结果。

反向传播：通过计算预测结果与真实标签之间的误差，利用 梯度下降等算法反向传播误差。从输出层开始，根据误差对 每个神经元的权重进行调整，使得误差逐渐减小。在反向传 播过程中，需要计算误差对每个权重的梯度，通过不断迭代更新权重，使模型的预测结果逐渐接近真实标签。 

应用领域 

计算机视觉：图像分类、目标检测、语义分割

自然语言处理：机器翻译、文本生成、情感身份西、语音识别

推荐系统

发展历程（简述）

 MP神经元模型->Hebb（调整链接权重）->感知机（对线性可分数据有效分类，由输入层、权重、阈值、输出层构成）->Hopfiled神经网络（具有联想记忆和优化计算能力，在组合优化上出色）->BP算法（复杂的非线性映射关系)->卷积神经网络LeNet-5（在计算机视觉领域）->深度信念网络（DBN）->AlexNet(ImageNet图像识别分类）->Word2Vec(单词嵌入大规模文本数据能力）->生成对抗网络GAN能生成逼真图像、文本等）->残差网络ResBet（解决梯度消失和退化问题）->Transformer架构（采用自注意力机制）->BERT，基于Transformer的预训练语言模型->OpenAId GPT-3->...