邱锡鹏《神经网络与深度学习》第一章绪论学习笔记_神经网络与深度神经网络邱锡鹏-CSDN博客

本文链接：https://blog.csdn.net/Brooklynwl/article/details/135636940

本文介绍了人工智能的概念，发展历程，以及关键领域如机器学习（包括特征学习、深度学习和神经网络）、表示学习（特别是局部表示和分布式表示）和深度学习中的贡献度分配问题。还探讨了神经网络的构造和人脑神经网络的原理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一个人在不接触对方的情况下，通过一种特殊的方式，和对方进行一系列问答。如果相当长时间内，他无法根据这些问题判断对方是人还是计算机，那么就可以认为这个计算机是智能的。———图灵测试

第一章绪论

1.1人工智能

人工智能=“计算机控制”+“智能行为”

John McCarthy提出了人工智能的定义：人工智能就是要让机器的行为看起来像是人所表现的智能行为一样。

目前，人工智能的主要领域大体上可以分为以下几个方面：

机器学习（计算机视觉、语音信息处理、模式识别）

学习（机器学习、强化学习）

语言（自然语言处理）

记忆（知识表示）

决策（规划、数据挖掘）

1.1.1 人工智能的发展历史

1.推理期：通过人类经验，基于逻辑或者事实归纳出来一些规则，然后通过编写程序来让计算机完成一个任务，但低估了项目的难度，陷入了低谷。

2.知识期：意识到知识对于人工智能系统的重要性，构建知识库。

3.学习期：“学习”也是一种智能行为，让机器来自动学习，即机器学习。

1.2 机器学习

机器学习从数学方面来说，就类似于从x到f(x)的过程，而我们需要构建函数（就是一系列规则）。

然而我们的问题就是如何构造这个函数（规则）

用“芒果机器学习”来理解如何构建这个函数，如图：

步骤：

1.从所有的数据中提取出芒果的特征（如：颜色，大小，形状）这些就类比函数的自变量x

2.找出相对应的芒果质量（输出的变量）这些就类比是f(x)

3.将这些特征和输出的变量全部交给机器，并设计一个学习算法来学习芒果的特征与输出变量之间的相关模型

4.测试，用学习到的模型来预测芒果的质量

总结：机器学习就可以分为如图上述的步骤。

值得注意的是：浅层学习是不涉及特征学习，其特征主要是靠人工经验或特征转换方法来抽取；

然而通常来说特征处理主要由人工来完成。

1.3 表示学习

语义鸿沟：人工智能的挑战之一。

底层特征和高层语义之间的冲突：人们对文本、图像的理解无法从字符串或者图像的底层特征直接获得。

在表示学习中，有两个核心问题：一是“什么是一个好的表示”；二是“如何学习到好的表示”。

1.3.1 什么是好的数据表示？

一个好的表示具有一下几个优点：

1）很强的表示能力，即同样大小的向量可以表示更多的信息。

2）使后续的学习任务变简单，即需要包含更高层次的语义信息。

3）具有一般性，是任务或领域独立的。

1.3.2 两种表示特征的方式

以颜色为例

1.局部表示：一种表示颜色的方法是一种不同名字来命名不同的颜色，也称为离散表示或符号表示。当需要增加一个颜色时，就需要增加一维向量，每一维向量就代表一种颜色，意味着，表示一种颜色，只有对应的一维向量为1，其余为0.

2.分布式表示：用RGB值来表示颜色，不同颜色对应到R、G、B三维空间中一个点，这种表示方式叫做分布式表示。和局部式相比，分布式表示的表示能力要强很多，分布式的向量维度一般比较低，一个三维的稠密向量就可以表示所有颜色。

1.3.3 表示学习：如何自动从数据中学习好的表示

在传统的机器学习种，也有很多相关特征学习的方法，比如主成分分析、线性判别分析等。

但是，传统的特征学习一般时通过人为地设计一些准则，然后根据这些准则来选取有效特征。特征的学习是和最终预测模型的学习是分开进行的，因此学习到的特征不一定可以提升最终模型的性能。

1.4 深度学习

深度学习=表示学习+决策（预测）学习（浅层学习）

深度学习是机器学习的一个子问题，其主要目的是从数据中自动学习到有效的特征表示。

深度学习需要解决的关键的问题是贡献度分配问题。什么是贡献度分配问题？即意思是在一个深度学习里面，我不知道是底层特征、中层特征还是高层特征对预测的结果比较大。以下棋为例，每当下完一盘棋，必有输有赢，我们会思考是那几步棋导致了最后的胜利，那几步棋导致了失败，这个时候就需要大量的练习来积累经验，从而判断是什么原因导致的下棋胜负原因。