普林斯顿COS511理论机器学习讲义.pdf资源-CSDN下载

需积分: 5 154 浏览量 2024-02-03 12:13:02 上传评论收藏 4.1MB PDF 举报

资源推荐

资源详情

资源评论

COS 511：理论机器学习

讲师：Rob Schapire 讲座 #1

记录员：Rob Schapire 2014年2月4日

1 什么是机器学习？

机器学习研究计算机算法来学习做事情。例如，我们可能对学习完成一个任务、进行准确

预测或者智能行为感兴趣。所进行的学习总是基于某种观察或数据，例如示例（本课程中

最常见的情况）、直接经验或指导。因此，总的来说，机器学习是基于过去的经验来学习

如何在未来做得更好。

机器学习的重点在于自动化方法。换句话说，目标是设计能够自动学习而无需人工干

预或协助的学习算法。机器学习范式可以被视为“通过示例进行编程”。通常我们有一个具

体的任务，例如垃圾邮件过滤。但是与其直接编写计算机来解决任务，机器学习中，我们

寻求的是计算机根据我们提供的示例自己生成程序的方法。

机器学习是人工智能的核心子领域。我们很不可能能够构建任何一种具备语言或视觉

等智能特征的智能系统，而不使用学习来实现。

否则，这些任务将会过于困难。此外，如果一个系统无法学习，我们也不会认为它是真正

的智能，因为学习是智能的核心。

尽管是人工智能的一个子领域，机器学习也广泛涉及其他领域，尤其是统计学，还有数

学、物理学、理论计算机科学等。

机器学习问题的两个例子

有许多机器学习问题的例子。本课程的大部分内容将集中在分类问题上，目标是将对象分

类到一组固定的类别中。

以下是几个例子：

• 光学字符识别：通过所代表的字母对手写字符的图像进行分类。

• 人脸检测：在图像中找到人脸（或指示是否存在人脸）

• 垃圾邮件过滤：将电子邮件消息标识为垃圾邮件或非垃圾邮件

• 口语理解：在有限领域的背景下，确定说话者所说内容的含义，以便将其分类为一组

固定的类别

• 医学诊断：诊断患者是否患有某种疾病

•分类或预测客户/用户行为：例如，预测哪些客户会对特定促销活动做出反应，或者哪

些用户会点击特定广告

•天气预测：例如，预测明天是否会下雨。

（在这种情况下，我们最有可能实际上更感兴趣的是估计明天下雨的概率。）

尽管我们将讨论的大部分内容都是关于分类问题，但还有其他重要的学习问题。在分

类中，我们希望将对象分类到固定的类别中。另一方面，在回归中，我们试图预测一个实

际值。例如，我们可能希望预测明天会下多少雨。或者，我们可能想预测一栋房子会卖多

少钱。

更丰富的学习场景是一个实际上要表现出智能行为或者做出智能决策的场景。例如，

一个机器人需要学会在环境中导航而不与任何物体碰撞。为了利用机器学习在股票市场上

赚钱，我们可以将投资视为一个分类问题（股票会涨还是跌）或者回归问题（股票会涨多

少），或者直接让计算机学习如何决定进行投资以最大化财富。最后一个例子是游戏玩耍

，目标是让计算机通过经验学会玩得好。

机器学习研究的三个目标

机器学习研究的主要目标是开发具有实际价值的通用算法。这些算法应该是高效的。像往

常一样，作为计算机科学家，我们关心时间和空间效率。但在学习的背景下，我们还非常

关心另一个宝贵的资源，即学习算法所需的数据量。

学习算法也应尽可能通用。我们正在寻找可以轻松应用于广泛学习问题类别的算法，

比如上面列出的问题。

首要重要的是，我们希望学习的结果是尽可能准确的预测规则。

有时候，我们也对学习产生的预测规则的可解释性感兴趣。换句话说，在某些情况下

（如医学诊断），我们希望计算机能够找到人类专家容易理解的预测规则。

如上所述，机器学习可以被看作是“通过示例进行编程”。机器学习相比直接编程的优势

是什么？首先，使用机器学习的结果通常比直接编程更准确。原因在于机器学习算法是数

据驱动的，能够检查大量的数据。另一方面，人类专家往往会受到不精确的印象或者只检

查相对较少的示例的影响。

此外，人类经常难以表达他们所知道的东西，但对于标记物品却没有困难。例如，对

于我们所有人来说，通过字符来标记字母图像是很容易的，但是我们很难用精确的术语解

释我们是如何做到的。

例子标签

训练

蚂蚁 −

蝙蝠

海豚

−

豹子

海狮

−

斑马

鲨鱼

−

老鼠

鸡

−

测试

老虎

金枪鱼

鸭嘴兽

图2：一个小型学习问题。

4 一个典型的学习问题

在一个典型的学习问题中，比如光学字符识别，我们的目标是创建一个能够识别手写字符

的系统。但是我们并不直接解决这个问题，而是先收集大量的字符图像示例，这些示例被

标记为代表的字母或数字。然后我们将这些示例输入到通用的学习算法中，该算法会生成

一个能够分类新图像的预测规则（我们希望如此）。整个过程如图1所示。为了对学习有

所了解，我们首先看了图2中所示的学习问题。

在这个例子中，示例被标记为正（“+”）或负（“−”）。在这种情况下，模式是“陆地哺乳

动物”是正例，其他的是负例，尽管课堂上还提出了许多其他的建议。实际上，这个模式

有点模糊，因为它可能是，例如，正例是不生活在海洋中且不产卵的动物。因此，测试示

例“老虎”和“金枪鱼”分别是正例和负例，但我们只能猜测“鸭嘴兽”的正确标签（它是一种

在溪流和河流中度过大部分生活的产卵哺乳动物）。

第二个例子显示在图3中。最初，例子被呈现为动物的名称，这个问题似乎很困难。当

动物的名称被重新以每个字母在字母表中的位置来表示时，模式变得更加明显，也就是说

，只有当第三个字母在字母表中的位置是奇数时，例子才是正例（例如，“elephant”中的

第三个字母是“e”，它是字母表中的第五个字母，所以“elephant”是一个正例）。

关于这个实验有一些需要注意的事情。首先，更多的数据更好。

例如，我们不确定鸭嘴兽应该是一个正例还是一个负例。

然而，如果我们有更多的训练数据，包括例如胎生的非哺乳动物（如蝎子）或者生活在河

流而不是海洋中的其他哺乳动物，我们可能能够更好地定义未知模式是什么。此外，许多

其他竞争的关于第一个例子问题的建议可以通过更多的数据迅速排除。

例子标签

训练

土豚 → 1 1 18 4 22 1 18 11 −

牛 → 3 15 23

长颈鹿 → 7 9 18 1 6 6 5

−

白蚁 → 20 5 18 13 9 20 5

−

牡蛎 → 15 25 19 20 5 18

鸽子 → 4 15 22 5

−

蜘蛛 → 19 16 9 4 5 18

狗 → 4 15 7

大象 → 5 12 5 16 8 1 14 20

测试

兔子 → 18 1 2 2 9 20

青蛙 → 6 18 15 7

袋鼠 → 11 1 14 7 1 18 15 15

图3：第二个玩具学习问题。最初的例子是以动物名称的形式呈现的，如左列所示，但后

来用每个动物名称的每个字母的相应数量进行了重写，如每个名称的右侧所示。

其次，尝试找到与数据一致的模式似乎非常自然，即找到“解释”所有观察到的训练数据

的规则。实际上，当然可能无法找到与所有数据完全一致的规则，但我们仍然希望找到尽

可能少犯错误的规则。

第三，寻求一条既一致又尽可能简单的规则似乎是自然的。例如，在第一个问题上，

没有人满意的规则是，只有当动物以“b”或“l”或“z”或“m”开头时才是正面的（这与该问题

的一个建议相差无几）。 “简单性”的概念与我们对期望的规则类型的先验信念有关。当通

过改变表示方式改变对第二个问题的观点时，看起来简单和自然的规则也发生了变化。

总的来说，学习成功需要满足三个条件。首先，我们需要足够的数据。其次，我们需

要找到一条规则，在训练数据上犯错的次数尽可能少。第三，我们需要这条规则尽可能简

单。需要注意的是，最后两个要求通常是相互冲突的：有时候我们只能选择一条更复杂的

规则来减少错误，而选择一条简单的规则有时候可能会导致在训练数据上允许更多的错误

。找到合适的平衡可能是机器学习中最核心的问题。

简单规则应该被优先考虑的观点通常被称为“奥卡姆剃刀”。

5个学习模型

为了在数学上研究机器学习，我们需要正式定义学习问题。

这个精确的定义被称为学习模型。学习模型应该足够丰富，能够捕捉到真实学习问题的重

要方面，但又足够简单，以便进行研究。

剩余143页未读，继续阅读

评论收藏

内容反馈

绝不原创的飞龙

粉丝: 4w+

普林斯顿 COS511 理论机器学习讲义.pdf

最新资源

普林斯顿 COS511 理论机器学习讲义.pdf

机器学习讲义

普林斯顿 COS598D 克服机器学习中的艰难性讲义.pdf

Toolkit for Theorist

ML-DL-Lecture-Notes:演讲笔记

机器学习课程讲义

Machine Learning机器学习讲义

机器学习词的表达讲义pdf

机器学习算法十讲.pdf

机器学习方法概论讲义

机器学习数学视角（来自于普林斯顿大学）

机器学习课程讲义.zip

机器学习讲义整理，希望对大家有所帮助

机器学习课件

机器学习讲义与资料.7z

普林斯顿计算机公开课.docx

机器学习讲义.zip

机器学习课程英文课件及笔记.zip

【普林斯顿博士论文】面向物理科学的可解释机器学习，242页pdf .pdf

DeepSeek从入门到精通(20250204)-清华团队.pdf

相关实用应用程序（Windows可用）

Visio2013 安装包及破解方法

李飞飞自传 我看见的世界 The World I see

清华大学-DeepSeek从入门到精通

汽车智能驾驶技术及产业发展白皮书

最新资源

李飞飞自传我看见的世界 The World I see