datacloud 第一次学习记录

首先今天我们的任务里面有
线性回归、Softmax与分类模型、多层感知机
这三个主要内容

我们的学习流程是这样滴
机器学习简介
机器学习基本思想
判别模型与生成模型
线性回归
下面就让我们开始学习之旅吧

机器学习简介

一、机器学习的定义

研究学习方法
任务T，经验E，性能P，可以用三元组表示

二、两种机器学习模型类型

1.预测包括监督学习（根据数据预测输出）和无监督学习（生成数据）
2.决策 强化学习（在动态环境中采取行动获得随着时间推移最大化累积奖励）
不仅仅辅助人类，还需要采取行动。机器作为智能体，操作后判断环境状态。

三、机器学习的历史

50年代（创建机器学习术语）
60年代（神经网络、感知机、模式识别，因为感知机被证明了局限性所以被冷冻）
70年代（符号归纳、专家系统、决策树模型、AM）
80年代（EBL、反向传播、高级决策树）
90年代（文本学习、RL、SVM+核方法、贝叶斯、文本学习爱）
00年代（统计关系、图模型、机器人、计算机系统、概率图，变分推理，迁移学习，跨模态学习）
10年代（深度学习、GPU、DRL（Deepmind2014）、视觉语音文本、多任务+终身学习，深度强化学习）

机器学习基本思想

1.目标：损失函数(预测值与标签值)趋近于0
1）损失函数：类似 预测值与标签值 之间的方差
2.实现：梯度学习法
1）更新参数theta使得损失函数趋近于0
2）设定梯度下降步长
3.例子：
1）线性模型
以斜率和截距作为参数，目标函数为方差，可以做出二维权重分布 ， 观测目标函数趋近于0的过程。
2）泛线性模型
5次幂指数的泛线性模型可以完美拟合6个实验点
4.关键:如何选择模型
机器学习过程：原始数据->数据规范化(特征选择等)->分成训练数据，测试数据（尽量保证二者相像）-> 训练训练数据得到模型->在测试数据上跑模型得到评价。
监督学习：已知特征x，已知标签y，拟合一个映射函数f。（先假设y和x线性相关），那么拟合映射函数f的过程等同于拟合f关于x的参数theta。

梯度学习方法

判别模型与生成模型

判别模型
对可观测变量和未知变量的关联性建模
也称为条件模型
确定性判别: y = fθ(x)
随机判别: pθ(y | x)
应用
直接建模预测标签与已知特征的关联
易于定义特定依赖的特征和模型
实际上产生更高的预测性能
举例
线性回归,逻辑回归,k近邻, 支持向量机, (多层)感知机,决策树,随机森林等
生成模型
建立数据的联合概率分布
给定一些隐参数或隐变量pθ(x, y)
进行条件推断
应用
探寻数据分布(数据科学的本质)
受益于隐变量建模
举例
朴素贝叶斯,隐马尔科夫模型,混合高斯模型,马尔科夫随机场, 隐狄利克雷分布(LDA)等

看到这本喵就非常不懂了 所以我去补一下数学基础知识啦！！！

经过了ElitesAI人工智能中的数学基础的学习：极限、连续、导数、随机事件与概率、条件概率与独立性、随机变量与概率分布

下面让我们进入线性回归的学习

线性回归

线性判别模型

判别模型
性质

• 建模预测变量和观测变量之间的关系
• 也称条件模型（conditional models）

分类

• 确定性判别模型
• 概率判别模型

线性回归
一维的线性回归和二次回归（都是线性模型 ）
二维
因为我们的目标是使预测值和真实值的距离越近越好

所以引入损失函数来测量预测值与真实值之间的误差
具体损失函数的定义依赖于具体的数据与任务
最广泛使用的损失回归函数：平方误差（square loss）

最小均方误差回归
优化目标是最小化训练数据上的均方误差

梯度学习方法

梯度更新方式

批量梯度下降

随机梯度下降

建立在每个数据对（yi，xi）

小批量梯度下降

基本搜索步骤

随机选择一个参数初始化
根据数据和梯度算法来更新
直到走到局部一个最小区域
凸优化目标函数

凸集

凸函数（convex function）

dom f 是一个凸集 （即定义域）
学习率

线性回归 代码实践

预测房价
五个特征

数据准备

numpy库的介绍
sklearn库
代码解释

数学基础

线性代数

向量

转置transpose
特殊向量
零向量、基本向量（只有一个元素为1，其他元素皆等于0的列向量称为基本向量）
线性空间
给定一个向量的集合s，如果其对于树乘与向量的加法封闭，则称之为一个向量空间或线性空间
向量空间的基
对于给定的线性空间s如果他可以写成某个向量集合b张成的空间，即s=span（b）,并且b的任何真子集都不能张成s,即称b是s的一组基（basis）
基是单位向量在各个维度上的分量
b的大小称为s的维度
向量的独立性
如果说b是线性空间s的基，那么b中的向量是独立的

矩阵

矩阵基础
研究矩阵是为了求解线性方程组
矩阵符号
例如矩阵a
a（i，：）a的第i行
a（：，j）a的第j列
a（p：q，r：s）由a的第p行到第q行，第r列到第s列组成的子矩阵
对角矩阵：主对角线以外元素全为0⃣️的正方矩阵，记作a=diag（a11，……，ann）
单位矩阵：主对角线元素全为1⃣️的对角矩阵，记作inn
矩阵的转置：在矩阵右上角加大写t即表示转置后的矩阵，行变成列，列变成行
矩阵乘法：a矩阵mn与b矩阵ns进行乘积，得到一个新矩阵ms记作ab（a的列数要等于b的行数）
矩阵的逆
ab=ba=i单位矩阵
则b是a逆矩阵
学习水平有限 暂时只学到这
更多内容请看伯禹学习平台https://www.boyuai.com/elites/