线性回归模型代码实现

线性回归

注：本文主要是对伯禹教育平台线性回归课程总结学习用

一、线性回归基本要素

1.模型

• 根据房屋面积（平方米）以及房龄（年）预测房屋价格：

2.数据集

• 我们通常收集一系列的真实数据，例如多栋房屋的真实售出价格和它们对应的面积和房龄。对模型训练以及测试，一栋房屋被称为一个样本（sample），其真实售出价格叫作标签（label），用来预测标签的两个因素叫作特征（feature）。本例中通过自己生成数据集用来训练和测试。

3.损失函数

• 在模型训练中，我们需要衡量价格预测值与真实值之间的误差。针对样本i的损失函数如下（y帽为预测值，y为真实值）：

4.模型优化-随机梯度下降

• 当模型和损失函数形式较为简单时，上面的误差最小化问题的解可以直接利用正规方程代入公式求解。这类解叫作解析解（analytical solution）。本节使用的线性回归和平方误差刚好属于这个范畴。然而，大多数深度学习模型并没有解析解，只能通过优化算法有限次迭代模型参数来尽可能降低损失函数的值。这类解叫作数值解（numerical solution）。
• 在求数值解的优化算法中，小批量随机梯度下降（mini-batch stochastic gradient descent）在深度学习中被广泛使用。它的算法很简单：先选取一组模型参数的初始值，如随机选取；接下来对参数进行多次迭代，使每次迭代都可能降低损失函数的值。在每次迭代中，先随机均匀采样一个由固定数目训练数据样本所组成的小批量（mini-batch）β，然后求小批量中数据样本的平均损失有关模型参数的导数（梯度），最后用此结果与预先设定的一个正数的乘积作为模型参数在本次迭代的减小量。
• 模型优化主要是利用减小损失函数的值，从而使模型预测值不断靠近真实值，损失函数是参数w,b的函数，当w和b沿着损失函数导数负方向移动时，损失函数随之减小。

注：

矢量直接计算比起简单for循环速度快更简洁,python中的广播学习很重要。

二、线性回归模型从头开始建立(jupyter中)

1.导入基本库

# import packages and modules
%matplotlib inline #表示jupyter代码
import torch
from IPython import display #交互式shell，支持自动补全等多个功能
from matplotlib import pyplot as plt #绘图
import numpy as np
import random 

print(torch.__version__)

2.生成数据集

num_inputs = 2 #特征个数
num_examples = 1000 #样本个数

true_w = [2, -3.4]  #已知模型参数的真实值
true_b = 4.2

#模型输入：样本和其特征的矩阵
features = torch.randn(num_examples, num_inputs,dtype=torch.float32)
#利用已知参数和输入矩阵计算真实值
#列表按下标索引true_w[0]:true_w中第一个元素
#feature[:,0]：张量中第一列全部元素
labels = true_w[0] * features[:, 0] + true_w[1] * features[:, 1] +true_b
#真实值不可能完全符合线性模型，加上通过正态分布随机生成的偏置值
labels += torch.tensor(np.random.normal(0, 0.01, size=labels.size()),
                       dtype=torch.float32)

可通过图像展示生成的数据

#把tensor转换成numpy
plt.scatter(features[:, 1].numpy(), labels.numpy(), 1);

3.读取数据集

def data_iter(batch_size, features, labels