非线性回归

import keras
import numpy as np
import matplotlib.pyplot as plt
# Sequential按顺序构成的模型
from keras.models import Sequential
# Dense全连接层
from keras.layers import Dense,Activation
#优化器里面导入SGD
from keras.optimizers import SGD
# 使用numpy生成200个随机点
x_data = np.linspace(-0.5,0.5,200)  #-0.5和0.5是范围
noise = np.random.normal(0,0.02,x_data.shape)  # 均值和方差
y_data = np.square(x_data) + noise

# 显示随机点
plt.scatter(x_data,y_data)
plt.show()
# 构建一个顺序模型
model = Sequential()
# 在模型中添加一个全连接层
# 1-10-1
# 激活函数也可以是relu
model.add(Dense(units=10,input_dim=1, activation='tanh'))  #加了隐藏层10个神经单元
# model.add(Activation('tanh')) #注释语句为ctrl+?
model.add(Dense(units=1,activation='tanh')) #上一层输出为10所以这层输入也为10不需要再指定
# model.add(Activation('tanh'))

# 定义优化算法
sgd = SGD(lr=0.3)
model.compile(optimizer=sgd,loss='mse')

# 训练3001个批次
for step in range(3001):
    # 每次训练一个批次
    cost = model.train_on_batch(x_data,y_data)
    # 每500个batch打印一次cost值
    if step % 500 == 0:
        print('cost:', cost)

# x_data输入网络中，得到预测值y_pred
y_pred = model.predict(x_data)
 # 显示随机点
plt.scatter(x_data, y_data)
# 显示预测结果
plt.plot(x_data, y_pred, 'r-', lw=3)
plt.show()

cost: 0.014896800741553307
cost: 0.0056304060854017735
cost: 0.0045212628319859505
cost: 0.0017532292986288667
cost: 0.0005059594404883683
cost: 0.00044841895578429103
cost: 0.0004469753475859761