《深度学习入门》笔记

python

1. anaconda

2. numpy

   import numpy as np
   
   A = np.array([1,2,3,4])
   #数组的形状
   A.sharp
   #数组元素的数据类型
   A.dtype
   #数组的维数
   np.ndim(A)
   
   #最大值
   np.maximum（1,2）
   
   

3. matplotlib

   • import numpy as np
     import matplotlib.pyplot as plt
     
     x = np.arange(0, 10, 0.1)
     y1 = np.sin(x)
     y2 = np.cos(x)
     # y3= x*x
     
     plt.plot(x, y1,label="sin")
     plt.plot(x, y2,linestyle="--",label="cos")
     # plt.plot(x, y3,label="x*x")
     plt.xlabel("x")
     plt.ylabel("y")
     plt.title("Sine and Cosine")
     plt.legend()
     plt.show()
     

     from matplotlib.image import imread
     

4. 向量，张量，矩阵

   • 向量：一维数组
   • 矩阵：二维数组
   • 张量：一般化之后的向量或矩阵等统称。
   • 多维数组

感知机(perceptron)

1. 神经元，节点

2. 权重，偏置

3. 与门，与非门，或门实现

4. 多层叠加异或门实现

5. 线性函数，非线性函数，线性空间，非线性空间

6. $$h(x)=\{\begin{array}{l}0，(b+w_1{x}_1+w_2{x}_2\le 0)\\ 1，(b+w_1{x}_1+w_2{x}_2>0)\end{array}$$

神经网络

• 激活函数

  • 将输入信号总和转换为输出信号的函数
  • 是连接感知机和神经网络的桥梁
  • 感知机使用阶越函数作为激活函数
    • 以阈值为界，一旦输入超过阈值，就切换输出
  • 神经网络的激活函数必须使用非线性函数，因为使用线性函数的话，加深神经网络的层数就没有意义了
  • 线性函数的问题在于，不管如何加深层数，总是存在与之等效的“无隐藏层的神经网络”。

• 阶越函数，

  • $$h(x)=\{\begin{array}{l}1，x>0\\ 0，x\le 0\end{array}$$

• sigmoid函数，

  • $$h(x)=1/(1+exp(-x))$$

• ReLU函数

  • 在输入大于0时，直接输出该值；在输入小于0时，输出0

  • $$h(x)=\{\begin{array}{l}x，x>0\\ 0，x\le 0\end{array}$$