【机器学习14】笑脸识别，口罩识别

【机器学习14】笑脸识别，口罩识别

1.概念

1.HOG:(方向梯度直方图)

1.分割图像

overlap和non-overlap两种分割策略。overlap指的是分割出的区块（patch）互相交叠，有重合的区域。non-overlap指的是区块不交叠，没有重合的区域。

2.计算每个分割区块的方向梯度直方图

利用任意一种梯度算子，例如：sobel，laplacian等，对该patch进行卷积，计算得到每个像素点处的梯度方向和幅值。将360度（2*PI）根据需要分割成若干个bin，例如：分割成12个bin，每个bin包含30度，整个直方图包含12维，即12个bin。然后根据每个像素点的梯度方向，利用双线性内插法将其幅值累加到直方图中。

3.组合特征

将从每个patch中提取出的“小”HOG特征首尾相连，组合成一个大的一维向量，这就是最终的图像特征。可以将这个特征送到分类器中训练了。例如：有44=16个patch，每个patch提取12维的小HOG，那么最终特征的长度就是：1612=192维。

2.Dlib:

dlib中是先检测都人脸，然后把人脸通过Resnet生成一个128维的向量，Resnet有几种不同深度的结构.dlib使用的是34层的网络.

resnet34的最后一层是fc 1000，就是1000个神经元.resnet如何生成128维的向量的呢？很简单，在fc1000后面再加一个Dense(128)就行了生成向量之后再求两个向量之间的距离即可判定两个人脸的相似程度.那么如何从0开始构建一个和dlib一样的人脸识别网络呢？就是应该先构建一个resnet34，后面加一个Dense(128)，后面再接分类，训练完成后舍弃最后Dense(128)接分类的那一部分，只保留前面的参数，这样每输入一张图片就可以得到一个128维的向量了.

3.卷积神经网络(CNN):

第一步：找出所有的面孔，方向梯度直方图(Histogram of Oriented Gradients)”的方法，或简称HOG。

第二步：脸部的不同姿势，将使用一种称为脸部标志点估计（Face Landmark Estimation）的算法。这一算法的基本思想是，我们找到人脸上普遍存在的68个特定点（称为Landmarks）——下巴的顶部，每只眼睛的外部轮廓，每条眉毛的内部轮廓等。接下来我们训练一个机器学习算法，能够在任何脸部找到这68个特定点。可以自己使用Python和dlib来尝试完成这一步的话，这里有一些代码帮你寻找脸部标志点和图像变形。

第三步：给脸部编码。这个通过训练卷积神经网络来输出脸部嵌入的过程，需要大量的数据和计算机应用。即使使用昂贵的Nvidia Telsa显卡，它也需要大约24小时的连续训练，才能获得良好的准确性。但一旦网络训练完成，它可以生成任何面孔的测量值，即使它从来没有见过这些面孔！所以这种训练只需一次即可。幸运的是，OpenFace上面的大神已经做完了这些，并且他们发布了几个训练过可以直接使用的网络。

第4步：从编码中找出人的名字。我们将使用一个简单的线性SVM分类器，但实际上还有很多其他的分类算法可以使用。我们需要做的是训练一个分类器，它可以从一个新的测试图像中获取测量结果，并找出最匹配的是哪个人。分类器运行一次只需要几毫秒，分类器的结果就是人的名字！

以上内容来源网络。

2.dlib安装与使用

2.1conda 换源

c盘用户目录，.condarc文件：

channels: 
- https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ 
- defaults

show_channel_urls: yes

2.2更新conda

conda update -n base -c defaults conda

2.3创建新环境python3.6，名字叫tensorflow

conda create -n tensorflow python=3.6

2.4使用新环境

conda activate tensorflow

2.5更新pip

python -m pip install --upgrade pip

2.6安装cmake，boost，wheel，dlib==19.6.1

pip install cmake boost wheel dlib==19.6.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

2.7安装numpy

pip install numpy opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

2.8把新环境路径加到环境变量

PYTHON36    D:\Anaconda\envs\tensorflow

%PYTHON36%\Scripts;

%PYTHON36%\Library\bin;

%PYTHON36%;

2.9打开vscode，首选项设置，找到settings.json

修改python的路径，重启。

"python.pythonPath": "D:\\Anaconda\\envs\\tensorflow",

2.10jupyter使用新环境

打开prompt：

conda install nb_conda

activate tensorflow

pip install ipykernel

python -m ipykernel install --user --name tensorflow --display-name tf

重启jupyter，即可选择。

3.数据集划分

2.1笑脸数据集genki4k下载

链接:https://pan.baidu.com/s/15o_HzQMiOJDVfFVGR3fA9A 提取码:es3u

2.2下载后解压，分测试集、训练集以及验证集

2.3数据增强

需要下载几个包：

pip install keras

pip install tensorflow

pip install matplotlib

pip3 install pillow

一定重启一下jupyter。

import keras
import os, shutil
train_smile_dir="F:\\BaiduNetdiskDownload\\aidazuoye\\smile2\\data\\train\\smile\\"
train_umsmile_dir="F:\\BaiduNetdiskDownload\\aidazuoye\\smile2\\data\\train\\unsmile\\"
test_smile_dir="F:\\BaiduNetdiskDownload\\aidazuoye\\smile2\\data\\test\\smile\\"
test_umsmile_dir="F:\\BaiduNetdiskDownload\\aidazuoye\\smile2\\data\\test\\unsmile\\"
validation_smile_dir="F:\\BaiduNetdiskDownload\\aidazuoye\\smile2\\data\\validation\\smile\\"
validation_unsmile_dir="F:\\BaiduNetdiskDownload\\aidazuoye\\smile2\\data\\validation\\unsmile\\"
train_dir="F:\\BaiduNetdiskDownload\\aidazuoye\\smile2\\data\\train\\"
test_dir="F:\\BaiduNetdiskDownload\\aidazuoye\\smile2\\data\\test\\"
validation_dir="F:\\BaiduNetdiskDownload\\aidazuoye\\smile2\\data\\validation\\"

from keras import optimizers
from keras import layers
from keras import models
from keras.preprocessing.image import ImageDataGenerator


datagen = ImageDataGenerator(
      rotation_range=40,
      width_shift_range=0.2,
      height_shift_range=0.2,
      shear_range=0.2,
      zoom_range=0.2,
      horizontal_flip=True,
      fill_mode='nearest')

2.4查看数据增强过后图片的变化

import os
import matplotlib.pyplot as plt
from PIL import Image
# This is module with image preprocessing utilities
from keras.preprocessing import image
fnames = [os.path.join(train_smile_dir, fname) for fname in os.listdir(train_smile_dir)]
img_path = fnames[3]
img = image.load_img(img_path, target_size=(150, 150))
x = image.img_to_array(img)
x = x.reshape((1,) + x.shape)
i = 0
for batch in datagen.flow(x, batch_size=1):
    plt.figure(i)
    imgplot = plt.imshow(image.array_to_img(batch[0]))
    i += 1
    if i % 4 == 0:
        break
plt.show()

2.4创建网络

model = models.Sequential()
model.add(layers.Conv2D(32, (3, 3), activation='relu',
                        input_shape=(150, 150, 3)))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
model.add(layers.Dropout(0.5))
model.add(layers.Dense(512, activation='relu'))
model.add(layers.Dense(1, activation='sigmoid'))
model.compile(loss='binary_crossentropy',
              optimizer=optimizers.RMSprop(lr