OpenCV第六弹-人脸检测和识别

一、Haar级联

Haar分类器是基于统计的检测方法，类Haar特征是一种用于实现实时人脸跟踪的特征。每个类Haar特征都描述了相邻图像区域的对比模式。

对给定的图像，特征可能会因区域大小而有所不同，区域大小被称为窗口大小。

Haar级联具有尺度不变性，在尺度变化上具有鲁棒性。不具有旋转不变性。

Haarlem分类器=Haar-like特征+AdaBoost算法+级联+积分图快速计算。

Haar-like特征

可以理解为卷积模板，模板内只有白色和黑色两种矩形，并定义该模板的特征值为白色矩形像素和减去黑色像素和，反映了图像的灰度变化情况。 

Haar-like特征可以分为四类：线性特征、边缘特征、点特征（中心特征）、对角线特征。

adaboost算法

boosting算法：弱学习的识别率仅仅比随机识别好一点，强学习则表现为学习率满足实际需求，弱学习算法可以通过足够的证据和集成数据转换为强学习算法。弱学习明确算法准确率下限和过度训练后的预测不准确。

adaboost算法组合多个Haar-like特征来实现强学习算法，弱分类器经过训练和迭代实现强分类器。

级联

通过组合多个强分类器来进一步处理图片信息，增加识别的准确率，级联的强分类器的复杂度逐渐增加来提高算法的识别准确度。

积分图

每遇到一个图片样本，每遇到一个子窗口图像，我们都面临着如何计算当前子图像特征值的问题，一个Haar-like特征在一个窗口中怎样排列能够更好的体现人脸的特征，这是未知的，所以才要训练，而训练之前我们只能通过排列组合穷举所有这样的特征，仅以Viola牛提出的最基本四个特征为例，在一个24×24size的窗口中任意排列至少可以产生数以10万计的特征，对这些特征求值的计算量是非常大的。而积分图就是只遍历一次图像就可以求出图像中所有区域像素和的快速算法，大大的提高了图像特征值计算的效率。

opencv自带的人脸检测XML文件需要正面、直立的人脸图像。

二、人脸检测

（一）静态图片：

face_cascade = cv2.CascadeClassifier("./xml/haarcascade_frontalface_default.xml")
img = cv2.imread("./data/obama_1.jpg")
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
faces = face_cascade.detectMultiScale(gray, 1.3, 5)
for x, y, w, h in faces:
    img = cv2.rectangle(img, (x, y), (x + w, y + h), (255, 0, 0), 2)
cv2.namedWindow("Vikings Detected!!")
cv2.imshow("Vikings Detected!!", img)
cv2.imwrite("face.jpg", img)
cv2.waitKey(0)
cv2.destroyAllWindows()

detectMultiScale(image, scaleFactor, minNeighbors, minSize, maxSize)

image:输入图像（灰度）
scaleFactor:压缩因子
minNeighbors:最小邻居数
minSize:最小尺寸
maxSize:最大尺寸

minNeighbors=5

 minNeighbors=9

 （二）视频检测

import cv2


face_cascade = cv2.CascadeClassifier("./xml/haarcascade_frontalface_default.xml")
eye_cascade = cv2.CascadeClassifier("./xml/haarcascade_eye.xml")

video = cv2.VideoCapture(0)

while True:
    ret, frame = video.read()
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    faces = face_cascade.detectMultiScale(gray, 1.3, 5)
    for x, y, w, h in faces:
        img = cv2.rectangle(frame, (x, y), (x + w, y + h), (255, 0, 0), 2)
        roi_gray = gray[y : y + h, x : x + w]
        eyes = eye_cascade.detectMultiScale(roi_gray, 1.03, 5, 0, (40, 40))
        for ex, ey, ew, eh in eyes:
            cv2.rectangle(img, (ex, ey), (ex + ew, ey + eh), (0, 255, 0), 2)
    cv2.namedWindow("Vikings Detected!!")
    cv2.imshow("Vikings Detected!!", frame)
    if cv2.waitKey(1000) & 0xFF == ord("q"):
        break

video.release()
cv2.destroyAllWindows()

这眼睛都长到哪里了！！！！这算法不好用。。。。 

三、人脸识别

每个识别都有一个置信度评分，通过阈值进行筛选。

人脸采集-文件夹为名字

import cv2
cap = cv2.VideoCapture(0)
face_detector = cv2.CascadeClassifier('../haarcascade_frontalface_default.xml')
img_id = 1
flag_w = 0
while True:
    flag, frame = cap.read()
    if not flag:
        break
    gray = cv2.cvtColor(frame, code=cv2.COLOR_BGR2GRAY)
    faces = face_detector.detectMultiScale(gray,minNeighbors=10)
    for x, y, w, h in faces:
        face = gray[y: y + h, x:x + w]
        cv2.rectangle(frame, pt1=(x, y), pt2=(x + w, y + h), color=(0, 255, 0), thickness=5)
        cv2.imshow('frame', frame)
        if flag_w == 1:
            cv2.resize(face, dsize=(64, 64))
            cv2.imwrite('./lian/%d.jpg' % img_id, face)
            img_id += 1
    print(img_id)
    if img_id > 30:
        break
    key = cv2.waitKey(1000 // 24)
    if key == ord('q'):
        break
    if key == ord('w'):
        flag_w = 1
cv2.destroyAllWindows()

人脸识别 -使用Eigenfaces算法

def load_data():
    f_path = os.listdir('./lian')
    names = [p for p in f_path]
    faces = []
    target = []
    for index, dir_ in enumerate(names):
        for i in range(1, 31):
            img = cv2.imread('./lian/%s/%d.jpg' % (dir_, i))
            img_ = img[:, :, 0]
            img_ = cv2.resize(img_, dsize=(64, 64))
            faces.append(img_)
            target.append(index)
    faces = np.asarray(faces)
    target = np.asarray(target)
    return faces, target, names


def spilt_data(faces, target):
    index = np.arange(30)
    np.random.shuffle(index)
    faces = faces[index]
    target = target[index]
    x_train, x_test = faces[:25], faces[25:]
    y_train, y_test = target[:25], target[25:]
    return x_train, x_test, y_train, y_test


if __name__ == '__main__':
    faces, target, names = load_data()  # 加载数据
    x_train, x_test, y_train, y_test = spilt_data(faces, target)  # 数据拆分
    face_recognizer = cv2.face.EigenFaceRecognizer_create()  # 加载算法
    face_recognizer.train(x_train, y_train)  # 算法训练
    # 使用算法进行预测
    for face in x_test:
        # 类别；可信度

        y_, confidence = face_recognizer.predict(face)
        name = names[y_]
        print('这个人是---------', name)
        cv2.imshow('face', face)
        k = cv2.waitKey(0)
        if k == ord('q'):
            break
    cv2.destroyAllWindows()

cv2.face.FisherFaceRecognizer_create()
cv2.face.LBPHFaceRecognizer_create()

Eigenfaces通过PCA（主要成分分析）方法将人脸数据转换到另外一种空间维度做相似性运算。在计算过程中，算法可以忽略一些无关紧要的数据，仅识别一些具有代表性的特征数据，最后根据这些特征识别人脸。

FisherFace通过LDA（线性判别分析技术）方法将人脸数据转换到另外一个空间维度做投影计算，最后根据不同人脸数据得投影距离判断其相似度。

LBPH将图像分为若干个的子区域，并在子区域内根据LBP值统计其直方图，以直方图作为其判别特征。

基于OpenCV人脸识别Eigenfaces（特征脸）算法、Fisherfaces算法、Local Binary, Patter Histogram（LBPH）算法认识 (taodudu.cc)