OpenCV书签 #互信息的原理与相似图片搜索实验

1. 介绍

互信息（Mutual Information） 是信息论中的一个概念，用于衡量两个随机变量之间的关联程度。在图像处理和计算机视觉中，互信息常被用来度量两幅图像之间的相似性。

互信息可以看成是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性对任意随机变量。比如，不会由于你知道了一个事件，反而使另一个事件的不确定度增加。

1.1 助记

这里引用知乎神贴 - 什么是互信息中的比喻：

比如说有一天你的女神突然问你：“你猜猜我的爱豆是TFboys里的谁？”
唉，这要是猜不到，女神的心岂不是很完蛋，追求女神的路从此就凉了。
正当你非常不确定的时候，女神又说：“给你个提示吧，名字是四个字。”
此时你特别开心，因为对于答案的不确定性一下子就减少了（当然这个例子比较极端，不确定性直接降为0）

所以，互信息的意思就是，通过了知道一个变量减少了对另一个变量的不确定性。

这个不确定性减少的量也就是互信息的大小。

2. 魔法

使用互信息来度量两幅图像之间的相似性，只需要三步核心操作：

图像配准： Image Registration，在使用互信息进行相似性度量之前，通常需要对图像进行配准，确保它们对齐。这可以通过一些配准算法来实现，确保图像的空间位置相匹配。
计算互信息： 使用配准后的图像，计算它们之间的互信息。可以使用一些图像处理库，如 Scikit-Image 或 OpenCV，来实现互信息的计算。
相似性度量： 可以根据具体的需求和任务，设定一个阈值，选择互信息值高于该阈值的图像作为相似图像。

3. 实验

3.1 魔法拆解

第一步：图像配准

图像配准（Image Registration），在使用互信息进行相似性度量之前，通常需要对图像进行配准，确保它们对齐。这可以通过一些配准算法来实现，确保图像的空间位置相匹配。

# 读取图像
img1 = cv2.imread(img1_path)
img2 = cv2.imread(img2_path)

# 检查图像形状，保证两个图像必须具有相同的尺寸，即相同的高度和宽度
if img1.shape != img2.shape:
    # 调整图像大小，使它们具有相同的形状
    img2 = cv2.resize(img2, (img1.shape[1], img1.shape[0]))

第二步：计算互信息

使用配准后的图像，计算它们之间的互信息。可以使用一些图像处理库，如 Scikit-Image 或 OpenCV，来实现互信息的计算。

这里我们先使用灰度直方图来计算互信息：

# 将直方图归一化
# 即将直方图中的每个元素除以直方图的总和，以确保它们的和为1
# 这样做的目的是为了消除不同图像的像素数量差异，使得直方图的形状更具可比性
hist1 /= hist1.sum()
hist2 /= hist2.sum()

# 计算两个归一化直方图的互信息
mutual_score = np.sum(np.minimum(hist1, hist2))
print(f"图像2：{
     
     os.path.basename(img2_path)} 与 图像1：{
     
     img1_path} 的相似性指数：{
     
     mutual_score}")

这里首先使用 np.minimum 函数计算 hist1 和 hist2 中每个对应位置的元素的较小值，然后使用 np.sum 计算这些较小值的总和。这个总和即为互信息的计算结果，即互信息的大小。

第三步：相似性度量

根据具体的需求和任务，设定一个阈值，选择互信息值高于该阈值的图像作为相似图像。

# 在实际应用中，可以根据互信息的阈值来判断两幅图像是否相似
if mutual_score > 0.7:
    print("两图相似")
else:
    print("两图不相似")

3.2 小实验

实验场景

计算两幅灰度图像的直方图，然后通过归一化的直方图计算它们的互信息。最后，根据设定的阈值判断两幅图像是否相似。

实验代码

"""
以图搜图：互信息（Mutual Information）查找相似图像的原理与实现
实验环境：Win10 | python 3.12.1 | OpenCV 4.9.0 | numpy 1.26.3 | Matplotlib 3.8.2
实验时间：2024-01-24
实验目的：计算两幅灰度图像的直方图，然后通过归一化的直方图计算它们的互信息。最后，根据设定的阈值判断两幅图像是否相似
实例名称：mutualInformation_v1.0.py
"""

import os
import cv2
import time
import numpy as np

time_start = time.time()

# 目标图像素材库文件夹路径
database_dir = '../../P0_Doc/img_data/'

# 读取查询图像和数据库中的图像
img1_path = database_dir + 'car-101.jpg'
img2_path = database_dir + 'car-102.jpg'
img2_path = database_dir + 'car-103.jpg'

# 读取两幅图像
img1 = cv2.imread(img1_path, cv2.IMREAD_GRAYSCALE)
img2 = cv2.imread(img2_path, cv2.IMREAD_GRAYSCALE)

# 检查图像形状，保证两个图像必须具有相同的尺寸，即相同的高度和宽度
if img1.shape != img2.shape:
    # 调整图像大小，使它们具有相同的形状
    img2 = cv2.resize(img2, (img1.shape[1], img1.shape[0]))

# 使用 OpenCV 中的 calcHist 函数计算直方图
hist1 = cv2.calcHist([img1], [0], None, [256], [0, 256])
hist2 = cv2.calcHist([img2], [0], None, [256], [0, 256])

# 将直方图归一化
# 即将直方图中的每个元素除以直方图的总和，以确保它们的和为1
# 这样做的目的是为了消除不同图像的像素数量差异，使得直方图的形状更具可比性
hist1 /= hist1.sum()
hist2 /= hist2.sum()

# 计算两个归一化直方图的互信息
# 首先，使用 np.minimum 函数计算了 hist1 和 hist2 中每个对应位置的元素的较小值，然后使用 np.sum 计算了这些较小值的总和。这个总和即为互信息的计算结果
mutual_score = np.sum(np.minimum(hist1, hist2))
print(f"图像2：{
     
     os.path.basename(img2_path)} 与 图像1：{
     
     img1_path} 的相似性指数：{
     
     mutual_score}")

# 在实际应用中，可以根据互信息的阈值来判断两幅图像是否相似
if mutual_score > 0.7:
    print("两图相似")
else:
    print("两图不相似")

time_end = time.time()
print(f"耗时：{
     
     time_end - time_start}")

输出打印：

图像2：car-103.jpg 与 图像1：../../P0_Doc/img_data/car-101.jpg 的相似性指数：0.6439836025238037
两图不相似
耗时：0.0687875747680664

示例中的互信息计算，利用了灰度直方图比较方法，通过比较两幅图像的灰度直方图，评估它们的相似性。
注意： 如果这里不进行图像配准，不保证等高等宽，互信息的相似度也会产生差异。

插播： 直方图是一种统计图像中像素值分布的方法，它可以描述图像中不同灰度级别的像素数量。关于直方图的原理与实验，可详见：OpenCV书签 #直方图算法的原理与相似图片搜索实验

为什么要用灰度直方图呢？有什么关联和区别？

互信息和灰度直方图算法是两个不同的概念，虽然在图像处理中它们有时候会交叉使用，但是还是需要注意：

互信息（Mutual Information）：

互信息是一种信息论中的概念，用于衡量两个随机变量之间的关联程度。
在图像处理中，互信息通常用于度量两幅图像之间的相似性。它考虑的是两个变量的联合概率分布与各自边缘概率分布之间的关系。
互信息越高，表示两个随机变量之间的关联越强。

灰度直方图算法（Image Histogram）：

灰度直方图是一种统计图像中像素值分布的方法，它描述了图像中不同灰度级别的像素数量。
在灰度直方图算法中，图像的直方图表示了图像中每个灰度级别的像素数量。
直方图比较是通过比较两幅图像的灰度直方图来评估它们的相似性。常见的比较方法包括交叉相关性、巴氏距离等。

虽然互信息的计算可以涉及到灰度直方图，但两者并不等同。互信息是一种更广泛的概念，而灰度直方图算法是一种具体的图像表示和相似性度量方法。

4. 测试

4.1 实验素材

MutualInformation-001

4.2 实验过程

纵向比较

通过 sklearn.metrics 提供的各类互信息比较算法，纵向比较两图的相似性。

实验代码

"""
以图搜图：互信息（Mutual Information）查找相似图像的原理与实现
实验环境：Win10 | python 3.12.1 | OpenCV 4.9.0 | numpy 1.26.3 | Matplotlib 3.8.2
实验时间：2024-01-24
实验目的：通过 sklearn.metrics 提供的各类互信息比较算法，纵向比较两图的相似性
实例名称：mutualInformation_v2.1.py
"""

import time
import cv2
from sklearn import metrics as mr
# from sklearn.metrics.cluster import normalized_mutual_info_score
# from sklearn.metrics.cluster import adjusted_mutual_info_score

def mutual_information_score(img1_reshape, img2_reshape):
    # mutual_info_score：标准互信息分数。度量两个随机变量之间的互信息，可用于衡量它们之间的关联性
    m_time_start = time.time()
    score_info = mr.mutual_info_score(img1_reshape, img2_reshape)
    m_time_end = time.time()
    print(f"互信息 mutual_info_score：标准互信息分数：{
     
     score_info}，耗时：{
     
     m_time_end - m_time_start}")

    # normalized_mutual_info_score：归一化互信息分数。用于衡量两个聚类结果之间的相似性，考虑到了数据集的随机性。通常被用作聚类性能的评估指标
    m_time_start = time.time()
    score_normal = mr.normalized_mutual_info_score(img1_reshape