2021-04-10

图像到图像的映射

1.单应性变换

单应性变换是将一个平面内的点映射到另一个平面内的二维投影变换。在这里，平面是指图像或者三维中的平面表示。单应性变换具有很强的实用性，比如图像配准，图像纠正和纹理扭曲，以及创建全景图像，我们将频繁的使用单应性变换。本质上，单应性变换H，按照下面的方程映射二维中的点（齐次坐标意义下）：

或者

对于图像平面内（甚至是三维中的点，后面我们会介绍到）的点，齐次坐标是个非常有用的表示方式。点的齐次坐标是依赖于其尺度定义的，所以，x=[x,y,w]=[ax,ay,aw]=[x/w,y/w,1]都表示同一个二维点。因此，单应性矩阵H也仅依赖尺度定义，所以，单应性矩阵具有8个独立的自由度。我们通常使用w=1来归一化点，这样，点具有唯一的图像坐标x和y。这个额外的坐标是的我们可以简单地使用一个矩阵来表示变换。

1.1仿射变换

由于仿射变换具有6个自由度，因此我们需要三个对应点来估计矩阵H。通过将最后两个元素设置为0，即h₇=h₈=0，仿射变换可以用上面的DLT算法估计得出。

def Haffine_from_points(fp, tp):
“”“计算H仿射变换，使得tp是fp经过仿射变换H得到的”""

if fp.shape != tp.shape:
    raise RuntimeError('number of points do not match')
    
# 对点进行归一化（对数值计算很重要）
# --- 映射起始点 ---
m = mean(fp[:2], axis=1)
maxstd = max(std(fp[:2], axis=1)) + 1e-9
C1 = diag([1/maxstd, 1/maxstd, 1]) 
C1[0][2] = -m[0]/maxstd
C1[1][2] = -m[1]/maxstd
fp_cond = dot(C1,fp)

# --- 映射对应点 ---
m = mean(tp[:2], axis=1)
C2 = C1.copy() # 两个点集，必须都进行相同的缩放
C2[0][2] = -m[0]/maxstd
C2[1][2] = -m[1]/maxstd
tp_cond = dot(C2,tp)

# 因为归一化后点的均值为0，所以平移量为0
A = concatenate((fp_cond[:2],tp_cond[:2]), axis=0)
U,S,V = linalg.svd(A.T)

# 如Hartley和Zisserman著的Multiplr View Geometry In Computer,Scond Edition所示，
# 创建矩阵B和C
tmp = V[:2].T
B = tmp[:2]
C = tmp[2:4]

tmp2 = concatenate((dot(C,linalg.pinv(B)),zeros((2,1))), axis=1) 
H = vstack((tmp2,[0,0,1]))

# 反归一化
H = dot(linalg.inv(C2),dot(H,C1))

return H / H[2,2]

2.图像扭曲

对图像块应用仿射变换，我们将其称为图像扭曲（或者仿射扭曲）。该操作不仅经常在计算机图形学中，而且经常出现在计算机视觉算法总。扭曲的操作可以使用SciPy工具包中的ndimage包来简单完成。

from numpy import *
from matplotlib.pyplot import *
from scipy import ndimage
from PIL import Image
im = array(Image.open(‘raccoon.jpg’).convert(‘L’))
H = array([[1.4,0.05,-100],[0.05,1.5,-100],[0,0,1]])
im2 = ndimage.affine_transform(im, H[:2,:2],(H[0,2],H[1,2]))

gray()
subplot(121)
imshow(im)
axis(‘off’)
subplot(122)
imshow(im2)
axis(‘off’)
show()

2.1 图像中的图像

仿射扭曲的一个简单例子是，将图像或者图像的一部分放置在另一幅图像中，是的他们能够和指定的区域或者标记物对齐。

def image_in_image(im1, im2, tp):
“”“使用仿射变换将im1放置在im2上，使im1图像的角和tp尽可能的靠近
tp是齐次表示的，并且是按照从左上角逆时针计算的”""

# 扭曲的点
m,n = im1.shape[:2]
fp = array([[0,m,m,0],[0,0,n,n],[1,1,1,1]])

# 计算仿射变换，并且将其应用于图像im1中
H = Haffine_from_points(tp,fp)
im1_t = ndimage.affine_transform(im1,H[:2,:2],
                (H[0,2],H[1,2]),im2.shape[:2])
alpha = (im1_t > 0)

return (1-alpha)*im2 + alpha*im1_t

im1 = array(Image.open(‘dog.jpg’).convert(‘L’))
im2 = array(Image.open(‘raccoon.jpg’).convert(‘L’))

gray()
subplot(131)
imshow(im1)
axis(‘equal’)
axis(‘off’)
subplot(132)
imshow(im2)
axis(‘equal’)
axis(‘off’)

#选定一些目标点
tp = array([[264, 538, 540, 264], [40, 36, 605, 605], [1, 1, 1, 1]])

im3 = image_in_image(im1, im2, tp)
subplot(133)
imshow(im3)
axis(‘equal’)
axis(‘off’)
show()