光流是用来描述特征点在图像上的运动的属性。
特征点的灰度值可以表示为:
这里,一般假设运动过程中灰度不变,所以:
这里的
V
x
V_x
Vx、
V
y
V_y
Vy被称为光流。
LK光流法认为在一个小区域(3x3)内的光流是相同的,所以,上式可以扩展为:
为了适应较快的运动,LK光流法还引入了图像金字塔,迭代提升光流估计精度:
opencv提供了calcOpticalFlowPyrLK函数来计算光流,在计算光流之前,也可以通过goodFeaturesToTrack选择特征点,buildOpticalFlowPyramid设置金字塔。
#include <opencv2/opencv.hpp>
#include <iostream>
#include <vector>
using namespace std;
using namespace cv;
int main()
{
// pair of images and source points
vector<Point2f> prevPts, nextPts;
Mat prevImg = imread("RubberWhale1.png", IMREAD_GRAYSCALE);
Mat nextImg = imread("RubberWhale2.png", IMREAD_GRAYSCALE);
goodFeaturesToTrack(prevImg, prevPts, 100, 0.01, 2.0);
// pyramids
vector<Mat> prevPyr, nextPyr;
Size winSize(21,21);
int maxLevel = 3;
buildOpticalFlowPyramid(prevImg, prevPyr, winSize, maxLevel, true);
buildOpticalFlowPyramid(nextImg, nextPyr, winSize, maxLevel, true);
vector<Mat> p1, p2;
for (int i=0; i<prevPyr.size(); ++i) {
p1.push_back(prevPyr[i]);
p2.push_back(nextPyr[i]);
}
// compute sparse flow
Mat status;
calcOpticalFlowPyrLK(p1, p2, prevPts, nextPts, status, noArray(), winSize, maxLevel);
cout << nextPts.size() << " points" << endl;
return 0;
}
参考:https://github.com/opencv/opencv/issues/8268