用VS+Opencv从双目立体视差图中重建三维点云.rar_opencvvs_opencv三维图_双目_双目重建_点云三维重建

共1个文件

txt：1个

版权申诉

5星 · 超过95%的资源 17 浏览量 2022-07-14 11:06:20 上传评论 6 收藏 1KB RAR 举报

在计算机视觉领域，双目立体视觉是一种通过两个摄像头获取不同视角的图像，进而计算出场景中物体的三维信息的方法。本项目使用Visual Studio (VS) 集成开发环境和OpenCV库，从双目立体视差图中进行三维点云重建。OpenCV是一个强大的开源计算机视觉库，它包含了大量的图像处理和计算机视觉算法，对于实现此类任务非常有用。我们需要理解双目立体视觉的基本原理。双目视觉基于三角测量的概念，即通过比较左右两个摄像头拍摄的相同场景的不同视角，可以计算出场景中每个像素点的深度信息（视差）。这个过程包括几个关键步骤： 1. **相机标定**：对两个摄像头进行校准，获取它们的内参（如焦距、主点坐标）和外参（相对位置和角度），这对于准确计算视差至关重要。 2. **特征匹配**：在左右两幅图像中找到对应的特征点，例如使用SIFT、SURF或ORB等特征检测器和匹配器。 3. **视差计算**：基于匹配的特征点，应用几何约束（如立体匹配算法，如半全局匹配HOG或BGM）来计算像素级别的视差图。视差图描述了每个像素在左右图像间的位移，对应于物体的深度信息。 4. **深度图恢复**：根据视差图和相机参数，可以计算每个像素的深度值。深度图是二维图像，表示每个像素距离相机的距离。 5. **三维点云重建**：利用深度图，结合左右相机的内参和外参，我们可以将每个像素映射到三维空间，形成点云。点云是由许多三维点组成的集合，代表了场景的三维结构。在这个项目中，使用VS作为开发平台，集成OpenCV库进行上述操作。OpenCV提供了许多用于双目视觉的函数和模块，如`findChessboardCorners`进行棋盘格标定，`StereoBM`或`StereoSGBM`进行视差计算，以及`reprojectImageTo3D`用于将深度图转换为三维点云。在实现过程中，需要注意优化性能和减少计算误差，例如使用PyrUp和PyrDown进行金字塔匹配以提高精度，或者使用NAN值和不一致像素的剔除策略来过滤噪声。此外，可视化结果也是重要的部分，使用OpenCV的`imshow`函数展示视差图和点云，可以帮助我们直观地理解和评估重建效果。这个项目展示了如何通过VS和OpenCV从双目立体视差图重建三维点云，涵盖了计算机视觉中的基础理论和实际应用技术。通过实践这个项目，开发者可以深入理解双目视觉的工作原理，并提升在三维重建领域的技能。

资源详情

资源评论

资源推荐

收起资源包目录

用VS+Opencv从双目立体视差图中重建三维点云.rar （1个子文件）

用VS+Opencv从双目立体视差图中重建三维点云.txt 2KB

转载请注明原创出处：http://blog.csdn.net/u014283958/ //by shuishui shiwenjun 20160926 #include <pcl/visualization/cloud_viewer.h> #include <iostream> #include <pcl/io/io.h> #include <pcl/io/pcd_io.h> #include <opencv2/opencv.hpp> using namespace cv; using namespace std; using namespace pcl; int user_data; //相机内参，根据输入改动 const double u0 = 1329.49 / 4;//由于后面resize成原图的1/4所以有些参数要缩小相同倍数 const double v0 = 954.485 / 4; const double fx = 6872.874 / 4; const double fy = 6872.874 / 4; const double Tx = 174.724; const double doffs = 293.97 / 4; void viewerOneOff(visualization::PCLVisualizer& viewer) { viewer.setBackgroundColor(0.0, 0.0, 0.0); } int main() { PointCloud<PointXYZRGB> cloud_a; PointCloud<PointXYZRGB>::Ptr cloud(new PointCloud<PointXYZRGB>); Mat color1 = imread("im0.png"); Mat depth = imread("Sword1_perfect_d.png"); ////Resize //color1.resize(); Mat color; resize(color1, color, Size(color1.cols/4,color1.rows/4), 0, 0, CV_INTER_LINEAR); //imshow("h",color); //waitKey(0); int rowNumber = color.rows; int colNumber = color.cols; cloud_a.height = rowNumber; cloud_a.width = colNumber; cloud_a.points.resize(cloud_a.width * cloud_a.height); for (unsigned int u = 0; u < rowNumber; ++u) { for (unsigned int v = 0; v < colNumber; ++v) { /*unsigned int num = rowNumber*colNumber-(u*colNumber + v)-1;*/ unsigned int num = u*colNumber + v; double Xw = 0, Yw = 0, Zw = 0; Zw = fx*Tx / (((double)depth.at<Vec3b>(u, v)[0]) + doffs); Xw = (v+1 - u0) * Zw / fx; Yw = (u+1 - v0) * Zw / fy; cloud_a.points[num].b = color.at<Vec3b>(u, v)[0]; cloud_a.points[num].g = color.at<Vec3b>(u, v)[1]; cloud_a.points[num].r = color.at<Vec3b>(u, v)[2]; cloud_a.points[num].x = Xw; cloud_a.points[num].y = Yw; cloud_a.points[num].z = Zw; } } *cloud = cloud_a; visualization::CloudViewer viewer("Cloud Viewer"); viewer.showCloud(cloud); viewer.runOnVisualizationThreadOnce(viewerOneOff); while (!viewer.wasStopped()) { user_data = 9; } return 0; }