CN110830781B

CN110830781B - 一种基于双目视觉的投影图像自动校正方法及系统

Info

Publication number: CN110830781B
Application number: CN201911045424.9A
Authority: CN
Inventors: 张绍谦; 毕禛妮
Original assignee: Goertek Techology Co Ltd
Current assignee: Rongcheng goer Technology Co.,Ltd.
Priority date: 2019-10-30
Filing date: 2019-10-30
Publication date: 2021-03-23
Anticipated expiration: 2039-10-30
Also published as: WO2021082264A1; US20210368147A1; CN110830781A; US11606542B2

Abstract

本发明涉及一种基于双目视觉的投影图像自动校正方法及系统，该方法包括：获取投影平面上投影图像的深度图；计算源图像和投影图像之间的第一变换关系；根据深度图，获取畸变图像；获取对畸变图像校正后的校正图像；计算畸变图像和校正图像之间的第二变换关系；根据第一变换关系和第二变换关系，获取对源图像和校正图像之间的校正关系；根据校正关系，对投影图像进行校正。本发明用于实现对投影图像的高效自动校正，且不受投影区域限制，校正灵活性高。

Description

一种基于双目视觉的投影图像自动校正方法及系统

技术领域

本发明属于投影仪技术领域，具体涉及一种基于双目视觉的投影图像自动校正方法及系统。

背景技术

投影仪最常用的模式是垂直投影，即，投影仪发出的光束垂直投射到一个平面上而形成图像。在垂直投影中，投影仪的位置应尽可能与投影屏幕成直角才能够保证投影效果，如果两者不能保持垂直，投影屏幕上的投影图像就会产生畸变。在这个过程中，需要使用一个梯形校正的技术，通过梯形校正(或称矩形校正)算法，把畸变的投影图像纠正为正常的矩形画面，从而得到想要的投影效果。

现有的投影仪自动梯形校正一般采用加速度传感器测量投影仪的偏移量，通过对投影图像反向补偿的方法校正投影图像，但加速度传感器可以测量垂直方向上偏转角，但是当投影仪仅仅在水平方向发生偏转时，无法测得与投影平面法向量的偏转角，导致画面校正效果不好；如果想要测量水平方向的偏转角需要辅助多个加速度传感器，增加了投影仪的结构设计难度和空间，也增加了投入成本。因此，需要一种有效调整投影设备以解决投影设备的投影图像发生畸变的方法。

发明内容

本发明提供一种基于双目视觉的投影图像自动校正方法及系统，基于双目视差原理对投影图像进行三维重建，且对投影图像反向变换，实现对投影图像的高效自动校正，且不受投影区域限制，校正灵活性高。

为了解决上述技术问题，本发明所提出如下技术方案予以解决：

一种基于双目视觉的投影图像自动校正方法，其特征在于，包括：获取投影平面上投影图像的深度图；计算所述源图像和投影图像之间的第一变换关系；根据所述深度图，获取畸变图像；获取对所述畸变图像校正后的校正图像；计算所述畸变图像和所述校正图像之间的第二变换关系；根据第一变换关系和第二变换关系，获取对所述源图像和所述校正图像之间的校正关系；根据所述校正关系，对所述投影图像进行校正。

如上所述的基于双目视觉的投影图像自动校正方法，计算所述源图像和投影图像之间的第一变换关系，具体包括：根据所述源图像和相机图像的匹配关系，计算所述源图像与所述相机图像之间的变换关系A；根据所述深度图对应的深度值、以及所述相机图像与所述投影图像之间的匹配关系，计算所述相机图像和所述投影图像之间的变换关系B；根据所述变换关系A和变换关系B计算所述第一变换关系。

如上所述的基于双目视觉的投影图像自动校正方法，所述相机图像为同一个摄像头所拍摄。

如上所述的基于双目视觉的投影图像自动校正方法，计算所述源图像和投影图像之间的第一变换关系，具体包括：根据所述深度图对应的深度值，以及所述源图像和所述投影图像之间的匹配关系计算所述第一变换关系。

如上所述的基于双目视觉的投影图像自动校正方法，获取投影平面上投影图像的深度图，还包括；对左摄像头和右摄像头进行相机标定；对所述左摄像头拍摄的左相机图像和右摄像头拍摄的右相机图像进行立体校正；立体匹配所述左右相机图像；获取所述左右相机图像上所有对应点的视差图；根据视差图，计算所述深度图。

如上所述的基于双目视觉的投影图像自动校正方法，获取对所述畸变图像校正后的校正图像，具体为：获取所述畸变图像的内接矩形。

如上所述的基于双目视觉的投影图像自动校正方法，获取所述畸变图像的内接矩形，具体包括：识别所述畸变图像的四个外轮廓边形成的四个角部的角部坐标；计算每条外轮廓边的中点的中点坐标；连接相对外轮廓边的中点以形成交点，所述交点作为所述内接矩形的中心点；计算所述交点到每条外轮廓边的最短距离；将所述最短距离在图像坐标系下进行横轴分解和纵轴分解，横轴分解量的两倍的长度作为所述内接矩形的一个边长，纵轴分解量的两倍的长度作为所述内接矩形的另一边长。

如上所述的基于双目视觉的投影图像自动校正方法还包括：对求解后的所述内接矩形的大小进行调整的步骤。

本发明还涉及一种基于双目视觉的投影图像自动校正系统，包括投影仪、两台摄像头和主控单元，以及与所述主控单元通信连接的如下部分：投影图像重建模块，其用于获取所述投影图像的深度图，并根据所述深度图，获取畸变图像；第一计算模块，其用于计算所述源图像和投影图像之间的第一变换关系；图像获取模块，其用于获取所述畸变图像校正后的校正图像；第二计算模块，其用于计算所述畸变图像和校正图像之间的第二变换关系；第三计算模块，其用于根据所述第一变换关系和第二变换关系，计算所述源图像和所述校正图像之间的校正关系；校正模块，其根据所述校正关系，对投影至投影平面上的投影图像进行校正。

如上所述的基于双目视觉的投影图像自动校正系统，所述两台摄像头对称布置在所述投影仪的出影面的两侧，且所述两台摄像头的视场范围大于所述投影仪的投影范围。

与现有技术相比，本发明的优点和有益效果是：通过对投影图像进行视觉重建，获取深度图以及源图像与投影图像之间的变换关系，且根据深度图获取投影图像的畸变图像，对畸变图像进行校正得到校正图像，根据源图像和投影图像之间的变换关系以及畸变图像与校正图像之间的关系，便于将投影图形进行畸变校正，该校正方法基于双目摄像头采集、重建并恢复投影图像，不受投影区域的限制，校正灵活性高，且校正方法简单快速，校正效率高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明实施例或现有技术描述中所需要使用的附图作一简要介绍，显而易见地，下面描述的附图是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明提出的基于双目视觉的投影图像自动校正方法一个实施例的流程图；

图2为本发明提出的基于双目视觉的投影图像自动校正方法实施例中获取深度图像的流程图；

图3为本发明提出的基于双目视觉的投影图像自动校正方法实施例中获取校正图像的流程图；

图4为本发明提出的基于双目视觉的投影图像自动校正方法实施例中源图像、投影图像及相机图像之间的关系示意图；

图5为本发明提出的基于双目视觉的投影图像自动校正方法实施例中源图像及投影图像之间的关系示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1虽然示出了每个阶段的流程关系，但是并不代表本发明提出的自动校正方法的实现顺序，这些阶段的实现顺序并不一定是图1中示出的顺序，图1示出的实现顺序仅是为了清楚说明投影图像的自动校正过程。

S1：获取投影平面上投影图像P的深度图。

在本实施例中，在投影仪的两侧，具体在投影仪的出影面的两侧对称设置有两台摄像头，该摄像头可以检测深度，其中两台摄像头的视场在投影平面上能够相互重合，且摄像头视场范围大于投影仪的投影范围，使得两台摄像头均能够捕捉到投影至投影平面上的投影图像P。

如图2所示，其示出了获取投影图像P的深度图的流程图，包括（1）相机标定；（2）立体校正；（3）立体匹配；（4）获取深度图。

具体地，在（1）相机标定中，采用离线校准方法来标定相机，以求出相机内参数系数矩阵Kc、外参数旋转矩阵R和平移向量t以及畸变系数，采用相机标定的方法一般采用OpenCV标定函数或MATLAB标定工具箱实现，这种相机标定方法是数字图像处理领域成熟公开的内容，在此不再赘述。其中OpenCV是跨平台的开源计算机视觉库，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

（2）立体校正的具体实现过程是：a.打开两台摄像头和和投影仪，投影仪向投影平面投射白噪声图像，获取两台摄像头所同时拍摄的左相机图像和右相机图像；b.读取上述摄像头标定后的相机标定参数文件，分别获得左摄像头和右摄像头的内参矩阵、外参数旋转矩阵及平移向量和畸变系数；c.使用OpenCV中stereoRctify函数计算出左相机图像和右相机图像的旋转矩阵；d.根据内参数矩阵和外参数旋转矩阵分别在左相机图像和右相机图像上使用OpenCV中的initUndistortRectifyMap函数计算出X方向和Y方向的映射矩阵；e.分别在左相机图像和右相机图像上根据得到的映射矩阵使用OpenCV中的remap函数得到校正后的左相机图像和右相机图像；f.裁剪出校正后的左相机图像和右相机图像的有效区域得到最终结果，完成立体校正过程。

其中由于摄像头内部电路元件在工作过程中因自身缺陷、工作环境不稳定，电子电路内部的复杂响应与干扰而在图像采集过程中产生噪声，因此，可以对采集的图像进行预处理，包括图像的灰度化、几何变换、高斯滤波等方法对图像进行降噪和增强。

（3）立体匹配过程是在立体校正后的左相机图像和右相机图像中找到两幅图像中的对应像素之后进行，即校正时找到的左相机图像中的某些像素以及与该些像素对应的右相机图像中的一些像素，具体地，首先可以对图像进行例如灰度化或高斯滤波等预处理，然后计算左相机图像和右相机图像的匹配代价以及匹配代价聚合（具体也可以参见申请号为“201711321133.9”、发明名称为“一种基于立体视觉的积尘检测装置及方法”的发明专利），再进行视差计算及视差优化，上述这种立体匹配过程为数字图像处理领域成熟公开的内容，在此不再赘述。

（4）根据左相机图像和右相机图像立体匹配后的结构得到的对应匹配的两点m1和m2，以及左摄像头和右摄像头标定得到的焦距f，计算出图像中每个像素点的深度值z：

，其中b两台摄像头的光心之间的距离，D为点m1和m2之间的视差值。根据各个像素点的深度值z，可以得到深度图。

S2：计算源图像O与投影图像P之间的第一变换关系Q。

源图像中任意一点o（u,v）投射至投影平面上的三维空间坐标位置的点p为（s，t，z），点p再被左摄像头和右摄像头中一个（为了便于说明，在S2中均选择左摄像头）捕捉到，反馈至相机图像C上的坐标为c（x,y）。其中，投影平面上的点p（s，t，z）中的（s,t）是在相机坐标系下变换得到的，深度z通过如上深度图得到，源图像上点o（u,v）和相机图像上点c（x,y）均在图像坐标系下。

在第一种实施例中，通过计算源图像O、投影图像P和相机图像C之间的关系源图像O与投影图像P之间的第一变换关系Q。

如图4所示，假设源图像O到相机图像C的空间转换关系是矩阵T，相机图像C到投影图像P的空间转换关系是矩阵R，则源图像O与投影图像P之间的第一变换关系为矩阵Q=TR，通过动态求解矩阵Q摆脱对投影区域的限制，实现在任意区域投影亦可进行校正的方法。

具体地，矩阵T可以通过如下描述过程获得。投影仪可以投影已知的图像（例如标准棋盘格图像），利用OpenCV的Harris角点检测函数得到源图像O和相机图像C中的角点的坐标。结合特征点匹配方法，例如可以通过读取指定角点的位置的方法或是利用OpenCV中SIFT、SURF、FAST、ORB等特征点匹配的方法，分别将源图像O中的例如四个点的坐标输入到源数组src中，并将与该四个点对应匹配的相机图像C中的四个点的坐标存储在目标数组dst中，则通过调用OpenCV的findHomography函数求解源图像O到相机图像C之间的单应性矩阵T，例如T为3×3的矩阵。

矩阵R可以通过如下描述过程获得。由于投影图像P上的点p（s，t，z）是在相机坐标系下的三维表示，相机图像C上的点c（x，y）是图像像素坐标系下的成像点，因此，相机图像C到投影图像P的变换实质上是图像像素坐标系到相机坐标系的变换，即相机的内参数矩阵Kc，R=Kc其中Kc在相机标定部分中已计算得出。

在替代性实施例中，也可以不求取矩阵T，直接通过源图像O到投影图像P的关系求取第一变换关系Q。

根据重建的深度图，可以得到相机坐标系下投影图像P上的点。

投影图像P上的点x_p（s，t，z）和源图像O上的点x_o（u，v）求解源图像O与投影图像P之间的第一变换关系Q。

根据相机图像C到投影图像P的变换矩阵R，得知R（s，t，1）^T=（x，y，1）^T，其中点c（x，y）事先通过角点检测（例如Harris角点检测、Fast角点检测、SIFT特征点提取等）的方法得到，因此，可以对应求得对应的点p（s，t，z）中的（s，t），且点p的z坐标通过深度图得到。

此外，参考图4，并根据通过源图像O与相机图像C的角点检测及匹配，可以得到点p：x_p（s，t，z）对应的源图像O中的点x_o（u,v），因此，根据特征点匹配，可以建立如下公式：,其中，

和

分别是x_p和x_o的齐次坐标形式，s是比例系数，因此，源图像O和投影图像P之间的变换矩阵Q为3×4的矩阵，由于是齐次变换，所以Q有11个未知系数，至少需要6个对应的点来求解Q。

这种Q计算方法相对于第一种实施例中Q的计算方法，不用计算矩阵T，简化了算法，且避免引入计算源图像O和相机图像C之间矩阵T所带来的的误差。

需要解释的的是，上述相机图像C为同一摄像头拍摄得到的，可以都为左摄像头拍摄得到的，也可以都为右摄像头拍摄得到的。

S3：根据深度图像，获取畸变图像。

深度图像下对应的三维点坐标是在相机坐标系下的点，而畸变图像是在图像坐标系下的点，因此，参考图4，利用相机标定中的内参数矩阵Kc将深度图转换为图像坐标系中，即（x，y，1）^T=Kc（s，t，1）^T。

S4：获取对畸变图像校正后的校正图像。

在本实施例中，可以选取畸变图像的内接矩形为校正后的校正图像。具体地，参见图3所示。

S41：识别畸变图像的四个外轮廓边形成的四个角部的角部坐标；

图像的边缘检测也是数字图像处理领域成熟公开的内容，例如可以通过OpenCV中的轮廓检测函数findContours识别畸变图像的外轮廓点的坐标，优选外轮廓边形成的四个角部的角部坐标，记为x1，x2，x3和x4，其中x1，x2，x3和x4所在的点在顺时针方向上。

S42：计算每条外轮廓边的中点的中点坐标；

计算O1为x1和x2的中点，O2为x2和x3的中点，O3为x3和x4的中点，O4为x4和x1的中点；

S43：连接相对外轮廓边的中点以形成交点作为内接矩形的中心点；

连接O1和O3，O2和O4形成交点O，点O作为内接矩形的中心点；

S44：计算交点到每条外轮廓边的最短距离d；

具体地，将点O的坐标传入OpenCV的PointPolygonTest函数，返回O点到各外轮廓边上的最短距离d；

S45：将最短距离d在图像坐标系下进行横轴分解和纵轴分解；

对最短距离d分别在相机图像C所在的图像坐标系xy下分别在x方向（即横轴方向）和y方向（即纵轴方向）上分解，将x方向上分解的分量长度的两倍作为内接矩形的一个边长，将y方向上分解的分量长度的两倍作为内接矩形的另一边长。

这样内接矩形就是畸变图像校正后的图像。

此外，为了使内接矩形满足标准（16:9或4:3）的输出画面大小，利用OpenCV中图像缩放函数resize调整内接矩形的大小。

S5：计算畸变图像和校正图像之间的第二变换关系S。

由于畸变图像和校正图像均是在图像坐标系下，且畸变图像的特征点可以选择外轮廓边形成的四个角部的角点，且校正图像的特征点对应选择其内接矩形的的四个顶点，根据变换关系，根据对应的四组点坐标，可以求取畸变图像到校正图像的变换关系矩阵S。

S6：参考图5，根据如上求取的源图像O到投影图像P的第一变换关系矩阵Q以及投影平面上畸变图像到校正图像的第二变换关系矩阵S，可以获取源图像O到校正图像的校正关系W=QS。

S7：通过求解变换矩阵W，对投影图像P进行校正，最后输出校正后的图像。

本发明中的投影图像自动校正方法，计算量小，提升校正效率，且基于双目相机采集、重建并恢复投影图像，且动态计算第一变换关系Q和第二变换关系矩阵S，不受投影区域的限制，在任何投影平面上都可以实现自动校正的功能，提高了投影仪使用灵活性。

本发明还提供了一种基于双目视觉的投影图像自动校正系统，该系统用于实现如上所述的投影图像自动校正方法，具体的，该系统包括投影仪（未示出）、两台摄像头（未示出）和主控单元（未示出），两台摄像头对称位于投影仪的出影面的两侧，且视场重合且视场范围大于投影仪的投影范围；主控单元用于控制投影仪和两台摄像头的整个控制系统的运行、图像识别和处理、投影视频信号的处理以及投影仪和摄像头的电源管理等功能，其可以是MCU（Microcontroller Unit，微控制单元）、AP（Application Processor，应用处理器）等核心处理器。

本实施例自动校正系统还包括投影图像重建模块（未示出），其用于获取投影图像P的深度图，并根据深度图，获取畸变图像；第一计算模块（未示出），其用于计算源图像O和投影图像P之间的第一变换关系Q；图像获取模块（未示出），其用于获取畸变图像校正后的校正图像；第二计算模块（未示出），其用于计算畸变图像和校正图像之间的第二变换关系S；第三计算模块（未示出），其用于根据第一变换关系Q和第二变换关系S，计算源图像O和校正图像之间的校正关系W；校正模块（未示出），其根据校正关系W，对投影图像P进行校正。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种基于双目视觉的投影图像自动校正方法，其特征在于，包括：

获取投影平面上投影图像的深度图；

计算源图像和投影图像之间的第一变换关系；

根据所述深度图，获取畸变图像；

获取对所述畸变图像校正后的校正图像；

计算所述畸变图像和所述校正图像之间的第二变换关系；

根据第一变换关系和第二变换关系，获取对所述源图像和所述校正图像之间的校正关系；

根据所述校正关系，对所述投影图像进行校正。

2.根据权利要求1所述的基于双目视觉的投影图像自动校正方法，其特征在于，计算所述源图像和投影图像之间的第一变换关系，具体包括：

根据所述源图像和相机图像的匹配关系，计算所述源图像与所述相机图像之间的变换关系A；

根据所述深度图对应的深度值、以及所述相机图像与所述投影图像之间的匹配关系，计算所述相机图像和所述投影图像之间的变换关系B；

根据所述变换关系A和变换关系B计算所述第一变换关系；

其中所述双目视觉包括设置在投影仪的出影面的两侧对称设置的两台摄像头，所述相机图像为任一摄像头所采集的投影图像。

3.根据权利要求2所述的基于双目视觉的投影图像自动校正方法，其特征在于，所述相机图像为同一个摄像头所拍摄。

4.根据权利要求1所述的基于双目视觉的投影图像自动校正方法，其特征在于，计算所述源图像和投影图像之间的第一变换关系，具体包括：

根据所述深度图对应的深度值，以及所述源图像和所述投影图像之间的匹配关系计算所述第一变换关系。

5.根据权利要求1所述的基于双目视觉的投影图像自动校正方法，其特征在于，获取投影平面上投影图像的深度图，还包括；

对左摄像头和右摄像头进行相机标定；

对所述左摄像头拍摄的左相机图像和右摄像头拍摄的右相机图像进行立体校正；

立体匹配所述左相机图像和右相机图像；

获取所述左相机图像和右相机图像上所有对应点的视差图；

根据视差图，计算所述深度图。

6.根据权利要求1所述的基于双目视觉的投影图像自动校正方法，其特征在于，获取对所述畸变图像校正后的校正图像，具体为：

获取所述畸变图像的内接矩形。

7.根据权利要求6所述的基于双目视觉的投影图像自动校正方法，其特征在于，获取所述畸变图像的内接矩形，具体包括：

识别所述畸变图像的四个外轮廓边形成的四个角部的角部坐标；

计算每条外轮廓边的中点的中点坐标；

连接相对外轮廓边的中点以形成交点，所述交点作为所述内接矩形的中心点；

计算所述交点到每条外轮廓边的最短距离；

将所述最短距离在图像坐标系下进行横轴分解和纵轴分解，横轴分解量的两倍的长度作为所述内接矩形的一个边长，纵轴分解量的两倍的长度作为所述内接矩形的另一边长。

8.根据权利要求7所述的基于双目视觉的投影图像自动校正方法，其特征在于，还包括：

对求解后的所述内接矩形的大小进行调整的步骤。

9.一种基于双目视觉的投影图像自动校正系统，包括投影仪、两台摄像头和主控单元，其特征在于，所述投影图像自动校正系统还包括与所述主控单元通信连接的如下部分：

投影图像重建模块，其用于获取所述投影图像的深度图，并根据所述深度图，获取畸变图像；

第一计算模块，其用于计算源图像和投影图像之间的第一变换关系；

图像获取模块，其用于获取所述畸变图像校正后的校正图像；

第二计算模块，其用于计算所述畸变图像和校正图像之间的第二变换关系；

第三计算模块，其用于根据所述第一变换关系和第二变换关系，计算所述源图像和所述校正图像之间的校正关系；

校正模块，其根据所述校正关系，对投影至投影平面上的投影图像进行校正。

10.根据权利要求9所述的基于双目视觉的投影图像自动校正系统，其特征在于，所述两台摄像头对称布置在所述投影仪的出影面的两侧，且所述两台摄像头的视场范围大于所述投影仪的投影范围。