Nothing Special   »   [go: up one dir, main page]

CN110336987B - 一种投影仪畸变校正方法、装置和投影仪 - Google Patents

一种投影仪畸变校正方法、装置和投影仪 Download PDF

Info

Publication number
CN110336987B
CN110336987B CN201910266198.0A CN201910266198A CN110336987B CN 110336987 B CN110336987 B CN 110336987B CN 201910266198 A CN201910266198 A CN 201910266198A CN 110336987 B CN110336987 B CN 110336987B
Authority
CN
China
Prior art keywords
projection
coordinate system
pixel
plane
projector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910266198.0A
Other languages
English (en)
Other versions
CN110336987A (zh
Inventor
苏劲
蔡志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bird Innovation Beijing Technology Co ltd
Original Assignee
Beijing Xiaoniao Tingting Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaoniao Tingting Technology Co Ltd filed Critical Beijing Xiaoniao Tingting Technology Co Ltd
Priority to CN201910266198.0A priority Critical patent/CN110336987B/zh
Publication of CN110336987A publication Critical patent/CN110336987A/zh
Application granted granted Critical
Publication of CN110336987B publication Critical patent/CN110336987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种投影仪畸变校正方法、装置和投影仪。本发明的方法包括：利用光机镜头将光栅像素面上的标准网格图像投影在投影面上，并利用摄像头拍摄投影面获取投影面上网格点的投影点云图像；根据预先构建的三维投影模型，获得投影面上网格点基于光机镜头坐标系的三维坐标；利用投影面上网格点的三维坐标获得基准投影平面，并利用基准投影平面和由惯性测量单元得到的投影仪的姿态信息构建世界坐标系，并获得世界坐标系与光机镜头坐标系之间的转换关系；根据转换关系获取光栅像素面上无畸变投影的目标区域；获得光栅像素面与目标区域的映射关系，利用映射关系对待投影内容进行纹理映射。本发明可以消除由投影角度不理想所引起的梯形畸变。

Description

一种投影仪畸变校正方法、装置和投影仪
技术领域
本发明涉及一种投影仪畸变校正方法、装置和投影仪。
背景技术
随着短焦光机技术的成熟及成本的大幅下降，智能投影仪在家居中的应用日益增多。不为满足家居用户对高质量观看体验的要求，智能投影仪的分辨率，亮度及色彩方面的图像质量得到了迅速提升。在通常情况下，如果投影仪的投影方向与投影屏幕之间不成直角，投影画面就会发生梯形畸变。而在实际应用中，用户会调节投影仪垂直方向上的投影倾角来产生不同高度及大小的投影画面，由此就会产生垂直梯形畸变，投影仪除了需要垂直梯形校正之外，还常常碰到因投影仪水平位置的偏移而产生梯形畸变。甚至受到放置平面不平整等因素的影响，投影仪也会有一个轴向旋转角度分量，造成投影水平面与绝对水平面不能保持水平，这种情况也会造成最终的投影画面产生畸变。
目前，绝大多数投影仪都具有垂直梯形校正功能，通过调整投影仪在垂直方向的梯形校正的强度，使得最终投影的画面成矩形。一些投影仪厂商已经研发出“水平梯形校正功能”，水平梯形校正解决了由于投影仪镜头与屏幕无法垂直而产生的水平方向图像的梯形失真，从而使投影仪可以在投影屏幕的侧面也可以实现标准矩形投影图像。
但已有解决方案还无法完美地解决轴向旋转偏离引起的畸变，使得投影仪对投影环境的适应性差、影响用户的观看体验。另外，目前的梯形校正技术大多需要用户通过目测校正、手工调整校正参数来完成校正流程的，自动化程度普遍不高。
发明内容
本发明提供了一种投影仪畸变校正方法、装置和投影仪，以至少部分解决上述问题。
第一方面，本发明提供了一种投影仪畸变校正方法，投影仪具有光机镜头、摄像头和惯性测量单元，该方法包括：利用所述光机镜头将光栅像素面上的标准网格图像投影在投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像；根据所述标准网格图像和所述投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得所述投影面上网格点基于所述光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建；利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面和由所述惯性测量单元得到的所述投影仪的姿态信息构建世界坐标系，并获得所述世界坐标系与所述光机镜头坐标系之间的转换关系；根据所述世界坐标系与所述光机镜头坐标系之间的转换关系，获取所述光栅像素面上无畸变投影的目标区域；获得所述光栅像素面与所述目标区域的映射关系，利用所述映射关系对待投影内容进行纹理映射，实现无畸变投影。
第二方面，本发明提供了一种投影仪畸变校正装置，投影仪具有光机镜头、摄像头和惯性测量单元，该装置包括：投影点云获取单元，利用所述光机镜头将光栅像素面上的标准网格图像投影在投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像；投影点云坐标计算单元，根据所述标准网格图像和所述投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得所述投影面上网格点基于所述光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建；转换关系计算单元，利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面和由所述惯性测量单元得到的所述投影仪的姿态信息构建世界坐标系，并获得所述世界坐标系与所述光机镜头坐标系之间的转换关系；目标区域确定单元，根据所述世界坐标系与所述光机镜头坐标系之间的转换关系，获取所述光栅像素面上无畸变投影的目标区域；纹理映射单元，获得所述光栅像素面与所述目标区域的映射关系，利用所述映射关系对待投影内容进行纹理映射，实现无畸变投影。
第三方面，本发明提供了一种投影仪，包括：光机镜头，将光栅像素面上的标准网格图像投影在投影面上；摄像头，拍摄投影面获取投影点云图像并发送给图形处理器；惯性测量单元，测量所述投影仪的姿态信息发送给所述图形处理器；存储器，存储计算机可执行指令；图形处理器，所述计算机可执行指令在被执行时使所述图形处理器执行前述的投影仪畸变校正方法。
第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有一个或多个计算机程序，一个或多个计算机程序被执行时实现前述的投影仪畸变校正方法。
本发明在投影仪内置摄像头、光机镜头和惯性测向单元，通过内置摄像头和光机镜头使得投影仪具备了立体视觉能力，利用投影仪的光机镜头和摄像头可以实现对投影环境的主动三维建模，建立三维投影模型，基于三维投影模型投影仪即可利用计算机视觉方法自动化地获得投影面的分布情况而无需借助外部设备、仪器，通过内置的惯性测量单元可以获得投影仪的姿态信息，结合投影面的分布情况和投影仪的姿态信息计算光栅像素面上的无畸变投影的目标区域，通过无畸变投影的目标区域与原始光栅图像的顶点匹配获得原始光栅图像与无畸变预校正图像的映射关系，在实时投影时，可以利用纹理映射技术实现对待投影图像进行畸变校正，从而消除由于投影仪与投影面之间投影角度不理想所引起的梯形畸变。
附图说明
图1为本发明实施例示出的投影仪畸变校正方法的流程图；
图2为本发明实施例示出的投影仪的光学系统示意图；
图3为本发明实施例示出的小孔成像原理图；
图4为本发明实施例示出的投影点云图像生成过程示意图；
图5为本发明实施例示出的三维投影模型示意图；
图6为本发明实施例示出的基准投影平面拟合过程示意图；
图7为本发明实施例示出的世界坐标系、光机镜头坐标系、光栅像素面与基准投影平面之间的关系示意图；
图8为本发明实施例示出的基准投影平面上四边形区域和最大内接矩形示意图；
图9为本发明实施例示出的光栅像素面上的目标区域示意图；
图10为本发明实施例示出的三角形mesh示意图；
图11为本发明实施例示出的预校正目标画面的网格示意图；
图12为本发明实施例示出的畸变校正投影效果示意图；
图13为本发明实施例示出的投影仪畸变校正装置的结构框图；
图14为本发明实施例示出的投影仪的结构示意图。
具体实施方式
本发明实施例提供一种投影仪畸变校正方法，利用计算机视觉的各种方法和投影仪自身姿态信息计算投影面的表面分布参数，以此分布参数为依据计算预校正目标图片网格纹理布局，通过GPU实现对输入图像的纹理映射校正，从而获得预畸变投影图像，使得在投影仪与投影面之间的投影角度不理想的情况，实现无畸变投影的效果。本发明实施例还提供了相应的装置、投影仪和计算机可读存储介质，以下分别进行详细说明。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读存储介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明提供一种投影仪畸变校正方法，本实施例中的投影仪具有光机镜头、摄像头和惯性测量单元。
图1为本发明实施例示出的投影仪畸变校正方法的流程图，如图1所示，本实施例的方法包括：
S110，利用光机镜头将光栅像素面上的标准网格图像投影在投影面上，并利用摄像头拍摄投影面获取投影面上网格点的投影点云图像。
本实施例中的光机可以理解为投影设备里的投影模块，通常情况下，光机就是把数字微镜器件显示核心(也称为光栅像素面)、光源、镜头光路、散热全部集中在一个机构里，做成一个整体部件，以防尘、防震。
S120，根据标准网格图像和投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得投影面上网格点基于光机镜头坐标系的三维坐标，其中三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建，用于计算投影面上网格点基于光机镜头坐标系的三维坐标。
S130，利用投影面上网格点的三维坐标，获得基准投影平面，并利用基准投影平面和由惯性测量单元得到的所述投影仪的姿态信息构建世界坐标系，并获得世界坐标系与光机镜头坐标系之间的转换关系。
在一些实施例中，陀螺仪测量的轴向旋转角度标识了投影仪所在水平面相对绝对水平面的偏离程度。其中，绝对水平面可以及理解为理想投影仪的光机镜头坐标系的XOZ平面，理想投影仪即不存在垂直、水平以及旋转方向上偏移的投影仪；投影仪所在水平面可以理解为光机镜头坐标系的XOZ 平面。
在一些实施例中，惯性测量单元包括陀螺仪，利用基准投影平面和由惯性测量单元得到的投影仪的姿态信息构建世界坐标系具体是利用基准投影平面和由陀螺仪测量的轴向旋转角度构建世界坐标系。
S140，根据世界坐标系与光机镜头坐标系之间的转换关系，获取光栅像素面上无畸变投影的目标区域。
S150，获得所述光栅像素面与所述目标区域的映射关系，利用所述映射关系对待投影内容进行纹理映射，实现无畸变投影。
本实施例在投影仪内置摄像头、光机镜头和惯性测向单元，通过内置摄像头和光机镜头使得投影仪具备了立体视觉能力，利用投影仪的光机镜头和摄像头可以实现对投影环境的主动三维建模，建立三维投影模型，基于三维投影模型投影仪即可利用计算机视觉方法自动化地获得投影面的分布情况而无需借助外部设备、仪器，通过内置的惯性测量单元可以获得投影仪的姿态信息，结合投影面的分布情况和投影仪的姿态信息计算光栅像素面上的无畸变投影的目标区域，通过无畸变投影的目标区域与原始光栅图像的顶点匹配获得原始光栅图像与无畸变预校正图像的映射关系，在实时投影时，可以利用纹理映射技术实现对待投影图像进行畸变校正，从而消除由于投影仪与投影面之间投影角度不理想所引起的梯形畸变。
为提升投影仪畸变校正的精度，本实施例预先对投影仪进行标定，获得投影仪的畸变参数，该畸变参数包括光机镜头和摄像头的内参数和外参数。
对投影仪的标定过程如下：
如图2所示，投影仪的光机镜头和摄像头之间存在一定距离，这样同一世界坐标点在光机光栅像素面和传感器像素面上就会存在视差，例如图2中投影区域中的点A在光机光栅像素面上对应于像素位置a1，在传感器像素面上对应于像素位置a2，由此满足了双目立体视觉的形成条件，由于可以基于投影仪的光机镜头坐标系和摄像头坐标系构建三维投影模型。
光机镜头可以看作是一个逆向的摄像头，可以建立与摄像头类似的小孔成像模型，由此光机镜头的校正原理与摄像头的校正原理相似，本实施例以获得摄像头的畸变参数为例进行描述。
如图3所示，小孔成像模型的公式为：sm′＝A[R|t]M′，其中，s为归一化尺度因子；A为摄像头的内参数矩阵；[R|t]为外参数矩阵，用于将像点P的坐标从世界坐标系中转换到摄像头坐标系中，R为旋转矩阵，t为平移向量； m′为在摄像头坐标系中的坐标位置，M′为在世界坐标系中的坐标位置；在图 3所示的小孔成像光路中，物点Fc的坐标cx与cy在uv平面对应的平面坐标为(u，v)，u＝fx·x′+cx，v＝fy·y′+cy，x′＝x/z，y′＝y/z，fx,fy分别为摄像头焦距坐标，cx,cy分别为物点Fc的X轴与Y轴坐标，x,y分别为像点P的坐标，x′,y′分别为相对P点纵轴坐标的归一化坐标。图3示出的物点Fc的坐标系相当于本实施例摄像头坐标系，uv平面坐标系相当于本实施例摄像头传感器像素面坐标系。因此，在获得世界坐标系与摄像头坐标系之间的转换关系后，可以根据u＝fx·x′+cx，v＝fy·y′+cy获得世界坐标系与传感器像素面坐标系之间的对应关系。
对于摄像头内参数矩阵，可以通过标定板及结构光投影获得投影仪摄像头的内参数，内参数包括焦距，径向畸变参数、切向畸变参数及主点坐标(即传感器图像的中心点)。此时，摄像头坐标系与传感器像素面坐标系之间的对应关系为：u＝fx*x″+cx，v＝fy*y″+cy，其中，
Figure GDA0003057766580000071
Figure GDA0003057766580000072
k1,k2,k3,k4,k5,k6分别为摄像头的径向畸变参数，p1,p2分别为摄像头的切向畸变参数，s1,s2,s3,s4分别为摄像头的薄棱镜畸变参数。
本实施例中，还需要获得光机镜头与摄像头之间的平移向量和旋转矩阵。具体的，在内参数标定过程，可以得到世界坐标系到光机镜头坐标系旋转矩阵Rp和平移向量tp，世界坐标系到摄像头坐标系的旋转矩阵Rc和平移向量tc，根据小孔成像模型可得：
Figure GDA0003057766580000081
(X,Y,Z)为世界坐标系的三维点坐标，(Xp,Yp,Zp)与(Xc,Yc,Zc)分别对应光机镜头坐标系与摄像头坐标系的三维点坐标，联立上述两个公式可以得到光机镜头和摄像头相对位置关系：
Figure GDA0003057766580000082
这样既可获得投影仪双目视觉的外参数，实现摄像头坐标系到光机镜头坐标系的坐标转换。
在投影仪出厂前，通过上述投影仪标定方法，获得光机镜头及摄像头的内参数及外参数。在一些实施例中，标定采用的投影仪光栅分辨率为 1920x1080，通过重投影获得网格点在光栅面的虚拟成像，计算标定残差。一些实施例中内参数标定残差为0.2137像素，外参数标定残差为0.4324像素。将标定得到的内、外参数下载到投影仪中，以供在后面的畸变校正流程中加以利用。
在投影仪应用当中，包含投影面畸变校正流程的用户界面，在选择并进入该流程的用户界面后，投影仪会提示进入畸变校正流程，此时要求将投影仪对准需校正的投影面并保持投影仪位置恒定，进入自动化校正流程。下面结合图4-12对上述步骤S110-S150进行详细说明。
首先，执行步骤S110，即利用光机镜头将光栅像素面上的标准网格图像投影在投影面上，并利用摄像头拍摄投影面获取投影面上网格点的投影点云图像。
通常情况下投影面点云的密度越高，对投影面测量的精度就会越高，但由于受到镜头畸变引起的圆斑散射、采集噪声及背景光等因素的影响，如果网格密度过高，就会影响网格搜索的速度，甚至无法搜索到网格点。本实施例引入错位网格生成及投影的方法，能够在不影响网格点搜索效率的情况下，提升网格点密度，从而提升投影面点云测量精度。
在一些实施例中，通过下述方法获得投影面点云图像：利用光机镜头将光栅像素面的第一标准网格图像投影在投影面上，并利用摄像头拍摄投影面获取第一投影点云图像；利用光机镜头将光栅像素面的第二标准网格图像投影在投影面上，并利用摄像头拍摄所述投影面获取第二投影点云图像，第一标准网格图像与第二标准网格图像中的圆斑相互错开；分别识别第一投影点云图像和第二投影点云图像中的圆斑网格，获得第一投影点云图像和第二投影点云图像中每个圆斑在光栅像素面的像素位置；通过叠加第一投影点云图像和第二投影点云图像，获得投影点云图像，第一投影点云图像和第二投影点云图像中每个圆斑在光栅像素面的像素位置即为投影点云图像上相应圆斑的像素位置。
如图4所示，投影仪的应用程序生成两个非对称圆斑网格图片，两个图片的圆斑相互错位，彼此间隔一个网格距离。这两个图片被光机镜头先后投影到投影面，然后通过投影仪的摄像头采集投影画面，在采集到的点云图像中寻找网格圆斑并记录其像素坐标，然后将两幅点云图像上错位网格圆斑的坐标进行合并，得到网格密度为两个点云图像圆斑密度之和的投影点云图像的圆斑圆心坐标。
在获得投影面上网格点的投影点云图像之后，继续执行步骤S120，即根据标准网格图像和投影点云图像之间的像素点对应关系和预先构建的三维投影模型，获得投影面上网格点基于光机镜头坐标系的三维坐标，其中三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建，用于计算投影面上网格点基于光机镜头坐标系的三维坐标。
在基于投影面网格点获得投影面的分布情况之前，利用已获得的畸变参数(光机镜头和摄像头的内参数)对光栅像素面和传感器像素面上的图像进行校正，得到校正后的摄像头传感器图像的网格点坐标(uc,vc)和光机图像中的网格点坐标(up,vp)；其中畸变参数的获得过程参见上文描述。
在一些实施例中，通过下述方法构建三维投影模型：首先根据所述摄像头光路光心与其在所述摄像头传感器像素面上的第一校正点，建立第一线性关系；接着根据所述光机镜头光路光心与其在所述光机镜头光栅像素面上的第二校正点，建立第二线性关系；然后根据所述摄像头与所述光机镜头之间的外部参数矩阵，建立所述第一校正点与所述第二校正点的第三线性关系；最后根据第一线性关系、第二线性关系和第三线性关系，获得投影面上网格点基于光机镜头坐标系的三维坐标。
本实施例的三维投影模型采用三角形方法计算投影面上网格点的三维坐标。如图5所示，可以获得投影面上任一网格点在传感器像素面上和光栅像素面上的映射点，而标准网格图像和投影点云图像之间的像素点对应关系是确定的，进而可以重构出投影面网格点的三维坐标。即由于投影面点云图像是由光机镜头将标准网格图像进行投影，并由摄像头进行采集而获得的，因此，可以基于图5所示的三维投影模型重构出投影面每个网格点的三维坐标。
一个示例，图5中的ucvc平面坐标系对应为传感器像素面所在坐标系， upvp平面坐标系对应为光栅像素面所在坐标系，那么根据前面描述的公式 u＝fx*x″+cx与v＝fy·y″+cy可以获得摄像头光路光心Oc在传感器像素面所在坐标系的坐标为qc，光机镜头光路光心Op在光栅像素面所在坐标系的坐标为 qp，由此根据本实施例构建的三维投影模型，可以计算出投影面相应网格点 Qw在光机镜头坐标系中的三维坐标。
假设投影面某个网格点的坐标为(Xp,Yp,Zp)，那么可以得到
Figure GDA0003057766580000101
与
Figure GDA0003057766580000102
sp与sc分别为摄像头和光机镜头的尺度因子，(uc,vc)与(up,vp)分别为空间三维点在传感器像素面和光栅像素面上投影点的二维坐标，Ac与Ap分别摄像头与光机镜头的内参数矩阵，[R|t]为投影仪的外参数矩阵。
再根据摄像头光路光心Oc与摄像头传感器像素面上第一像素点(uc,vc)建立的第一线性关系和光机镜头光路光心Op与光机镜头光栅像素面上第二像素点(up,vp)的建立第二线性关系，即可计算得到(Xp,Yp,Zp)。
在获得投影面上网格点基于光机镜头坐标系的三维坐标之后，继续执行步骤S130，即利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面和由所述惯性测量单元得到的所述投影仪的姿态信息构建世界坐标系，并获得所述世界坐标系与所述光机镜头坐标系之间的转换关系。
在一些实施例中，根据投影面上网格点的三维坐标对投影面上网格点进行空间滤除，滤除网格点中的无效网格点，获得有效网格点；利用最小二乘法对有效网格点进行平面拟合，确定拟合所得到的平面为基准投影平面；其中，所述有效网格点为所述投影面上网格点中大致位于同一平面上的网格点，所述无效网格点为所述投影面上网格点中远离所述平面上的网格点。
如图6所示，投影面上所有网格点组成的三维点云可能并不处于同一平面上，这些网格点中可能包括空间噪声点、非连续点以及离面点，在重建投影基准面前，需要这些无效网格点，形成平滑的投影面点云，对滤波后的平滑的投影面点云进行平面拟合获得所述基准投影平面。
在一些实施例中，可以先利用低通滤波方式滤除无效网格点中的空间噪声点和非连续点，然后再通过下述方法滤除无效网格中的离面点，获得有效网格点：
步骤A：在所述网格点中随机选取三个不共线网格点，获得三个不共线网格点确定的子平面a0′x+a1′y+a2′z＝d，其中a0′,a1′,a2′,d均为常数；
步骤B：计算投影面上每个网格点与第i个子平面的距离di＝a0′xi+a1′yi+a2′zii，剔除与子平面距离大于预设距离值的异常网格点，获得参考网格点的个数，参考网格点为与子平面的距离不大于预设距离值的网格点；示例性的，预设距离值t＝2σ，σ为所有网格点到当前子平面距离的标准偏差，当di＞2σ时确定该网格点为异常点被剔除，反之di≤2σ，确定该网格点为参考网格点被保留。
重复执行步骤A与步骤B，迭代N次后，确定N次迭代后所得到的N 个子平面中具有最多参考网格点个数的参考子平面，参考子平面的参考网格点即为有效网格点。
参考图6，图6中的左侧为过滤前的投影面点云图，可以看出有些点处于离面位置，图6中的右侧为通过点云平面拟合得到的点云，可以看出那些离面的点已经被滤除，剩余的点大致处于拟合平面上。
在获得有效网格点后，可以利用有效网格点的三维坐标确定基准投影平面的平面方程为a0x+a1y+a2＝z，该平面的第一单位法线向量
Figure GDA0003057766580000111
其中a0,a1,a2均为常数，Nbp为基准投影平面的第一单位法线向量，norm()为向量范数运算符。
在获得基准投影平面及其姿态信息之后，可以利用惯性测量单元获得投影仪的姿态信息；在一些实施例中，惯性测量单元包括陀螺仪。由陀螺仪测量轴向旋转角度，利用轴向旋转角度和基准投影平面的姿态信息构建世界坐标系，以消除梯形畸变。
在一些实施例中，通过下述方法构建世界坐标系：在所述光机镜头坐标系中获取所述基准投影平面的第一单位法线向量；根据所述光机镜头坐标系的Y轴单位向量和所述利用惯性测量单元获得投影仪的姿态信息，获得绝对水平面在所述光机镜头坐标系中的第二单位法线向量；第一单位法线向量与所述第二单位法线向量的向量积作为所述世界坐标系X轴的单位向量，将所述第二单位法线向量作为所述世界坐标系Y轴的单位向量，将所述第一单位法线向量作为所述世界坐标系Z轴的单位向量。在构建世界坐标系之后，可以根据所述世界坐标系原点在所述光机镜头坐标系中的坐标位置获得所述世界坐标系与所述光机镜头坐标系之间的平移矩阵，以及根据所述世界坐标系 X轴、Y轴Z轴的单位向量获得所述世界坐标系与所述光机镜头坐标系之间的旋转矩阵。
如图7所示，本实施例所述构建的世界坐标系的XOY平面应与基准投影平面重合，世界坐标系的X轴与绝对水平面平行，世界坐标系的Z轴方向垂直于基准投影平面。基于此，可以通过下述方法计算世界坐标系的三个坐标轴在光机镜头坐标系中的向量表示：
首先计算绝对水平面的单位法线向量。可以利用惯性测量单元所包括的陀螺仪测量的轴向旋转角度确定光机镜头坐标系的XOZ平面相对绝对水平面的偏离程度；其中陀螺仪测量的轴向旋转角度即为图7示出的轴向偏离角，也即为陀螺仪测量的轴向旋转角度θ，轴向旋转角度θ为投影仪在Z轴方向相对于绝对水平面的旋转角度。
光机镜头坐标系的XOZ平面相对绝对水平面的偏离程度为
Figure GDA0003057766580000121
绝对水平面的第二单元法线向量
Figure GDA0003057766580000122
Rz(θ) 表示光机镜头坐标系的XOZ平面相对绝对水平面的偏离程度，Nhor表示第二单元法线向量，θ表示轴向旋转角度。
然后，计算世界坐标系单个坐标轴的单位向量。由于世界坐标系的X轴分别与第一单位法线向量Nbp和第二单元法线向量Nhor垂直，因此可以通过第一单位法线向量Nbp和第二单元法线向量Nhor的向量积得到世界坐标系X轴的单位向量Vxw，分别将第一单位法线向量Nbp和第二单元法线向量Nhor作为世界坐标系Z轴单位向量Vzw和Y轴单位向量Vyw。即Vxw＝Nbp×Nhor，Vyw＝Nhor， Vzw＝Nbp。
在一些实施例中，可以根据基准投影平面的重心获得世界坐标系的原点。一个示例，世界坐标系的原点为N个子平面的平均重心点在基准投影平面上的投影点。世界坐标系的原点O＝[X0-a0t,Y0-a1t,Z0+t]，
Figure GDA0003057766580000131
(Xck,Yck,Zck)为第k个子平面的重心坐标，[X0,Y0,Z0]为N个子平面的平均重心点，t为常量。
如图7所示，在构建世界坐标系之后，就可以确定光机镜头坐标系与世界坐标系之间的转换关系为平移向量T＝Ow和旋转矩阵R＝(Vxw,Vyw,Vzw)T。
在获得世界坐标系与所述光机镜头坐标系之间的转换关系之后，继续执行步骤S140，即根据世界坐标系与光机镜头坐标系之间的转换关系，获取光栅像素面上无畸变投影的目标区域，使得最终投影的画面呈现为无梯形畸变。
首先需要获得在当前投影仪与投影面的相对姿态下，投影仪在投影面上的实际投影区域。结合投影仪光机内参及光栅像素面四个顶点的像素坐标，同上面重建投影面上网格点的三维坐标的方式类似，计算光栅像素面四个顶点以光机光心为起点的射线方向，然后获得这四个射线与基准投影平面的交点，计算这四个交点在基准世界坐标系的坐标，得到这四个交点在世界坐标系XOY平面即基准投影平面上的二维坐标，从而计算出光栅像素面在投影面上实际投影的四边形区域。
在一些实施例中，获取光栅像素面上的无畸变投影的目标区域的方法包括：根据所述三维投影模型，获得所述光栅像素面上四个边角点在所述基准投影平面上形成的参考投影点；根据所述光栅像素面的宽高比在由所述参考投影点围成的四边形区域内，获取所述四边形区域的最大内接矩形，所述最大内接矩形的宽高比与所述光栅像素面的宽高比一致，所述最大内接矩形的宽边和高边分别平行所述世界坐标系的X轴和Y轴；根据所述世界坐标系与所述光机镜头坐标系之间的转换关系和所述光机镜头的内参数矩阵，获得所述最大内接矩形在所述光栅像素面上的反投影点，在所述光栅像素面上由所述反投影点围成的矩形区域为目标区域。
参考图8，在获得四边形区域时，可以根据下述方法获得述四边形区域的最大内接矩形：
获取所述四边形区域的四个顶点以及所述四边形区域最左像素点和最右像素点，其中由左下角顶点和右下角顶点构成的边为底边，由左上角顶点和右上角顶点构成的边为顶边，由右下角顶点和右上角顶点构成的边为右边；
根据所述最左像素点获取左边垂线的初始位置，所述左边垂线与所述世界坐标系的Y轴平行，对所述左边垂线迭代执行以下步骤a～h，直至左边垂线达到所述最右像素点：
步骤a，对所述左边垂线逐像素向右移动后执行步骤b；
步骤b，对每像素位置的左边垂线，以所述左边垂线与所述底边的交点形成所述最大内接矩形的候选左上顶点，对所述候选左上顶点逐像素向上移动并执行步骤c；
步骤c，对每像素位置的左边垂线，以所述左边垂线与所述顶边的交点形成所述最大内接矩形的候选左下顶点，对所述候选左下顶点逐像素向下移动并执行步骤d；
步骤d，根据所述候选左上顶点和所述候选左下顶点分别获取与所述世界坐标系的X轴平行的第一直线和第二直线，根据所述第一直线与所述第二直线与所述右边形成的两个交点中靠近左边的交点确定候选右下顶点和候选右上顶点，在四个候选顶点围成的矩形区域内确定候选矩形，计算所述候选矩形的面积并执行步骤e，其中所述候选矩形为与所述光栅像素面宽高比一致的最大矩形；
步骤e，当所述候选矩形的面积大于最大内接矩形面积时，将所述最大内接矩形面积更新为所述候选矩形的面积，并将所述最大内接矩形四个顶点的坐标更新为所述候选矩形四个顶点的坐标，执行步骤f；当所述候选矩形的面积不大于所述最大内接矩形面积时，保持所述最大内接矩形面积与所述最大内接矩形四个顶点的坐标，执行步骤f；其中，所述最大内接矩形面积的初始值可以设置为0，所述最大内接矩形初始四个顶点可以设置空值；
步骤f，在所述候选左上顶点未到达所述左边垂线与所述顶边的交点像素位置时，执行步骤b；在所述候选左上顶点到达所述左边垂线与所述顶边的交点像素位置时，执行步骤g；
步骤g，在所述候选左下顶点未到达所述左边垂线与所述底边的交点像素位置时，执行步骤c；在所述候选左下顶点到达所述左边垂线与所述底边的交点像素位置时，执行步骤h；
步骤h，在所述左边垂线未到达所述最右像素点时，执行步骤a；在所述左边垂线已到达所述最右像素点时，获得所述最大内接矩形面积对应的四个定位的坐标为所述最大内接矩形的四个顶点坐标。
通过迭代上述步骤a～h可以获得最大内接矩形，如图8所示，图8中外部的四边形即为基准投影平面上的四边形区域，由于梯形畸变，呈现为一个不规则的四边形；图8中的内部矩形为获得的投影区域内最大无畸变矩形，可以看出该矩形与世界坐标系的X轴和Y轴平行。
在获得无畸变投影的目标区域之后，继续执行步骤S150，即获得所述光栅像素面与所述目标区域的映射关系，利用所述映射关系对待投影内容进行纹理映射，实现无畸变投影。
在获得无畸变投影的目标区域后，依据投影仪内参数及世界坐标系与光机镜头坐标系的转换关系，按照图3示出的小孔成像模型和图5示出的三维投影模型，将目标区域的四个顶点重投影到光栅像素面，从而得到无畸变投影的目标区域四个顶点对应的四个光栅像素坐标点，这四个光栅像素坐标点形成一个四边形。如果将原始光栅图片变形到这个四边形区域，则最终投影出来的画面效果对应为在基准投影平面的最大内接矩形，因此这四个光栅像素坐标点形成的光栅像素面上的四边形区域即为光栅画面畸变校正的目标区域。映射得到的无畸变目标区域如图9所示，整个画面为整个光栅像素面上的原始网格图像，里面的白色四边形即为计算得到的目标区域。
在一些实施例中，根据目标区域的四个顶点与光栅像素面的四个顶点的对应关系，获得所述目标区域与所述光栅像素面之间的单应映射矩阵，以利用所述单应映射矩阵对待投影画面进行纹理映射。
由目标区域的四个顶点及光栅像素面的四个顶点形成二维坐标之间的单应映射关系。这种映射关系可以通过GPU加速完成，将目标区域分成由两个三角形组成的Mesh，每个三角形顶点序为顺时针排列，顶点属性包含置顶点坐标及源画面纹理映射坐标。
如图10所示，图10示例性示出A,B,C,D分别为1920，1080分辨率的光栅像素面的4个顶点，虚框四边形是计算得到的目标区域，两个三角形由不同填充样式表示，每个三角形的顶点包含顶点坐标及纹理坐标属性。
在运行过程中，GPU渲染管道通过双线性插值计算顶点三角形内部像素的纹理坐标，GPU渲染管道的采样器负责从源画面中的相应坐标位置提取像素值，作为该顶点位置的输出像素值。经过纹理映射的图像输出到投影仪的光栅像素面中，经过投影完成整个畸变预校正过程，效果如图11所示，可以看到经过梯形畸变校正之后，原光栅图像被变形到目标区域以内。最终投影效果如图12所示，白色四边形轮廓为未校正的投影区域，四边形内部的图像为经过梯形畸变预校正得到的投影画面，可以看到梯形畸变校正后投影得到的画面呈现为无畸变矩形，且其横轴平行于绝对水平面。
由此本实施例不借助外部仪器、设备，由投影仪本申请自动化完成由于投影仪与投影面之间投影角度不理想所引起的梯形畸变。
本发明还提供一种投影仪畸变校正装置。
图13为本发明实施例示出的投影仪畸变校正装置的结构框图，如图13 所示，本实施的装置包括：
投影点云获取单元，利用所述光机镜头将光栅像素面上的标准网格图像投影在投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像；
投影点云坐标计算单元，根据所述标准网格图像和所述投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得所述投影面上网格点基于所述光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建；
转换关系计算单元，利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面和由所述惯性测量单元得到的所述投影仪的姿态信息构建世界坐标系，并获得所述世界坐标系与所述光机镜头坐标系之间的转换关系；
目标区域确定单元，根据所述世界坐标系与所述光机镜头坐标系之间的转换关系，获取所述光栅像素面上无畸变投影的目标区域；
纹理映射单元，获得所述光栅像素面与所述目标区域的映射关系，利用所述映射关系对待投影内容进行纹理映射，实现无畸变投影。
在一些实施例中，图13中的装置还包括预处理单元，根据所述摄像头光路光心与其在所述摄像头传感器像素面上的第一校正点，建立第一线性关系；根据所述光机镜头光路光心与其在所述光栅像素面上的第二校正点，建立第二线性关系；根据所述摄像头与所述光机镜头之间的外部参数矩阵，建立所述第一校正点与所述第二校正点的第三线性关系；根据所述第一线性关系、所述第二线性关系和所述第三线性关系，获得所述投影面上网格点基于所述光机镜头坐标系的三维坐标。
转换关系计算单元包括基准投影平面构建模块、世界坐标系构建模块和矩阵计算模块；
基准投影平面构建模块，根据所述投影面上网格点的三维坐标对所述投影面上网格点进行空间滤除，滤除所述网格点中的无效网格点，获得有效网格点；利用最小二乘法对所述有效网格点进行平面拟合，确定拟合所得到的平面为所述基准投影平面。基准投影平面构建模块，还通过重复执行步骤A 与步骤B，迭代N次后，确定N次迭代后所得到的N个子平面中具有最多参考网格点个数的参考子平面，所述参考子平面的参考网格点即为所述有效网格点；其中步骤A：在所述网格点中随机选取三个不共线网格点，获得所述三个不共线网格点确定的子平面；步骤B：计算所述投影面上每个网格点与所述子平面的距离，剔除与所述子平面距离大于预设距离值的异常网格点，获得参考网格点的个数，所述参考网格点为与所述子平面的距离不大于所述预设距离值的网格点。
世界坐标系构建模块，在所述光机镜头坐标系中获取所述基准投影平面的第一单位法线向量；根据所述光机镜头坐标系的Y轴单位向量和由惯性测量单元得到的所述投影仪的姿态信息，获得绝对水平面在所述光机镜头坐标系中的第二单位法线向量；第一单位法线向量与所述第二单位法线向量的向量积作为所述世界坐标系X轴的单位向量，将所述第二单位法线向量作为所述世界坐标系Y轴的单位向量，将所述第一单位法线向量作为所述世界坐标系Z轴的单位向量。
矩阵计算模块，根据所述世界坐标系原点在所述光机镜头坐标系中的坐标位置获得所述世界坐标系与所述光机镜头坐标系之间的平移矩阵，以及根据所述世界坐标系X轴、Y轴Z轴的单位向量获得所述世界坐标系与所述光机镜头坐标系之间的旋转矩阵。
在一些实施例中，目标区域确定单元，根据所述三维投影模型，获得所述光栅像素面上四个边角点在所述基准投影平面上形成的参考投影点；根据所述光栅像素面的宽高比在由所述参考投影点围成的四边形区域内，获取所述四边形区域的最大内接矩形，所述最大内接矩形的宽高比与所述光栅像素面的宽高比一致，所述最大内接矩形的宽边和高边分别平行所述世界坐标系的X轴和Y轴；根据所述世界坐标系与所述光机镜头坐标系之间的转换关系和所述光机镜头的内参数矩阵，获得所述最大内接矩形在所述光栅像素面上的反投影点，在所述光栅像素面上由所述反投影点围成的矩形区域为所述目标区域。
结合本实施例，目标区域确定单元包括计算模块，获取所述四边形区域的四个顶点以及所述四边形区域最左像素点和最右像素点，其中由左下角顶点和右下角顶点构成的边为底边，由左上角顶点和右上角顶点构成的边为底边，由右下角顶点和右上角顶点构成的边为右边；根据所述最左像素点获取左边垂线的初始位置，所述左边垂线与所述世界坐标系的Y轴平行，对所述左边垂线迭代执行以下步骤a～h，直至左边垂线达到所述最右像素点：步骤a，对所述左边垂线逐像素向右移动后执行步骤b；步骤b，对每像素位置的左边垂线，以所述左边垂线与所述底边的交点形成所述最大内接矩形的候选左上顶点，对所述候选左上顶点逐像素向上移动并执行步骤c；步骤c，对每像素位置的左边垂线，以所述左边垂线与所述顶边的交点形成所述最大内接矩形的候选左下顶点，对所述候选左下顶点逐像素向下移动并执行步骤d；步骤d，根据所述候选左上顶点和所述候选左下顶点分别获取与所述世界坐标系的X 轴平行的第一直线和第二直线，根据所述第一直线与所述第二直线与所述右边形成的两个交点中靠近左边的交点确定候选右下顶点和候选右上顶点，在四个候选顶点围成的矩形区域内确定候选矩形，计算候选矩形的面积并执行步骤e，其中所述候选矩形为与所述光栅像素面宽高比一致的最大矩形；步骤e，当所述候选矩形的面积大于最大内接矩形面积时，将所述最大内接矩形面积更新为所述候选矩形的面积，并将所述最大内接矩形四个顶点的坐标更新为所述候选矩形四个顶点的坐标，执行步骤f；当所述候选矩形的面积不大于所述最大内接矩形面积时，保持所述最大内接矩形面积与所述最大内接矩形四个顶点的坐标，执行步骤f；步骤f，在所述候选左上顶点未到达所述左边垂线与所述顶边的交点像素位置时，执行步骤b；在所述候选左上顶点到达所述左边垂线与所述顶边的交点像素位置时，执行步骤g；步骤g，在所述候选左下顶点未到达所述左边垂线与所述底边的交点像素位置时，执行步骤c；在所述候选左下顶点到达所述左边垂线与所述底边的交点像素位置时，执行步骤h；步骤h，在所述左边垂线未到达所述最右像素点时，执行步骤a；在所述左边垂线已到达所述最右像素点时，获得所述最大内接矩形面积对应的四个定位的坐标为所述最大内接矩形的四个顶点坐标。
在一些实施例中，纹理映射单元，根据所述目标区域的四个顶点与所述光栅像素面的四个顶点的对应关系，获得所述目标区域与所述光栅像素面之间的单应映射矩阵。
在一些实施例中，投影点云获取单元，利用所述光机镜头将光栅像素面的第一标准网格图像投影在所述投影面上，并利用所述摄像头拍摄所述投影面获取第一投影点云图像；利用所述光机镜头将光栅像素面的第二标准网格图像投影在所述投影面上，并利用所述摄像头拍摄所述投影面获取第二投影点云图像，所述第一标准网格图像与所述第二标准网格图像中的圆斑相互错开；分别识别所述第一投影点云图像和所述第二投影点云图像中的圆斑网格，获得所述第一投影点云图像和所述第二投影点云图像中每个圆斑在所述光栅像素面的像素位置；通过合并所述第一投影点云图像和所述第二投影点云图像中每个圆斑在所述光栅像素面的像素位置，获得所述投影点云图像的每个圆斑的像素位置。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明还提供了一种投影仪。
图14为本发明实施例示出的投影仪的结构示意图，如图14所示，在硬件层面，该投影仪包括图形处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该投影仪还可能包括其他业务所需要的硬件，如光机镜头、摄像头和惯性测量单元，光机镜头将光栅像素面上的标准网格图像投影在投影面上，摄像头拍摄投影面获取投影点云图像，惯性测量单元测量投影仪的姿态信息，惯性测量单元包括陀螺仪。
图形处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、 PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或 EISA(Extended IndustryStandard Architecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图14中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向图形处理器提供指令和数据。
图形处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成投影仪畸变校正装置。图形处理器，执行存储器所存放的程序实现如上文描述的投影仪畸变校正方法。
上述如本说明书图14所示实施例揭示的投影仪畸变校正装置执行的方法可以应用于图形处理器中，或者由图形处理器实现。图形处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的投影仪畸变校正方法的各步骤可以通过图形处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的图形处理器可以是通用处理器，包括中央处理器 (Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本发明还提供了一种计算机可读存储介质。
该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令当被投影仪的图形处理器执行时，能够实现上文描述的投影仪畸变校正方法。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种投影仪畸变校正方法，其中，所述投影仪具有光机镜头、摄像头和惯性测量单元，所述方法包括：
利用所述光机镜头将光栅像素面上的标准网格图像投影在投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像；
根据所述标准网格图像和所述投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得所述投影面上网格点基于光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建；
利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面和由所述惯性测量单元得到的所述投影仪的姿态信息构建世界坐标系，并获得所述世界坐标系与所述光机镜头坐标系之间的转换关系；
根据所述世界坐标系与所述光机镜头坐标系之间的转换关系，获取所述光栅像素面上无畸变投影的目标区域；
获得所述光栅像素面与所述目标区域的映射关系，利用所述映射关系对待投影内容进行纹理映射，实现无畸变投影。
2.根据权利要求1所述的方法，其中，通过下述步骤构建所述三维投影模型：
根据所述摄像头光路光心与其在所述摄像头传感器像素面上的第一校正点，建立第一线性关系；
根据所述光机镜头光路光心与其在所述光栅像素面上的第二校正点，建立第二线性关系；
根据所述摄像头与所述光机镜头之间的外部参数矩阵，建立所述第一校正点与所述第二校正点的第三线性关系；
根据所述第一线性关系、所述第二线性关系和所述第三线性关系，获得所述投影面上网格点基于所述光机镜头坐标系的三维坐标。
3.根据权利要求1所述的方法，其中，所述利用所述投影面上网格点的三维坐标，获得基准投影平面包括：
根据所述投影面上网格点的三维坐标对所述投影面上的网格点进行空间滤除，滤除所述网格点中的无效网格点，获得有效网格点；
利用最小二乘法对所述有效网格点进行平面拟合，确定拟合所得到的平面为所述基准投影平面。
4.根据权利要求3所述的方法，其中，所述根据所述投影面上网格点的三维坐标对所述投影面上网格点进行空间滤除，滤除所述网格点中的无效网格点，获得有效网格点，包括：
步骤A：在所述网格点中随机选取三个不共线网格点，获得所述三个不共线网格点确定的子平面；
步骤B：计算所述投影面上每个网格点与所述子平面的距离，剔除与所述子平面距离大于预设距离值的异常网格点，获得参考网格点的个数，所述参考网格点为与所述子平面的距离不大于所述预设距离值的网格点；
重复执行步骤A与步骤B，迭代N次后，确定N次迭代后所得到的N个子平面中具有最多参考网格点个数的参考子平面，所述参考子平面的参考网格点即为所述有效网格点。
5.根据权利要求1所述的方法，其中，所述利用所述基准投影平面和由所述惯性测量单元得到的所述投影仪的姿态信息构建世界坐标系，并获得所述世界坐标系与所述光机镜头坐标系之间的转换关系，包括：
在所述光机镜头坐标系中获取所述基准投影平面的第一单位法线向量；
根据所述光机镜头坐标系的Y轴单位向量和所述姿态信息，获得绝对水平面在所述光机镜头坐标系中的第二单位法线向量；
所述第一单位法线向量与所述第二单位法线向量的向量积作为所述世界坐标系X轴的单位向量，将所述第二单位法线向量作为所述世界坐标系Y轴的单位向量，将所述第一单位法线向量作为所述世界坐标系Z轴的单位向量；
根据所述世界坐标系的原点在所述光机镜头坐标系中的坐标位置获得所述世界坐标系与所述光机镜头坐标系之间的平移矩阵，以及根据所述世界坐标系X轴、Y轴Z轴的单位向量获得所述世界坐标系与所述光机镜头坐标系之间的旋转矩阵。
6.根据权利要求1所述的方法，其中，所述根据所述世界坐标系与所述光机镜头坐标系之间的转换关系，获取所述光栅像素面上的无畸变投影的目标区域，包括：
根据所述三维投影模型，获得所述光栅像素面上四个边角点在所述基准投影平面上形成的参考投影点；
根据所述光栅像素面的宽高比在由所述参考投影点围成的四边形区域内，获取所述四边形区域的最大内接矩形，所述最大内接矩形的宽高比与所述光栅像素面的宽高比一致，所述最大内接矩形的宽边和高边分别平行于所述世界坐标系的X轴和Y轴；
根据所述世界坐标系与所述光机镜头坐标系之间的转换关系和所述光机镜头的内参数矩阵，获得所述最大内接矩形在所述光栅像素面上的反投影点，在所述光栅像素面上由所述反投影点围成的矩形区域为所述目标区域。
7.根据权利要求6所述的方法，其中，所述根据所述光栅像素面的宽高比在由所述参考投影点围成的四边形区域内，获取所述四边形区域的最大内接矩形，包括：
获取所述四边形区域的四个顶点以及所述四边形区域最左像素点和最右像素点，其中由左下角顶点和右下角顶点构成的边为底边，由左上角顶点和右上角顶点构成的边为顶边，由右下角顶点和右上角顶点构成的边为右边；
根据所述最左像素点获取左边垂线的初始位置，所述左边垂线与所述世界坐标系的Y轴平行，对所述左边垂线迭代执行以下步骤a～h，直至左边垂线达到所述最右像素点：
步骤a，对所述左边垂线逐像素向右移动后执行步骤b；
步骤b，对每像素位置的左边垂线，以所述左边垂线与所述底边的交点形成所述最大内接矩形的候选左上顶点，对所述候选左上顶点逐像素向上移动并执行步骤c；
步骤c，对每像素位置的左边垂线，以所述左边垂线与所述顶边的交点形成所述最大内接矩形的候选左下顶点，对所述候选左下顶点逐像素向下移动并执行步骤d；
步骤d，根据所述候选左上顶点和所述候选左下顶点分别获取与所述世界坐标系的X轴平行的第一直线和第二直线，根据所述第一直线与所述第二直线与所述右边形成的两个交点中靠近左边的交点确定候选右下顶点和候选右上顶点，在四个候选顶点围成的矩形区域内确定候选矩形，计算其面积并执行步骤e，其中所述候选矩形为与所述光栅像素面宽高比一致的最大矩形；
步骤e，当所述候选矩形的面积大于最大内接矩形面积时，将所述最大内接矩形面积更新为所述候选矩形的面积，并将所述最大内接矩形四个顶点的坐标更新为所述候选矩形四个顶点的坐标，执行步骤f；当所述候选矩形的面积不大于所述最大内接矩形面积时，保持所述最大内接矩形面积与所述最大内接矩形四个顶点的坐标，执行步骤f；
步骤f，在所述候选左上顶点未到达所述左边垂线与所述顶边的交点像素位置时，执行步骤b；在所述候选左上顶点到达所述左边垂线与所述顶边的交点像素位置时，执行步骤g；
步骤g，在所述候选左下顶点未到达所述左边垂线与所述底边的交点像素位置时，执行步骤c；在所述候选左下顶点到达所述左边垂线与所述底边的交点像素位置时，执行步骤h；
步骤h，在所述左边垂线未到达所述最右像素点时，执行步骤a；在所述左边垂线已到达所述最右像素点时，获得所述最大内接矩形面积对应的四个定位的坐标为所述最大内接矩形的四个顶点坐标。
8.根据权利要求1所述的方法，其中，所述获得所述光栅像素面与所述目标区域的映射关系，包括：
根据所述目标区域的四个顶点与所述光栅像素面的四个顶点的对应关系，获得所述目标区域与所述光栅像素面之间的单应映射矩阵。
9.根据权利要求1所述的方法，其中，所述利用所述光机镜头将光栅像素面的标准网格图像投影在所述投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像，包括：
利用所述光机镜头将光栅像素面的第一标准网格图像投影在所述投影面上，并利用所述摄像头拍摄所述投影面获取第一投影点云图像；
利用所述光机镜头将光栅像素面的第二标准网格图像投影在所述投影面上，并利用所述摄像头拍摄所述投影面获取第二投影点云图像，所述第一标准网格图像与所述第二标准网格图像中的圆斑相互错开；
分别识别所述第一投影点云图像和所述第二投影点云图像中的圆斑网格，获得所述第一投影点云图像和所述第二投影点云图像中每个圆斑在所述光栅像素面的像素位置；
通过叠加所述第一投影点云图像和所述第二投影点云图像，获得投影点云图像，所述第一投影点云图像和所述第二投影点云图像中每个圆斑在光栅像素面的像素位置即为投影点云图像上相应圆斑的像素位置。
10.一种投影仪畸变校正装置，所述投影仪具有光机镜头、摄像头和惯性测量单元，所述装置包括：
投影点云获取单元，利用所述光机镜头将光栅像素面上的标准网格图像投影在投影面上，并利用所述摄像头拍摄所述投影面获取投影面上网格点的投影点云图像；
投影点云坐标计算单元，根据所述标准网格图像和所述投影点云图像之间的像素点对应关系以及根据预先构建的三维投影模型，获得所述投影面上网格点基于光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述投影仪的光机镜头坐标系和摄像头坐标系而构建；
转换关系计算单元，利用所述投影面上网格点的三维坐标，获得基准投影平面，并利用所述基准投影平面和由所述惯性测量单元得到的所述投影仪的姿态信息构建世界坐标系，并获得所述世界坐标系与所述光机镜头坐标系之间的转换关系；
目标区域确定单元，根据所述世界坐标系与所述光机镜头坐标系之间的转换关系，获取所述光栅像素面上无畸变投影的目标区域；
纹理映射单元，获得所述光栅像素面与所述目标区域的映射关系，利用所述映射关系对待投影内容进行纹理映射，实现无畸变投影。
11.一种投影仪，其中，包括：
光机镜头，将光栅像素面上的标准网格图像投影在投影面上；
摄像头，拍摄投影面获取投影点云图像并发送给图形处理器；
惯性测量单元，测量所述投影仪的姿态信息发送给所述图形处理器；
存储器，存储计算机可执行指令；
图形处理器，所述计算机可执行指令在被执行时使所述图形处理器执行如权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被执行时实现如权利要求1-9任一项所述的方法。
CN201910266198.0A 2019-04-03 2019-04-03 一种投影仪畸变校正方法、装置和投影仪 Active CN110336987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910266198.0A CN110336987B (zh) 2019-04-03 2019-04-03 一种投影仪畸变校正方法、装置和投影仪

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910266198.0A CN110336987B (zh) 2019-04-03 2019-04-03 一种投影仪畸变校正方法、装置和投影仪

Publications (2)

Publication Number Publication Date
CN110336987A CN110336987A (zh) 2019-10-15
CN110336987B true CN110336987B (zh) 2021-10-08

Family

ID=68139264

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910266198.0A Active CN110336987B (zh) 2019-04-03 2019-04-03 一种投影仪畸变校正方法、装置和投影仪

Country Status (1)

Country Link
CN (1) CN110336987B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110677634B (zh) * 2019-11-27 2021-06-29 成都极米科技股份有限公司 投影仪的梯形校正方法、装置、系统及可读存储介质
CN110996081B (zh) * 2019-12-06 2022-01-21 北京一数科技有限公司 一种投影画面校正方法、装置、电子设备及可读存储介质
CN111093067B (zh) * 2019-12-31 2023-03-24 歌尔光学科技有限公司 投影设备及镜头畸变校正方法、畸变校正装置和存储介质
CN113155053B (zh) * 2020-01-22 2024-09-06 株式会社三丰 三维几何形状测量装置和三维几何形状测量方法
JP7467947B2 (ja) * 2020-01-31 2024-04-16 セイコーエプソン株式会社 画像投射システムの制御方法、及び画像投射システム
CN111443557A (zh) * 2020-05-13 2020-07-24 浙江宝妈创客品牌管理有限公司 一种基于光感控制的多媒体投影自动校正装置
CN111965630B (zh) * 2020-08-17 2024-05-28 南京先能光电科技有限公司 一种空间定位系统
CN111800620A (zh) * 2020-08-18 2020-10-20 深圳市慧视智图科技有限公司 一种投影仪的无感梯形校正模组及其计算方法
CN114286065A (zh) * 2020-09-28 2022-04-05 成都极米科技股份有限公司 投影画面调节方法、装置、投影仪和存储介质
CN112330794B (zh) * 2020-10-09 2022-06-14 同济大学 基于旋转二分棱镜的单相机图像采集系统和三维重建方法
CN112261396B (zh) * 2020-10-26 2022-02-25 成都极米科技股份有限公司 投影方法、装置、投影设备及计算机可读存储介质
CN112203069B (zh) * 2020-11-27 2021-04-23 深圳市当智科技有限公司 基于摄像头的宽屏投影方法、系统及可读存储介质
CN113163186B (zh) * 2020-12-03 2022-06-10 深圳市当智科技有限公司 基于距离传感器水平校正的投影方法、系统及存储介质
CN112995624B (zh) * 2021-02-23 2022-11-08 峰米(北京)科技有限公司 用于投影仪的梯形误差校正方法及装置
CN112819939B (zh) * 2021-03-08 2023-07-07 网易（杭州）网络有限公司 矫正uv坐标的方法、装置、设备和计算机可读存储介质
CN112689135B (zh) * 2021-03-19 2021-07-02 深圳市火乐科技发展有限公司 投影校正方法、装置、存储介质及电子设备
CN113099198B (zh) * 2021-03-19 2023-01-10 深圳市火乐科技发展有限公司 投影图像调整方法、装置、存储介质及电子设备
CN112967348A (zh) * 2021-04-01 2021-06-15 深圳大学 基于一维扫描结构光系统的三维重建方法及其相关组件
CN113191963B (zh) * 2021-04-02 2022-08-05 华中科技大学 一种无需附加操作的投影仪残余畸变全场标定方法及装置
CN113259642B (zh) * 2021-05-12 2023-05-30 华强方特（深圳）科技有限公司 一种影片视角调节方法及系统
CN113470131B (zh) * 2021-06-08 2024-04-26 中国人民解放军93114部队 海面仿真图像的生成方法、装置、电子设备和存储介质
CN113781550B (zh) * 2021-08-10 2024-10-29 国网河北省电力有限公司保定供电分公司 一种四足机器人定位方法与系统
CN114018173B (zh) * 2021-11-01 2024-04-02 江苏鑫晨光热技术有限公司 一种定日镜面形初始法线室外测量系统及方法
CN114760454A (zh) * 2022-05-24 2022-07-15 海信视像科技股份有限公司 一种投影设备及触发校正方法
CN114466173A (zh) * 2021-11-16 2022-05-10 海信视像科技股份有限公司 投影设备及自动投入幕布区域的投影显示控制方法
CN118541967A (zh) * 2021-11-16 2024-08-23 海信视像科技股份有限公司 一种投影设备和校正方法
CN114866751B (zh) * 2022-04-15 2024-08-20 海信视像科技股份有限公司 一种投影设备及触发校正方法
WO2023087951A1 (zh) * 2021-11-16 2023-05-25 海信视像科技股份有限公司 一种投影设备及投影图像的显示控制方法
CN114111639B (zh) * 2021-11-26 2024-04-30 凌云光技术股份有限公司 一种面结构光三维测量系统的校正方法和设备
CN114567762B (zh) * 2021-12-28 2024-03-05 上海顺久电子科技有限公司 一种投影面内的投影图像的校正方法和投影设备
CN115190281B (zh) * 2022-06-30 2024-01-02 海宁奕斯伟集成电路设计有限公司 调整投影仪投影位置的装置及方法
CN115174879B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法、装置、计算机设备和存储介质
WO2024066776A1 (zh) * 2022-09-29 2024-04-04 海信视像科技股份有限公司 投影设备及投影画面处理方法
CN115760620B (zh) * 2022-11-18 2023-10-20 荣耀终端有限公司 一种文档矫正方法、装置及电子设备
CN117058342B (zh) * 2023-10-12 2024-01-26 天津科汇新创科技有限公司 一种基于投影图像的脊柱3d体素模型构建方法
CN117818459A (zh) * 2024-01-02 2024-04-05 深圳市欧冶半导体有限公司 智能车灯的游戏互动方法、装置、计算机设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845002A (zh) * 2005-04-06 2006-10-11 精工爱普生株式会社 投影机用失真修正处理
CN103517016A (zh) * 2012-06-22 2014-01-15 精工爱普生株式会社 投影机、图像显示系统、投影机的控制方法
CN107454373A (zh) * 2016-05-31 2017-12-08 财团法人工业技术研究院 投影系统及其非平面自动校正方法与自动校正处理装置
CN108377371A (zh) * 2018-02-09 2018-08-07 深圳市火乐科技发展有限公司 一种投影图像校正的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101820905B1 (ko) * 2016-12-16 2018-01-22 씨제이씨지브이 주식회사 촬영장치에 의해 촬영된 이미지 기반의 투사영역 자동보정 방법 및 이를 위한 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1845002A (zh) * 2005-04-06 2006-10-11 精工爱普生株式会社 投影机用失真修正处理
CN103517016A (zh) * 2012-06-22 2014-01-15 精工爱普生株式会社 投影机、图像显示系统、投影机的控制方法
CN107454373A (zh) * 2016-05-31 2017-12-08 财团法人工业技术研究院 投影系统及其非平面自动校正方法与自动校正处理装置
CN108377371A (zh) * 2018-02-09 2018-08-07 深圳市火乐科技发展有限公司 一种投影图像校正的方法及装置

Also Published As

Publication number Publication date
CN110336987A (zh) 2019-10-15

Similar Documents

Publication Publication Date Title
CN110336987B (zh) 一种投影仪畸变校正方法、装置和投影仪
CN110111262B (zh) 一种投影仪投影畸变校正方法、装置和投影仪
CN110191326B (zh) 一种投影系统分辨率扩展方法、装置和投影系统
JP7291244B2 (ja) プロジェクタの台形補正方法、装置、システム及び読み取り可能な記憶媒体
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
JP6515985B2 (ja) 三次元画像結合方法及び三次元画像結合装置
KR101319777B1 (ko) 파노라마식 투영 장치 및 상기 장치에 의해 실행되는 방법
CN110648274B (zh) 鱼眼图像的生成方法及装置
KR20180101165A (ko) 파노라마 프레임으로의 프레임 스티칭
JPWO2018235163A1 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CN112734860B (zh) 一种基于弧形幕先验信息的逐像素映射投影几何校正方法
CN110458932B (zh) 图像处理方法、装置、系统、存储介质和图像扫描设备
JP2012088114A (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CA2220721A1 (en) Texture mapping of photographic images to cad surfaces
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
CN113259642B (zh) 一种影片视角调节方法及系统
TW201707437A (zh) 畫像處理裝置及畫像處理方法
WO2022126430A1 (zh) 辅助对焦方法、装置及系统
US20180213215A1 (en) Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape
JP6674644B2 (ja) 画像処理装置及び画像処理方法
CN116743973A (zh) 无感投影图像自动校正方法
CN116524022A (zh) 偏移数据计算方法、图像融合方法、装置及电子设备
JP6684454B2 (ja) 画像処理装置及び画像処理方法
CN114401388A (zh) 投影方法、装置、存储介质以及投影设备
Lee Wand: 360∘ video projection mapping using a 360∘ camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220726

Address after: Room 1903, 19 / F, building D, Zhizhen building, No. 7 Zhichun Road, Haidian District, Beijing 100088

Patentee after: Bird innovation (Beijing) Technology Co.,Ltd.

Address before: 100191 room 1801, block D, Zhizhen building, 7 Zhichun Road, Haidian District, Beijing

Patentee before: BEIJING XIAONIAO TINGTING TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right