CN101385337A - 用于对准投影仪阵列的方法和系统 - Google Patents

Abstract

提供了以下系统和方法，其通过对每个投影仪独立地执行参数化粗对准并通过对每个投影仪和相邻投影仪联合地执行非参数化精细对准来对准投影仪阵列。也可以对每个投影仪独立地执行非参数化精细对准。

Description

用于对准投影仪阵列的方法和系统

技术领域

本发明总体上涉及背投显示设备，更具体地涉及对对接(abut)的背投显示设备的阵列进行对准。

背景技术

在指挥和控制情形下常使用(拼接显示的)多个背投显示设备的阵列。借助于大的显示块(tile)阵列，能够以利用单个显示单元无法获得的高分辨率来显示大的图像。通常，不同的图像通过使用组合的硬件而同时显示。例如，在监视应用中，视频、楼面平面图和环境数据能够通过各种显示块同时显示。

在典型的显示排列中，多个显示块被叠置3行或4行高，且通常为几十列宽。当背投显示块被构造成显示器时，在相邻显示块之间存在水平的和垂直的缝隙(接缝)。为了使这些接缝的宽度和高度最小化，这些显示块被设计成具有无边界的显示屏幕且每个投影覆盖整个屏幕。大的并行阵列的典型的观看距离(viewing distance)使得约为1mm的物理接缝不一定很明显。

即使相邻显示块的投影被接缝分开，仍需要精确对准这些显示块。一个可能的假设是如果这些投影和这些屏幕在物理上完全地对准，即，投影的各角(conor)正好对应于屏幕的各角，则对准是自动的。然而，这仅在如下条件下成立：(a)该拼接排列使得这些屏幕形成具有非常直的线的栅格，(b)可以构建即使在被移动时仍保持对准的多个显示块，以及(c)每个投影完全呈矩形且具有均匀的间隔。这种排列中多个显示块之间的不对准是由于(a)、(b)和(c)中的任意组合不成立造成的。

即使观看距离相对于整个显示结构来说相对较远，众所周知的是，即使小的不连续性对于观众来说也是令人烦恼的。当显示内容是动态的且沿着与屏幕之间的不连续性平行的方向移动时尤其如此。

相反，其投影在显示表面上重叠的正面投影系统和背投系统的优点是能够对投影贡献求平均以提供重叠区域中的平滑过渡。通常，这是通过对投影图像的重叠部分中的图像进行预混合(pre-blend)和弯折(warp)而实现，参见Raskar等人的“Blending Multiple Views”，The tenth Pacificconference on computer graphics and applications，page145-153，October2002。当没有完全对准时尤其如此。

然而，在对接背投时，具有或没有小的接缝，从而不能利用该混合技术，因而对准误差必须最小。而且，在并行显示实时数据和图像时，对来自不同源的输出图像进行预混合和/或弯折是不切实际的。

已经将摄像机用于对准正投影仪系统。输出图像被投影。摄像机获取投影图像的输入图像，且对准过程对不对准进行校正。在大多数情况下，对准包括在显示之前对输出信号进行混合和弯折，参见Raskar等人的“Multiproj ector Displays using Camera-based Registration”，In IEEEVisualization，October 1999，Raskar等人的“A Low Cost Projector mosaicwith Fast Registration”，In Fifth Asian Conference on Computer Vision，pages161-168，January 2002，以及Sukthankar等人的“Smarter Presentations：Exploiting Homography in Camera-Projector Systems”，In InternationalConference on Computer Vision，2001。在这些情况下，用于获得投影仪姿态的分解不是必须的。而是，摄像机和投影仪之间的单应性(homography)可直接用于对投影仪输入图像进行弯折。

对于大型多投影仪显示器，需要某种全局登记以确保对准总体显示，参见Chen等人的“Scalable Alignment of Large-Format Multi-ProjectorDisplays Using Camera Homography Trees”，IEEE Visualization 2002和Raskar等人的“ilamps:geometrically aware and self-configuringprojectors”，ACM Trans.Graph.，22(3):809-818，2003。

另一种系统是将图像弯折和镜像调节组合起来以引导投影到不同的位置，参见Pinhanez等人的“The Everywhere Displays Projector：A Deviceto Create Ubiquitous Graphical Interfaces”，Ubiquitous Computing2001(Unicomp”01)，September 2001以及Pinhanez等人的“Using aSteerable Projector and a Camera to Transform Surfaces into InteractiveDisplays”，ACM Conference on Human Factors in Computing Systems(CHI2001)，pages 369-370，March 2001。投影引入到表面上的失真可以从摄像机图像而确定，并通过对输出图像进行预弯折来补偿。可操纵的镜像使得投影到显示表面的不同区域。镜像不对投影引起的表面上的任何失真进行补偿。

希望自动地对准多个对接的背投设备。

发明内容

提供了以下系统和方法，其通过对每个投影仪独立地执行参数化粗对准并通过对每个投影仪和相邻投影仪联合地执行非参数化精细对准来对准投影仪阵列。也可以对每个投影仪独立地执行该非参数化精细对准。

本发明提供了一种用于自动对准多个背投显示块的系统和方法。通过应用粗略的参数化对准阶段，接着是非参数化的精细的细化阶段，我们可以实现非常接近手动对准的精度。自动对准相较于手动对准具有几项优势。首先，自动对准不需要对准专家来执行对准。假设每个显示块具有用于调节投影的6个自由度，对于经验不足的人而言对准并非是简单明了的。

第二个优点是自动对准可以对背投显示块的同时更新能力起调节(leverage)作用。因而，与手工对准相比，显著减少了进行对准所需的时间。

附图说明

图1是根据本发明的一个实施方式的背投设备的阵列的正视图；

图2A是根据本发明的一个实施方式的背投设备的侧视图；

图2B是根据本发明的一个实施方式的对准方法的流程图；

图3是理想点和当前投影之间的x、y增量(delta)的图；

图4是相邻投影的特征点的图；

图5是根据本发明的一个实施方式的对单个投影仪进行对准的第一阶段流程图；

图6是根据本发明的一个实施方式的对单个投影仪进行对准的第二阶段流程图；

图7是根据本发明的一个实施方式的对多个投影仪进行对准的流程图；

图8是理想特征点对准的图；

图9A是在根据本发明的一个实施方式进行对准之前的特征的图案；以及

图9B是在根据本发明的一个实施方式进行对准之后的特征的图案。

具体实施方式

图1示出了根据本发明的背投设备(显示块)的阵列110。例如，该阵列具有4行和10列的显示块200。具有已知特征的对准图案被背投影到显示块的屏幕上。特征源于屏幕像素。参见图2A，本发明提供了通过使用由摄像机120获取的输入图像121对显示块进行对准的系统和方法。尽管本发明是针对非重叠背投阵列进行描述，但是应当理解的是，根据本发明的实施方式还可以应用于重叠背投，或应用于显示非重叠或重叠图像的正投影仪。

图2A示出了一个显示块200的侧视图。该显示块包括显示屏幕210、投影仪220、镜230和其上安装有该投影仪的6个自由度(6DoF)(即，三个平移和三个旋转)的可调节平台240。光路221通过以45度角安装的镜而“折叠”。投影仪的姿态可以通过该平台的6个步进马达来调节。该马达以马达步进单位(stepping unit)来移动投影仪。因此，如下所述，我们确定马达的步进单位和屏幕像素之间的关系。

摄像机120经由输入端口与常规的计算机系统130(例如，PC或膝上设备)相连。该计算机系统包括微处理器、存储器、总线和I/O设备。该计算机系统还经由输出端口连接到投影仪。

系统中可能存在若干失真源。摄像机透镜和/或投影仪机透镜可能存在桶形失真。还可能存在由于镜230的曲率而导致的非线性失真和由于屏幕210的曲率而导致的少量失真。这些失真导致显示块之间的不对准。因此，如图2B所示，该计算机系统可以根据本发明的一个实施方式而执行对准方法250。

该方法首先对每个投影仪独立地执行参数化粗对准500。然后，可选地，对每个投影仪独立地执行第一非参数化精细对准600。最后，对每个投影仪和相邻投影仪联合地执行第二非参数化对准700。参数化对准对某个等式进行求解以直接计算调节参数。非参数化对准是试图最小化对准误差的迭代方法。对每个投影仪独立执行第一非参数化对准，而对每个投影仪和相邻投影仪联合地执行第二非参数化对准。

在对准过程中，每个投影仪在屏幕上显示具有已知特征的对准图案(投影)。图9A和9B示出了在根据本发明的实施方式进行对准之前和之后2×2的显示块阵列的特征图案。我们使用用于2D和3D坐标的齐次(homogenous)符号。观察到的关键之处在于，从光学角度来看，投影仪在本质上类似于摄像机。这使得我们能够将投影仪模拟成针孔设备。背投显示块的屏幕210被定义为3D空间中的具有坐标Xs＝(x，y，z，1)^T的平面，其中T是转置算子。该屏幕可以通过摄像机120观察到。我们假设该屏幕的平面与Z＝0深度的平面相符。因而，我们有X_s＝(X，Y，0，1)^T。

摄像机图像平面的坐标表示为X_c＝(U，V，1)^T，且投影仪图像平面的坐标为X_p＝(U，V，1)^T，其中对于齐次坐标(u，v，w)，

U＝u/w且V＝v/w。

我们可以使用以下的摄像机(投影仪)投影矩阵将3D屏幕点与2D图像点联系起来：

x≌PX＝A[R|T]X，(1)

其中A是摄像机(投影仪)的固有参数的矩阵，且R、T是相对于世界坐标系统的旋转和平移。在我们的情况中，如通过摄像机观看的那样，世界坐标系统具有位于屏幕的左上角的原点。

参数化对准

如上所述，投影仪220安装在6DoF可调节平台240上。这6个自由度包括3个旋转自由度和3个平移自由度。几何对准方法250的目标是：

确定投影仪相对于屏幕的当前姿态(R，T)；

确定当前姿态和理想姿态之间的差异；以及

根据该差异来调节该平台。

分解为R和T

为确定投影仪相对于屏幕的姿态，我们从公式(1)和代表屏幕角的3D点观察到：

其中A[R₁R₂|T]是3×3矩阵，它实际上是由屏幕平面引起的单应性。如果矩阵A已知，则通过左乘逆矩阵A^-1，单应性可以分解为R₁、R₂和T。

如图5所示，我们的目标是确定针对投影仪的R和T。为此，我们执行下面的第一粗对准阶段500的步骤。我们确定(510)投影仪的固有参数A_p，并且我们确定(520)屏幕和摄像机二者的图像平面之间的单应性H_cs，这两个步骤一次性地执行。我们确定(530)投影仪和摄像机二者的图像平面之间的单应性H_pc。我们根据H^-1 _pc.H_sc确定H_sp。我们进行测试(550)以查看结果是否实现了所期望的精度，并接受(599)结果。否则，我们确定(560)是否已经执行了最大次数的迭代，并且如果为真则退出。

否则，我们利用逆矩阵A^-1 _p对H_sp进行分解(570)以获得旋转矩阵R₁、R₂以及平移矩阵T，并将这些矩阵转换(580)为马达调节，相应地对平台进行调节(590)，并进行重复(595)。

为了确定旋转矩阵R的第三列，我们使用R为正交的这一属性，并得到R₃＝R₁×R₂。

投影仪固有参数

为了对单应性H_sp进行分解(570)，我们使用投影仪的固有参数。通过使用可调节平台将投影仪相对于屏幕移动到至少三个不同姿态而执行该校准(calibration)。注意该处理也可以产生对投影仪透镜的失真参数的估计。原则上，在几何对准之前，可以分别地估计每个背投显示块的固有参数。不幸的是，由于机械地调节平台以改变投影仪的姿态而引入的等待时间(latency)，对固有参数的估计是耗时的。因此，我们针对背投显示块的特定模型仅估计固有参数一次。我们假设具有相同模型的所有其他显示块具有类似的固有参数。

理想投影仪姿态

平台的调节被计算为当前姿态和理想姿态之间的差异。我们将理想姿态定义为把投影矩形的4个角准确映射到屏幕的4个角的投影仪姿态。对于理想姿态，我们假设没有旋转，且R_ideal被设置为单位矩阵。投影仪相对于屏幕的理想位置随后由投影仪的固有参数以及屏幕各角和投影各角之间的4个对应关系来确定。使用等式(2)，对于焦距f_x和f_y，主点(principal point)(u₀，v₀)^T，屏幕角(X，Y，0)^T和投影仪像素(u，v)^T，我们可以写出：

$u=\frac{f_x(X+t_x)}{t_z}+u_0$

$v=\frac{f_y(Y+t_y)}{t_z}+v_0,---\left(3\right)$

假设位于原点(0，0，0)^T处的屏幕角对应于像素(0，0)^T，且对于分辨率为1024的图像，(1，0，0)^T对应于(1024，0)^T。

我们可以写出：

$\left\{\begin{array}{c}X=0,u=0\⇒t_x=-\frac{u_0{t}_z}{f_x}\\ X=1,u=1024\⇒t_x=\frac{(1024-u_0)t_z}{f_x}-1.\end{array}\right.---\left(4\right)$

根据等式(4)，我们可以确定t

tx＝f_x/1024    (5)

对于Y-和v-坐标，我们也可以确定等式(4)和(5)，以及焦距f_x。因此，我们有得出t_z的两个等式，并且因为它们的值相似，我们对这些值求平均以获得最后的t_z。给定t_z，我们可以求解t_x和t_y，从而获得值T_ideal。

调节

给定投影仪的当前姿态，旋转的三个自由度取为根据旋转矩阵R确定的欧拉角度。其余的三个平移的自由度根据T—T_ideal确定。然后，对6DoF平台240的马达进行调节(590)。

我们对第一粗略阶段500的调节执行若干次迭代。这是必须的，因为存在若干个误差残留源。首先，我们有摄像机固有参数残留误差。其次，我们有投影仪残留误差的固有参数的残留误差。残留误差的另一来源是即使在我们估计出了这些参数的情况下依然存在的投影仪透镜失真。残留误差的最后一个来源是由于屏幕可能并非完全是平面的。

因为不能以足够的精度直接地估计实际的投影角，或者由于这些角位于屏幕矩形的外部而不能简单地直接估计出这些角，因此这些角是根据单应性来估计。由于上述残留误差，这种外推(extrapolation)处理本身引入了投影仪角位置误差。即使我们对更新步骤执行多次迭代，与屏幕对准的最终精度也受到上述残留误差的量级的限制。因此，我们仅对粗调节执行最多两次迭代。

我们使用的特定类型的背投显示块允许同时调节多个显示块的平台。与顺序地执行各调节相比，这导致速度的提高。初始的不对准可能需要第一次迭代中相对大的更新，因此该加速使得对准过程的时间显著减小。

非参数化精度细化

对准处理中的阶段600是用于对第一粗对准阶段500之后获得的结果进行细化的第一非参数化方法。第一阶段过程中的初始的和可能较大的不对准通过第二阶段而减小。其余的不对准在量级上可能是几个像素。当投影仪处于几个像素的理想对准时，我们可以做出下面的两个假设：

1.每个自由度独立于其他自由度；以及

2.每次调节本质上是近似线性的。

单个背投显示块

在如图6所示的第二阶段，我们将投影仪与屏幕的各角以及整个屏幕上的特征点对准。我们将屏幕坐标下的这些特征点表示为理想点，见图3。图3示出了理想点和当前投影之间的x、y增量。在对准状态下，整个投影上的特征与理想点对准。如上所述，我们确定(610)单应性H_cp。

我们可以将理想点与当前投影仪位置之间的增量表示为对6个自由度的线性相关性。实际上，屏幕上的每个特征点给出一个这种相关性，并且我们可以将该问题用公式表达为线性系统的等式：

$\left[\begin{array}{cccccc}{\mathrm{\Δx}}_{T_x}^1& {\mathrm{\Δx}}_{T_y}^1& {\mathrm{\Δx}}_{T_z}^1& {\mathrm{\Δx}}_{R_x}^1& {\mathrm{\Δx}}_{R_y}^1& {\mathrm{\Δx}}_{R_z}^1\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ {\mathrm{\Δx}}_{T_x}^n& {\mathrm{\Δx}}_{T_y}^n& {\mathrm{\Δx}}_{T_z}^n& {\mathrm{\Δx}}_{R_x}^n& {\mathrm{\Δx}}_{R_y}^n& {\mathrm{\Δx}}_{R_z}^n\\ {\mathrm{\Δy}}_{T_x}^1& {\mathrm{\Δy}}_{T_y}^1& {\mathrm{\Δy}}_{T_z}^1& {\mathrm{\Δy}}_{R_x}^1& {\mathrm{\Δy}}_{R_y}^1& {\mathrm{\Δy}}_{R_z}^1\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ {\mathrm{\Δy}}_{T_x}^n& {\mathrm{\Δy}}_{T_y}^n& {\mathrm{\Δy}}_{T_z}^n& {\mathrm{\Δy}}_{R_x}^n& {\mathrm{\Δy}}_{R_y}^n& {\mathrm{\Δy}}_{R_z}^n\end{array}\right]\left[\begin{array}{c}{T}_x\\ T_y\\ T_z\\ R_x\\ R_y\\ R_z\end{array}\right]=\left[\begin{array}{c}{\mathrm{\Δx}}^1\\ \·\\ \·\\ \·\\ {\mathrm{\Δx}}^n\\ {\mathrm{\Δy}}^1\\ \·\\ \·\\ \·\\ {\mathrm{\Δy}}^n\end{array}\right]$

$\⇒A\·x=b\⇒x=A^{+}\·b---\left(6\right)$

矩阵A中的增量是针对沿着6个自由度中每一个的小的马达移动而测得的。在图3中示出了沿b的增量。我们使用摄像机坐标确定(620)所有的增量。因此，我们使用H_sc将理想点从屏幕坐标转换成摄像机坐标。我们求解(620)A.x＝b，并调节(640)平台马达。我们进行测试(650)以察看是否获得所期望的结果，如果没有，则我们对结果进行检查(670)，并且如果结果为真则接受(660)。否则，我们重复(680)。

等式(6)示出我们能够通过计算矩阵A(为2n×6矩阵)的伪逆而求解线性等式的系统。该伪逆需要计算A^TA(为6×6矩阵)的逆。我们假设A^TA是非奇异且满秩的。从而该伪逆可以使用奇异值分解(SVD)对秩亏(rank deficiency)进行处理来计算。然而，我们不希望遇到A^TA是非奇异的情况。该解直接指定了每个6自由度马达被调节的单位步进。

校准

原则上，我们可以针对每个背投显示块在第二阶段期间分别确定矩阵A的增量。然而，实际上，对于特定的模型的背投显示块，我们以离线处理的方式对这些增量进行“校准”。然后，我们假设所有其他相同模型的背投显示块近似地具有类似的增量。

校准步骤要求背投显示块在该处理开始之前相对于屏幕近似地对准。然后，我们针对当前近似对准的状态确定特征点(即屏幕像素)的位置。接下来，我们将单自由度马达移动少量步进单位，并再次确定特征点的位置。这给出了步进单位和屏幕上的像素之间的关系。

存储x坐标和y坐标之间的增量。接下来，我们撤销该自由度马达原先的移动，重新估计特征点的位置，并移动另一个单自由度的马达，直到所有的6个自由度马达都被校准为止。由于这些马达的重复性误差，在每次撤销之后必须对特征点进行重新估计。我们在摄像机坐标下存储x坐标和y坐标之间的增量。

多背投

等式(6)仅适用于单个背投显示块。我们的目标是对准多背投显示块结构，如图7所示。和以前一样，我们确定(710)单应性Hcp。然后，对于每个显示块，我们确定(720)增量，确定(730)与相邻显示块的增量，求解(740)A.x＝b，调节(750)马达。检查(760)最大迭代次数，并退出(770)，否则针对每个显示块进行重复(780)。

多个显示块的对准是更加困难的，这是因为特征图案的投影需要与每个显示块的屏幕对准，并与对接屏幕上的投影对准。另一个使得这种对准更加困难的因素是相邻投影之间没有重叠。在理想情况下，这些投影应当沿着相邻屏幕的接缝在几何上一致。

在我们的系统中，这些屏幕间隔开大约1mm，并且这些投影应当对该缝隙进行补偿。为了对该缝隙进行补偿，对于最外圈像素，需要有50％的像素是可见的，而另50％像素延伸出屏幕边界之外。

如图8所示，利用这种补偿，相邻投影应当对接在缝隙为1mm的中心线800上。如果我们沿着投影的最外边来定义特征点，则在理想情况下，这些特征将沿着缝隙为1mm的中心线对准。当然，实际上我们不能直接测量这些特征点，而是，我们使用单应性进行外推。

假如存在实际的相邻显示块，就沿着4个相连的相邻接缝外推特征点。在知道特征点之后，如图4所示，我们可以将不对准同样表示为特征点之间的增量。

等式(7)包含等式(6)，并具有针对左(l)、右(r)、上(t)和下(b)方相邻显示块的附加的行。

$\left[\begin{array}{cccccc}{\mathrm{\Δx}}_{T_x}^1& {\mathrm{\Δx}}_{T_y}^1& {\mathrm{\Δx}}_{T_z}^1& {\mathrm{\Δx}}_{R_x}^1& {\mathrm{\Δx}}_{R_y}^1& {\mathrm{\Δx}}_{R_z}^1\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ {\mathrm{\Δx}}_{T_x}^n& {\mathrm{\Δx}}_{T_y}^n& {\mathrm{\Δx}}_{T_z}^n& {\mathrm{\Δx}}_{R_x}^n& {\mathrm{\Δx}}_{R_y}^n& {\mathrm{\Δx}}_{R_z}^n\\ {\mathrm{\Δx}}_{T_x}^l& {\mathrm{\Δx}}_{T_y}^l& {\mathrm{\Δx}}_{T_z}^l& {\mathrm{\Δx}}_{R_x}^l& {\mathrm{\Δx}}_{R_y}^l& {\mathrm{\Δx}}_{R_z}^l\\ {\mathrm{\Δx}}_{T_x}^r& {\mathrm{\Δx}}_{T_y}^r& {\mathrm{\Δx}}_{T_z}^r& {\mathrm{\Δx}}_{R_x}^r& {\mathrm{\Δx}}_{R_y}^r& {\mathrm{\Δx}}_{R_z}^r\\ {\mathrm{\Δx}}_{T_x}^t& {\mathrm{\Δx}}_{T_y}^t& {\mathrm{\Δx}}_{T_z}^t& {\mathrm{\Δx}}_{R_x}^t& {\mathrm{\Δx}}_{R_y}^t& {\mathrm{\Δx}}_{R_z}^t\\ {\mathrm{\Δx}}_{T_x}^b& {\mathrm{\Δx}}_{T_y}^b& {\mathrm{\Δx}}_{T_z}^b& {\mathrm{\Δx}}_{R_x}^b& {\mathrm{\Δx}}_{R_y}^b& {\mathrm{\Δx}}_{R_z}^b\\ {\mathrm{\Δy}}_{T_x}^1& {\mathrm{\Δy}}_{T_y}^1& {\mathrm{\Δy}}_{T_z}^1& {\mathrm{\Δy}}_{R_x}^1& {\mathrm{\Δy}}_{R_y}^1& {\mathrm{\Δy}}_{R_z}^1\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ \·& \·& \·& \·& \·& \·\\ {\mathrm{\Δy}}_{T_x}^n& {\mathrm{\Δy}}_{T_y}^n& {\mathrm{\Δy}}_{T_z}^n& {\mathrm{\Δy}}_{R_x}^n& {\mathrm{\Δy}}_{R_y}^n& {\mathrm{\Δy}}_{R_z}^n\\ {\mathrm{\Δy}}_{T_x}^l& {\mathrm{\Δy}}_{T_y}^l& {\mathrm{\Δy}}_{T_z}^l& {\mathrm{\Δy}}_{R_x}^l& {\mathrm{\Δy}}_{R_y}^l& {\mathrm{\Δy}}_{R_z}^l\\ {\mathrm{\Δy}}_{T_x}^r& {\mathrm{\Δy}}_{T_y}^r& {\mathrm{\Δy}}_{T_z}^r& {\mathrm{\Δy}}_{R_x}^r& {\mathrm{\Δy}}_{R_y}^r& {\mathrm{\Δy}}_{R_z}^r\\ {\mathrm{\Δy}}_{T_x}^t& {\mathrm{\Δy}}_{T_y}^t& {\mathrm{\Δy}}_{T_z}^t& {\mathrm{\Δy}}_{R_x}^t& {\mathrm{\Δy}}_{R_y}^t& {\mathrm{\Δy}}_{R_z}^t\\ {\mathrm{\Δy}}_{T_x}^b& {\mathrm{\Δy}}_{T_y}^b& {\mathrm{\Δy}}_{T_z}^b& {\mathrm{\Δy}}_{R_x}^b& {\mathrm{\Δy}}_{R_y}^b& {\mathrm{\Δy}}_{R_z}^b\end{array}\right]\·x=\left[\begin{array}{c}{\mathrm{\Δx}}^1\\ \·\\ \·\\ \·\\ {\mathrm{\Δx}}^n\\ {\mathrm{\Δ}}_x^l\\ {\mathrm{\Δ}}_x^r\\ {\mathrm{\Δ}}_x^t\\ {\mathrm{\Δ}}_x^b\\ {\mathrm{\Δy}}^1\\ \·\\ \·\\ \·\\ {\mathrm{\Δy}}^n\\ {\mathrm{\Δ}}_y^l\\ {\mathrm{\Δ}}_y^r\\ {\mathrm{\Δ}}_y^t\\ {\mathrm{\Δ}}_y^b\end{array}\right]---\left(7\right)$

该线性等式系统的解(630)是A⁺.b。通过在等式(7)中包含等式(6)，我们确信每个背投显示块保持与其屏幕对准，同时与相邻显示块对准。

通过将相邻显示块之间的对准问题以公式表示为等式(7)中的线性系统，我们可以应用加权方案。权重影响线性等式A⁺.b给出的最小平方解。加权方案可以给予单个显示块的特征点更多的重要性，或者给予沿着与一个或更多个相邻显示块的缝隙的特征点更多的重要性。对单个显示块的特征点给予更多的重要性保持了与单个显示块的屏幕的对准，但不一定保持了与相邻显示块的对准。对沿着一个或更多个相邻显示块的接缝的特征给予更多的重要性导致相邻显示块之间的对准，但是不一定保持了对单个显示块的屏幕的对准。等式(7)示出了各个显示块的特征以及沿着与相邻显示块的接缝的特征具有相等的权重(值为1)的情况。

非线性失真的补偿

仅当系统中几乎或完全没有非线性失真时以上所有计算才是准确的。如上所述，情况当然并非如此。若干不同源造成了总的非线性失真。在存在非线性失真时，使用单应性对特征位置进行外推和插值可能导致大的误差。整个屏幕上的理想点是基于单应性H_sc进行插值，而沿着相邻显示块的接缝的特征点是基于单应性H_cp进行外推。因为是在最小平方意义上计算等式(6)和(7)的解，因此最可能的对准具有减小的精度。

因为非线性失真是由来自若干不同源的失真组成，且不可能单独地观察每个源的失真，我们试图估计总的非线性失真。为了获得复数形式的失真，我们使用下面的模型来估计3自由度的双变量多项式f_poly：

x′＝a₁+a₂x+a₃y+a₄xy+a₅x²+a₆y²+a₇x²y+a₈xy²+a₉x²y²+a₁₀x³+a₁₁y³+a₁₂x³y+a₁₃xy³+a₁₄x³y²+a₁₅x²y³+a₁₆x³y³(8)

我们针对y′估计类似的多项式。同样，我们可以在最小平方意义上计算多项式参数。给定该多项式，我们可以计算摄像机坐标下的理想点：

${\tilde{x}}_c=\mathrm{\ρ}(H_{s,c}\·x_s),$

$x_c=f_{\mathrm{poly}}\left({\tilde{x}}_c\right)$

其中ρ()是投影除法算子。不是针对x和y仅估计f_poly一次，而是针对每次迭代估计f_poly。原因在于随着越来越接近理想对准，对f_poly的估计也改善。

调节

将非参数化精细细化阶段执行若干次迭代。尽管对准不收敛到绝对的全局最小值，重复的测试表明，在8次迭代之后，RMS误差达到误差下限(error floor)。因而，我们将非参数化细化步骤最多执行8次迭代，并且如果以较少迭代就达到误差下限，则提前终止。

尽管以优选实施方式为例描述了本发明，但应当理解，在本发明的精神和范围内可以做出各种其他修改和变型。因此，所附权利要求的目标在于涵盖落入本发明的真实精神和范围内的所有这种修改和变型。

Claims (20)

1.一种对投影仪阵列进行对准的方法，该方法包括以下步骤：

对每个投影仪独立地执行参数化粗对准；以及

对每个投影仪和相邻投影仪联合地执行非参数化精细对准。

2.根据权利要求1所述的方法，该方法还包括以下步骤：

在执行所述对准的同时将对准图案投影到每个投影仪的屏幕上；以及

在执行所述对准的同时获取所述对准图案的图像。

3.根据权利要求2所述的方法，该方法还包括以下步骤：

根据所述图像来确定每个投影仪相对于所述投影仪的屏幕的当前姿态；

确定每个投影仪的所述当前姿态与理想姿态之间的差异；以及

根据所述差异调节每个投影仪的姿态。

4.根据权利要求2所述的方法，该方法还包括以下步骤：对于每个投影仪

确定所述屏幕和摄像机之间的单应性H_cs；

确定所述投影仪和所述摄像机之间的单应性H_pc；以及

根据H^-1 _pc.H_sc确定所述屏幕和所述投影仪之间的单应性H_sp。

5.根据权利要求4所述的方法，该方法还包括以下步骤：对于每个投影仪

利用所述投影仪的固有参数的逆矩阵A^-1 _p对单应性H_sp进行分解以获得旋转矩阵R和平移矩阵T；以及

相应地调节所述投影仪的姿态。

6.根据权利要求1所述的方法，其中所述投影仪是正投影仪。

7.根据权利要求3所述的方法，其中每个投影仪安装在具有多个马达的6自由度平台上，这些马达用于根据它们的步进单位来调节所述投影仪的姿态。

8.根据权利要求5所述的方法，其中通过将所述投影仪相对于所述屏幕移动到至少三个不同的姿态来确定所述投影仪的所述固有参数。

9.根据权利要求8所述的方法，该方法还包括以下步骤：

基于所述固有参数，确定所述投影仪姿态相对于所述屏幕的理想姿态。

10.根据权利要求3所述的方法，其中对这些投影仪的所述调节同时完成。

11.根据权利要求7所述的方法，该方法还包括以下步骤：

确定所述步进单位和所述屏幕上的像素之间的关系。

12.根据权利要求1所述的方法，该方法还包括以下步骤：

在执行所述对准的同时估计这些投影仪的非线性失真。

13.根据权利要求1所述的方法，该方法还包括以下步骤：

对每个投影仪独立地执行所述非参数化精细对准。

14.一种对投影仪阵列进行对准的系统，该系统包括：

用于对每个投影仪独立地执行参数化粗对准的装置；以及

用于对每个投影仪和相邻投影仪联合地执行非参数化精细对准的装置。

15.根据权利要求14所述的系统，该系统还包括：

用于对每个投影仪独立地执行所述非参数化精细对准的装置。

16.根据权利要求14所述的系统，其中在执行所述对准的同时将对准图案投影到每个投影仪的屏幕上，并且在执行所述对准的同时摄像机获取所述对准图案的输入图像。

17.根据权利要求14所述的系统，其中对这些投影仪的调节同时完成。

18.根据权利要求14所述的系统，其中根据加权方案对每个投影仪和相邻投影仪执行所述非参数化精细对准。

19.根据权利要求16所述的系统，其中所述输入图像由多个摄像机获取。

20.根据权利要求16所述的系统，其中获取的所述对准图案用于确定所述加权方案。

Images