CN102170545A - 校正信息计算装置、图像处理装置、显示系统及校正方法 - Google Patents
校正信息计算装置、图像处理装置、显示系统及校正方法 Download PDFInfo
- Publication number
- CN102170545A CN102170545A CN2011100453830A CN201110045383A CN102170545A CN 102170545 A CN102170545 A CN 102170545A CN 2011100453830 A CN2011100453830 A CN 2011100453830A CN 201110045383 A CN201110045383 A CN 201110045383A CN 102170545 A CN102170545 A CN 102170545A
- Authority
- CN
- China
- Prior art keywords
- image
- pattern
- projected
- identification
- projecting apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 80
- 238000012937 correction Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title abstract description 19
- 238000004364 calculation method Methods 0.000 claims abstract description 70
- 238000005259 measurement Methods 0.000 claims abstract 4
- 238000001514 detection method Methods 0.000 claims description 54
- 238000003672 processing method Methods 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 description 30
- 230000015572 biosynthetic process Effects 0.000 description 29
- 238000005755 formation reaction Methods 0.000 description 29
- 230000009466 transformation Effects 0.000 description 17
- 238000006243 chemical reaction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 238000004321 preservation Methods 0.000 description 7
- 230000001915 proofreading effect Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000008676 import Effects 0.000 description 5
- 238000000205 computational method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000006467 substitution reaction Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3147—Multi-projection systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3191—Testing thereof
- H04N9/3194—Testing thereof including sensor feedback
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Image Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
校正信息计算装置、图像处理装置、显示系统及校正方法,它们能简便地取得被投影面上的测定用图案与进行投影的投影仪的对应信息。校正信息计算装置计算表示被投影面上的像素的位置与投影仪的图像形成元件上的像素的位置的对应关系的校正信息。且具有对应信息确定部,其对摄影图像中的多个识别图案的排列中的各识别图形的相对位置与配置信息进行比较,求出表示被投影面上的各识别图案与投影各识别图案的投影仪的对应关系的对应信息,所述摄影图像是对从多个投影仪分别投影了识别图形时排列在被投影面上的多个识别图形进行摄影得到的,所述配置信息表示多个投影仪的多个投影区域的排列中各投影区域的相对位置与向各投影区域投影的投影仪的对应关系。
Description
技术领域
本发明涉及校正信息计算装置、图像处理装置、图像显示系统以及图像校正方法。
背景技术
以往,作为图像显示装置之一,公知有投影仪。投影仪具有容易设置、且能够显示大画面图像等优点。近年来,提出了使用多个投影仪来显示图像的图像显示系统。该图像显示系统使多个投影仪分别投影部分图像,利用多个部分图像的全体来显示一个图像。
为了对部分图像的失真和相对位置的偏移进行校正,例如进行以下处理。首先,显示包含特征点的测定用图案,对所显示的测定用图案进行摄影。然后,根据表示测定用图案的图像数据上的特征点的位置与对测定用图案进行摄影而得到的摄影图像中的特征点的位置之间的对应关系,针对每个投影仪求出表示像素位置的校正量的校正信息。在显示面向视听者的图像(以下称为内容图像)时,根据上述校正信息对表示该图像的图像数据进行校正,根据校正后的图像数据来显示部分图像。
进行上述校正处理时,需要求出被投影面上的测定用图案与投影该测定用图案的投影仪的对应信息(例如参照专利文献1)。在专利文献1中,从各投影仪投影出包含对于多个投影仪彼此不同的识别信息的识别图像。根据对所投影的识别图像进行摄影而得到的摄影图像中的识别图像,将投影仪与该投影仪的投影区域对应起来。
【专利文献1】日本特开2009-086485号公报
在专利文献1的技术中,需要与所使用的投影仪的台数相应量的识别图案,所以,所能使用的投影仪的数量受到预先准备的识别图像的数量的限制。并且,如果要增加识别图像的数量,则识别图案的形状变得复杂。当识别图案为复杂的形状时,根据摄影图像检测识别图案的处理可能变得复杂,可能因检测失败等而引起处理的稳定性降低。
发明内容
本发明是鉴于上述情况而完成的,其目的之一在于,提供如下的校正信息计算装置、图像处理装置、图像显示系统以及图像处理方法:它们能够简便地取得被投影面上的测定用图案与投影该测定用图案的投影仪之间的对应信息而计算校正信息。
为了实现上述目的,在本发明中采用了以下手段。
本发明的校正信息计算装置计算校正信息,该校正信息表示从具有图像形成元件的投影仪投影到被投影面的投影区域上的图像中的像素的位置与所述图像形成元件中的像素的位置之间的对应关系,其特征在于,该校正信息计算装置具有:对应信息确定部,其对摄影图像中的多个识别图案的排列中的各识别图形的相对位置与配置信息进行比较,求出表示所述被投影面上的各识别图案与投影各识别图案的所述投影仪之间的对应关系的对应信息,其中,所述摄影图像是对从多个投影仪分别投影了包含所述识别图形的所述识别图案时排列在所述被投影面上的多个所述识别图形进行摄影而得到的,所述配置信息表示所述多个投影仪的多个所述投影区域的排列中各投影区域的相对位置与向各投影区域进行投影的所述投影仪之间的对应关系;以及校正信息运算部,其根据所述对应信息,将由包含多个特征点的被提供给各投影仪的特征点图案的原数据规定的所述多个特征点的位置,与对基于该原数据投影的特征点图案进行摄影而得到的摄影图像中的所述多个特征点的位置对应起来,进行比较,由此计算所述校正信息。
这样,对应信息确定部对各识别图形在摄影图像中的多个识别图案的排列中占据的配置位置、与表示各投影区域和向各投影区域进行投影的投影仪之间的对应关系的配置信息进行比较,求出表示被投影面上的各识别图案与投影各识别图案的投影仪之间的对应关系的对应信息,所以,能够简便地取得对应信息。通过求出各特征图形在识别图形的排列中占据的配置位置来得到对应信息,所以,在多个投影仪中使识别图形的形状彼此不同的必要性低,很明显,即使在投影相同的识别图形的情况下,也能够得到对应信息。因此,所要使用的投影仪的数量不受识别图形的种类的制约,便利性提高。并且,校正信息运算部根据由对应信息确定部求出的对应信息,对特征点图案的原数据与摄影图像中的特征点图案进行比较,由此计算校正信息,所以,其结果,成为能够高效计算校正信息的校正信息计算装置。
在本发明的校正信息计算装置中,优选的是,该校正信息计算装置具有:第1图案检测部,其检测摄影图像中的所述识别图案,该摄影图像是对由所述多个投影仪分别投影了包含所述特征点图案和所述识别图案的测定用图案时、所述被投影面上的所述测定用图案进行摄影而得到的;以及第2图案检测部,其检测该摄影图像中的所述特征点图案中包含的所述多个特征点,所述对应信息确定部根据所述第1图案检测部的检测结果求出所述对应信息,所述第2图案检测部使用该对应信息,参照所述特征点图案相对于由所述测定用图案的原数据规定的所述识别图案的相对位置,来检测所述特征点图案,所述校正信息运算部根据所述第2图案检测部的检测结果,求出所述校正信息。
这样,使用包含识别图案和特征点图案的测定用图案求出对应信息,使用该测定用图案和对应信息求出校正信息,所以,与独立于识别图案而单独投影特征点图案的情况相比,能够减少投影和摄影所需要的工作和时间。并且,第2图案检测部使用对应信息来检测特征点图案,所以,特征点图案中包含的特征点的检测失败的概率低,能够避免由于特征点的检测失败而引起的处理的发散。
在本发明的校正信息计算装置中,优选的是,所述配置信息是表示所述多个投影仪的排列中各投影仪的相对位置与所述多个投影区域的排列中该投影仪的所述投影区域的相对位置一致时的、所述多个投影仪的排列中各投影仪的相对位置的信息。
这样,能够简便地设定配置信息,能够减少取得校正信息所需要的工作和时间。
在本发明的校正信息计算装置中,优选的是,在所述多个投影仪中,由所述多个投影仪投影的所述识别图案中包含的所述识别图形的形状是相同的。
如上所述,是通过检测识别图形的排列中各识别图形的配置位置来得到对应信息,所以,即使在多个投影仪中识别图形的形状相同,也能够得到对应信息。这样,与多个投影仪中识别图形的形状不同的情况相比,能够减少识别图案的生成和存储所需的成本。并且,针对多个识别图形的排列,能够通过相同算法来检测识别图形,能够稳定且高效地进行检测识别图形的处理。
在本发明的校正信息计算装置中,优选的是,所述识别图形包含所述多个特征点,所述校正信息运算部使用对由各投影仪投影的所述识别图案进行摄影而得到的摄影图像中的该识别图案,计算所述校正信息。
这样,在计算校正信息时使用包含识别图形以外的其他图形的图案的必要性低,所以,能够减少对投影到的图案进行分析时需要的工作和时间。
本发明的图像处理装置的特征在于,该图像处理装置具有:上述本发明的校正信息计算装置;以及图像校正部,其参照由所述校正信息计算装置计算出的所述校正信息,对所述图像数据进行校正,使得所述投影仪根据校正后的图像数据而投影到所述被投影面上的图像与校正前的所述图像数据所表示的图像大致一致。
根据本发明的校正信息计算装置,能够高效地取得校正信息,所以,本发明的图像处理装置既能够节省在取得校正信息方面的工作,又能够对部分图像的失真和相对位置的偏移进行校正。
本发明的图像显示系统的特征在于,该图像显示系统具有:上述本发明的图像处理装置;以及多个投影仪,它们根据由所述图像处理装置校正后的所述校正后的图像数据来投影图像。
根据本发明的图像处理装置,能够高效地计算校正信息,并且,能够通过校正信息高精度地对部分图像的失真和相对位置的偏移进行校正,所以,本发明的图像显示系统的便利性高,而且能够显示高品质的图像。
本发明的图像处理方法的特征在于,该图像处理方法具有以下步骤:计算校正信息的校正信息计算步骤,该校正信息表示从具有图像形成元件的投影仪投影到被投影面的投影区域上的图像中的像素的位置与所述图像形成元件中的像素的位置之间的对应关系;以及参照所述校正信息对所述图像数据进行校正,使得所述投影仪根据校正后的图像数据投影到所述被投影面上的图像与校正前的所述图像数据所表示的图像大致一致的步骤,所述校正信息计算步骤包括以下处理:对摄影图像中的多个识别图案的排列中的各识别图形的相对位置与配置信息进行比较,求出表示所述被投影面上的各识别图案与投影各识别图案的所述投影仪之间的对应关系的对应信息,其中,所述摄影图像是对从多个投影仪分别投影了包含识别图形的识别图案时排列在所述被投影面上的多个所述识别图形进行摄影而得到的,所述配置信息表示所述多个投影仪的多个所述投影区域的排列中各投影区域的相对位置与向各投影区域进行投影的所述投影仪之间的对应关系;以及根据所述对应信息,将由包含多个特征点的提供给各投影仪的特征点图案的原数据规定的所述多个特征点的位置,与对基于该原数据投影的特征点图案进行摄影而得到的摄影图像中的所述多个特征点的位置对应起来,进行比较,由此计算所述校正信息。
这样,基于上述理由,能够简便地取得对应信息,能够高效地计算校正信息。因此,既能够节省在取得校正信息方面的工作,又能够对部分图像的失真和相对位置的偏移进行校正。
附图说明
图1是示出本发明的实施方式的图像显示系统的概略图。
图2是示出被投影面上的投影区域的位置关系的说明图。
图3是示出图像显示系统的结构的图。
图4是示出测定用图案的一例的说明图。
图5是示出显示内容图像之前的处理流程的图。
图6是示出校正信息的计算方法的一例的说明图。
标号说明
1:图像显示系统;2:投影仪;3:图像处理装置;4:摄影装置;5:图像控制装置;6:校正信息计算装置;8:信号源;9:被投影面;21:第1投影仪;22:第2投影仪;23:第3投影仪;24:第4投影仪;51:图像输入部;52:图像保存部;53:图像校正部;54:图像输出部;61:校正信息运算部;62:对应信息确定部;63:存储部;64:第1图案检测部;65:第2图案检测部;A:有效投影区域;A0:整体投影区域;A1:第1投影区域;A2:第2投影区域;A3:第3投影区域;A4:第4投影区域;D:测定用图案;D1~D4:特征点;D5:区域;D101:第1图案(识别图案);D102:第2图案(特征点图案);P:内容图像;P1:第1部分图像;P2:第2部分图像;P3:第3部分图像;P4:第4部分图像;P5:重叠区域;S1~S10:步骤;T:摄影图案;T1~T5:特征点;D10:测定用图案;T11~T14:投影测定用图案;T111、T121、T131、T141:第1投影图案;T112、T122、T132、T142:第2投影图案。
具体实施方式
下面,参照附图对本发明的实施方式进行说明。在用于说明的附图中,为了以容易理解的方式示出特征部分,有时使附图中的构造的尺寸和比例尺与实际构造不同。并且,在实施方式中,针对相同的结构要素标注相同标号进行图示,有时省略其详细说明。
图1是本发明的一个实施方式的图像显示系统的概念图,图2是示出投影到被投影面上的图像与投影区域的关系的说明图。
如图1所示,图像显示系统1具有多个投影仪2、图像处理装置3以及摄影装置4。图像显示系统1利用多个投影仪2分担例如从信号源8输入的图像数据所表示的内容图像P,将其投影到屏幕或墙壁等被投影面9上。这里,作为多个投影仪2,对设置了第1投影仪21、第2投影仪22、第3投影仪23以及第4投影仪24的情况进行说明。关于本发明的应用范围,只要使用多个投影仪即可,而对投影仪的数量和配置没有限定。另外,在以下的说明中,有时将从多个投影仪分别投影的图像称为“部分图像”。并且,在以下的说明中,有时将表示部分图像的图像数据称为“部分图像数据”。
投影仪2可根据所提供的图像数据(这里为部分图像数据)显示图像(这里为部分图像)。本发明的应用范围对投影仪2的结构没有限定。例如,投影仪2可以是单板式投影仪,也可以是三板式投影仪等包含多个图像形成元件的投影仪。并且,投影仪2可以是相对于被投影面9从与视听者相同的一侧进行投影的正面投影型投影仪,也可以是隔着被投影面9从与视听者相反的一侧进行投影的背面投影型投影仪。
本实施方式的多个投影仪2具有光源、图像形成元件以及投影光学系统。图像形成元件具有呈二维排列的多个像素。作为图像形成元件,例如可列举出透射型或反射型的液晶光阀、数字微镜器件(DMD)等。在各投影仪中,从光源射出的光入射到图像形成元件。图像形成元件根据输入到该投影仪中的部分图像数据的每个像素的数据(以下称为像素数据),对多个像素进行彼此独立的控制。入射到像素的光按每个像素进行调制而成为由像素数据规定的光量的光。根据多个像素进行调制后的光整体上成为光学像(图像),通过投影光学系统将该光学像投影到被投影面9上。这里,在多个投影仪中,图像形成元件的像素数量以及像素的排列是一致的。
在多个投影仪2中,各投影仪所能投影到被投影面9上的区域即投影区域被设定为不同。如图2所示,第1~第4投影区域A1~A4被设定为彼此的周缘部重叠,整体上构成了整体投影区域。即,第1~第4投影区域A1~A4分别包含与邻接的其他投影区域重叠的重叠区域P5。
第1投影仪21的投影区域(第1投影区域A1)与第2投影仪22的投影区域(第2投影区域A2)沿被投影面9上的水平方向排列。在该水平方向中,第1投影区域A1的端部与第2投影区域A2的端部重叠。关于第3投影仪23的投影区域(第3投影区域A3)与第4投影仪24的投影区域(第4投影区域A4)在水平方向上的位置关系,与第1、第2投影区域A1、A2在水平方向上的位置关系相同。
第1投影区域A1与第3投影区域A3沿被投影面9上的与水平方向正交的垂直方向排列。在该垂直方向中,第1投影区域A1的端部(周缘部)与第3投影区域A3的端部(周缘部)重叠。关于第2投影区域A2与第4投影区域A4在垂直方向上的位置关系,与第1、第3投影区域A1、A3在垂直方向上的位置关系相同。
在本实施方式中,如图1所示,多个投影仪2呈二维排列。多个投影仪2的排列中的各投影仪21~24的相对位置与被投影面9上的多个投影区域的排列中的投影区域A1~A4的相对位置一致。这里所说的相对位置,是指在多个排列要素(投影仪或投影区域)排列而成的排列中,以一个排列要素为基准时其他排列要素相对于基准排列要素的相对位置关系。例如,考虑沿着水平方向的投影仪的相对位置时,第1投影仪21相对于第2投影仪22位于左侧,第2投影仪22相对于第1投影仪21位于右侧。此时,沿着水平方向的投影区域的相对位置为:第1投影仪21负责的第1投影区域A1相对于第2投影仪22负责的第2投影区域A2位于左侧,第2投影仪22负责的第2投影区域A2相对于第1投影仪21负责的第1投影区域A1位于右侧。另外,这里所说的“左侧”和“右侧”表示在隔着多个投影仪2从与被投影面9相反的一侧观察多个投影仪2和多个投影区域A1~A4时、各投影仪21~24和多个投影区域A1~A4的位置关系。在垂直方向中,各投影仪的相对位置与各投影仪负责的投影区域的相对位置并未反转。
另外,整体投影区域A0的外形通常不是矩形。这是因为,会因第1~第4投影仪21~24的配置而产生第1~第4投影区域A1~A4的失真和相对位置的偏移。这里,设包含在整体投影区域A0中的大致矩形的区域为实际图像投影时使用的区域(有效投影区域A)。第1~第4投影仪21~24向各投影区域中包含在有效投影区域A中的区域投影部分图像。
例如,通过从第1投影仪21投影的光,在第1投影区域A1中包含在有效投影区域A中的区域上显示第1部分图像P1。以下同样,通过第2~第4投影仪22~24,显示第2~第4部分图像P2~P4。第1~第4部分图像P1~P4以端部彼此重叠的方式显示在被投影面9上,整体构成内容图像P。
返回图1的说明,图像处理装置3例如从信号源8接受表示内容图像P的图像数据。图像处理装置3对图像数据实施各种处理(后述),并且,根据图像数据生成多个部分图像数据。各部分图像数据是表示第1~第4部分图像P1~P4中的任一方的数据。图像处理装置3分别向第1~第4投影仪21~24提供表示各投影仪负责的部分图像的部分图像数据。第1~第4投影仪21~24根据从图像处理装置3输入的部分图像数据,在被投影面9上投影第1~第4部分图像P1~P4。
作为上述各种处理之一,图像处理装置3进行如下处理(以下称为位置校正处理):对第1~第4部分图像P1~P4各自的图像失真进行校正,并且,对第1~第4部分图像P1~P4的相对位置的偏移进行校正。在图像显示系统1的设置时、或从图像显示系统1的设置时起经过了规定期间后的维护时等适当选择的时机,图像处理装置3计算用于位置校正处理的校正信息。
作为上述图像失真的一例,例如,可以举出因第1~第4投影仪21~24各自相对于被投影面9在投影方向、即垂直方向上的仰角或俯角、水平方向的摆角等而产生的图像失真(例如梯形失真)。作为图像失真的其他例子,例如,可以举出因布状屏幕的挠曲等使得被投影面9发生局部变形而由此产生的图像失真。
上述第1~第4部分图像P1~P4的相对位置的偏移例如是由于第1~第4投影仪21~24中投影方向不一致或相对位置的偏移等而引起的。
本发明的图像处理装置例如像下述第1~第3方式那样,可采取多种方式。
作为第1方式的图像处理装置,可以举出由进行各种处理的ASIC等一个以上的逻辑电路实现的结构。第1方式的图像处理装置的一部分或全部可与第1~第4投影仪21~24、摄影装置4、信号源8中的任一方一体化。
作为第2方式的图像处理装置,可以举出由安装有程序的计算机实现的结构。即,通过程序使计算机执行各种处理,由此,能够实现图像处理装置3的功能。例如,使存储器和CPU协作地执行各处理中的运算,将运算结果保存到硬盘或存储器等存储部中,根据需要读出运算结果而提供给其他处理,由此,能够得到与使用逻辑电路等时相同的处理结果。另外,在第2方式的图像处理装置3中,也可以使多个计算机分担进行各种处理。
作为第3方式的图像处理装置,可以举出将进行各种处理中的一部分处理的逻辑电路与通过程序进行各种处理中的其他处理的计算机相组合的结构。
这样,除了作为进行各种处理的独立装置的方式以外,本发明的图像处理装置还可采取作为进行各种处理中的一部分的多个功能部的集合的方式。即,也可以是如下方式:多个功能部被分开地设置在分体的多个装置中,彼此协作地进行处理。
摄影装置4能够取得对包含整体投影区域A0的整体的被投影面9上的区域进行摄影而得到的摄影图像。摄影装置4例如由CCD照相机等二维图像传感器构成。二维图像传感器具有由光电二极管等构成的多个受光元件呈二维排列的构造。在计算上述校正信息时,摄影装置4对由第1~第4投影仪21~24分别投影到被投影面9上的测定用图案进行摄影,向图像处理装置3输出表示摄影图像的摄影图像数据。
本实施方式的摄影装置4被配置成,能够通过一次摄影来拍摄整体投影区域A0的整体。与合并通过多次摄影得到的摄影图像来拍摄整体投影区域A0的整体的情况相比,能够消除因摄影装置在摄影与摄影之间的移动等引起的误差。根据整体投影区域A0的尺寸和纵横比的不同,可能存在整体投影区域A0的整体未收纳在摄影装置的视角中的情况。该情况下,可通过将摄影装置放置在三脚架等上的方式等,在大致固定了摄影装置相对于被投影面9的相对位置的状态下,按每个部分对整体投影区域A0进行摄影,合并2次以上的摄影结果而得到对整体投影区域A0的整体进行摄影后的摄影图像。
当如上地通过多个投影仪2显示内容图像P时,能够利用大画面、高分辨率、高亮度显示内容图像P。例如,与通过一台投影仪进行显示的情况相比,在每一台投影仪的像素数量相同的条件下,能够在不降低分辨率的情况下利用大画面显示内容图像P。并且,在利用相同画面尺寸显示内容图像P的条件下进行比较时,能够与投影仪的数量相应地增加像素数量,能够利用高分辨率显示内容图像。在每一台投影仪的输出光量相同的条件下进行比较时,能够与投影仪的数量增加相应地增大对显示有贡献的光的光量,能够利用高亮度显示内容图像P。
与为了得到这些效果而增加投影仪的像素数量或输出的方法相比,能够显著降低各投影仪的成本,所以,即使考虑了投影仪数量方面的因素,也可期待降低装置成本的效果。并且,通常,每个投影仪例如是被设置在不同的场所(例如小会议室)来使用的,而根据用途不同,例如还可能要在大会议室中构筑图像显示系统而利用大画面、高分辨率、高亮度来显示内容图像。这样,能够根据用途来选择是单独使用投影仪还是组合使用多个投影仪,所以,与希望利用一台投影仪得到上述效果的情况相比,便利性提高。
并且,是根据由图像处理装置3实施了位置校正处理后的图像数据来显示内容图像P,所以,各部分图像的图像失真及多个部分图像中的相对位置的偏移降低。因此,能够在图像失真小、且不易识别到部分图像之间的接缝的状态下显示内容图像P,能够将内容图像P显示为高品质的图像。在本发明中,在计算上述校正信息时,能够简便地取得投影到被投影面上的测定用图案与投影该测定用图案的投影仪之间的对应关系。由此,例如能够减少设置图像显示系统所需要的工作和时间,能够提高图像显示系统的便利性。
接着,参照图3、图4对本发明的图像处理装置3的结构要素进行详细说明。图3是示出图像处理装置3的功能结构的图,图4是示出测定用图案的一例的说明图。
如图3所示,图像处理装置3具有图像控制装置5和校正信息计算装置6。校正信息计算装置6求出表示投影到被投影面上的测定用图案与投影该测定用图案的投影仪之间的对应关系的对应信息,根据对应信息计算校正信息。图像控制装置5进行各种处理,并且,作为各种处理之一,使用校正信息对图像数据实施位置校正处理。在本实施方式中,图像控制装置5构成为第1计算机的一部分,校正信息计算装置6利用与第1计算机分体的第2计算机的CPU及存储部等构成。
图像控制装置5具有图像输入部51、图像保存部52、图像校正部53以及图像输出部54。图像输入部51例如由视频采集卡等构成。图像输入部51根据需要从图像控制装置5外部的DVD播放器或通信设备等信号源8接受内容图像。图像保存部52例如由内置或外置于计算机的硬盘等存储装置构成,能够保存表示内容图像P的图像数据。在要显示内容图像P时,将输入到图像输入部51的图像数据或保存在图像保存部52中的图像数据输出到图像校正部53。
另外,图像控制装置5也可以构成为仅设有图像输入部51和图像保存部52中的一方。还可以构成为,将从图像输入部51输入的图像数据保存到图像保存部52中,适当读出该图像数据而输入到图像校正部53。
图像校正部53的详细结构没有图示,它包括运算部和存储部。运算部例如由图形处理单元(GPU)等构成。存储部由视频存储器(VRAM)或非易失性存储器等构成。图像校正部53参照校正信息,对从信号源8输入的图像数据进行校正,使得投影仪21~24根据校正后的图像数据而投影到被投影面9上的图像与校正前的图像数据所表示的图像大致一致。
运算部将存储部用于图像缓存等,对输入到运算部的图像数据进行伽马校正、色调校正等各种处理。也可以使用程序,代替上述GPU,而使计算机的CPU进行运算,由此进行各种处理。另外,还可能存在以下情况,即:从图像输入部51或图像保存部52输入的图像数据上的像素排列与投影仪2的图像形成元件的像素排列不匹配,例如图像数据中包含的像素数量与图像形成元件的像素数量不同。该情况下,运算部对所输入的图像数据实施插值处理或渲染处理等,对图像数据进行校正,使得校正后的图像数据与图像形成元件的像素排列相匹配。关于这些处理,可以在各投影仪中设置处理部,在每个投影仪中分别使该处理部进行处理。
运算部参照校正信息对图像数据实施位置校正处理,并且,生成部分图像数据。校正信息被存储在上述存储部(例如非易失性存储器)中。校正信息是这样的信息,即:该信息表示各像素在被投影面9上的整体投影区域A0(参照图2)中占据的位置与各像素在多个投影仪2各自的图像形成元件的像素排列中占据的位置之间的对应关系。
校正信息例如作为图像形成元件的每个像素的值而以表的形式存储。即,如果参照表(校正信息),则要在整体投影区域A0的规定位置显示规定像素时,能够得知应向图像形成元件中的哪个像素输入各像素数据。
为了使得进行位置校正处理的校正前的图像数据所表示的图像、即应该显示的内容图像显示到有效投影区域A中,运算部例如进行以下处理。针对位于整体投影区域A0内侧、且位于有效投影区域A外侧的各像素(以下称为非显示像素),运算部根据校正信息将向与各非显示像素对应的图像形成元件的各像素提供的数据设定为非显示用的屏蔽数据(mask data)(例如表示黑色的数据)。并且,针对有效投影区域A内侧的各像素(以下称为显示像素),运算部根据校正信息将向与显示像素对应的图像形成元件的像素提供的数据设定为由图像数据规定的数据,作为该显示像素用的像素数据。通过对各投影区域中包含的显示像素和非显示像素进行这种处理,由此,得到负责各投影区域的投影仪用的部分图像数据。图像校正部53向图像输出部54输出由运算部生成的部分图像数据。
图像输出部54具有多个外部连接器,各投影仪与各外部连接器连接。各外部连接器被分配了识别符(ID)。图像输出部54向负责各部分图像数据的投影仪输出从图像校正部53输出的部分图像数据。可在第1计算机上设定经由各外部连接器输出哪个部分图像数据。图像输出部54经由与第1投影仪21连接的外部连接器输出表示第1部分图像P1的部分图像数据。以下同样,图像输出部54向第2~第4投影仪22~24输出表示第2~第4部分图像P2~P4的部分图像数据。
本实施方式的校正信息计算装置6通过使用程序使上述第2计算机进行规定处理(后述)来实现其功能。第2计算机与装配有图像控制装置5的第1计算机是分体的,例如通过总线等与第1计算机电连接。在由校正信息计算装置6计算出校正信息后,经由总线向图像控制装置5输出校正信息,由此,在拆下第2计算机(校正信息计算装置6)和摄影装置4的状态下,也能够通过多个投影仪2和图像控制装置5显示内容图像P。并且,在投影仪2产生了位置偏移时,还能够再次设置第2计算机(校正信息计算装置6)和摄影装置4,再次计算校正信息而更新校正信息。
作为功能块,校正信息计算装置6具有校正信息运算部61、对应信息确定部62、存储部63、第1图案检测部64以及第2图案检测部65。
存储部63由第2计算机的硬盘或存储器构成。在本实施方式的存储部63中存储有表示用于计算校正信息的测定用图案的测定用图像数据(原数据)。测定用图像数据也可以存储在第1计算机的存储部或其他存储部中。
如图4所示,测定用图案D10是包含作为识别图案的第1图案D101和作为特征点图案的第2图案D102的图像。在本实施方式中,对第1~第4投影仪21~24中的任意一方均提供表示相同的测定用图案D10的测定用图像数据。因此,对于多个投影仪2而言,由多个投影仪2投影的识别图案中包含的识别图形的形状均是相同的。
测定用图案D10由在i方向和j方向上排列的像素的排列构成。表示测定用图案的图像数据(以下称为测定用图像数据)在提供给各投影仪的阶段中成为与图像形成元件的像素的排列相匹配的形式。例如,在图像形成元件的像素的排列为1920×1080个的情况下,测定用图像数据作为在i方向上排列着1920个像素且在j方向上排列着1080个像素的图像的图像数据,被提供给投影仪。
本例的第1图案D101由一个矩形状的识别图形构成。将第1图案D101在测定用图案D10中占据的位置设定成,使得该识别图形被投影到不与图2所示的重叠区域A5重叠的区域。具体而言,考虑重叠区域A5的重叠量的设定值,来设定第1图案D101在测定用图案D10中占据的位置和尺寸。在规定方向(例如水平方向)上排列着一对投影区域时,用该规定方向中的一个投影区域的宽度与一对投影区域彼此重叠的区域的宽度之间的比率等来表示重叠量。本例的识别图形被配置在测定用图案D10的中央附近,上述测定用图像数据被设定成,使得测定用图案的中心点位于识别图形的内侧。
本例的第2图案D102由多个圆点形状(点形状)的特征图形构成,包含4个以上的由多个特征图形规定的特征点。在本例中,构成第2图案D102的多个特征图形被配置在第1图案D101的外侧。所谓特征图形,是指能够通过边缘检测处理或图案认证处理等图像处理技术检测出的形状或亮度分布的图形,是在检测到特征图形时能够求出代表特征图形的点作为特征点的图形。
例如,在特征图形为圆点形状的情况下,通过上述图像处理技术检测圆点形状的轮廓或亮度分布,由此,能够求出圆点形状的中心点,并将中心点作为特征点。在特征图形为矩形状的情况下,与圆点形状同样能够将其中心点用作特征点,除此之外,还能够将4个顶点分别用作特征点。即,能够通过霍夫(Hough)变换等检测相当于矩形各个边的线段,能够求出所检测到的线段的交点即4个顶点,分别作为特征点。即,第1图案D101还能够用作包含4个特征点的特征图形。
构成第1图案D101的识别图形优选设定为与构成第2图案D102的特征图形相比、更容易通过上述图像处理技术检测出的图形。一般而言,检测对象的图形越大、即特征图形的尺寸相对于测定用图案的比率越大,越容易检测。并且,检测对象的图形越是单纯的形状(例如矩形或圆形)、并且边缘的明亮度的跳变越显著,越容易检测。在本例中,识别图形比特征图形大,成为容易检测的图形。
由第1投影仪21投影的测定用图案D10在第1投影区域A1中显示投影测定用图案T11。投影测定用图案T11包含相当于第1图案D101的第1投影图案T111、以及相当于第2图案D102的第2投影图案T112。同样,由第2~第4投影仪投影的测定用图案D10在第2~第4投影区域A2~A4中显示投影测定用图案T12~T14。投影测定用图案T12~T14包含相当于第1图案D101的第1投影图案T121、T131、T141、以及相当于第2图案D102的第2投影图案T122、T132、T142。
返回图3的说明,校正信息运算部61、对应信息确定部62、第1图案检测部64以及第2图案检测部65由第2计算机的CPU和存储器等构成。校正信息运算部61根据对应信息,将由特征点图案的原数据规定的多个特征点的位置与对基于原数据投影的特征点图案进行摄影而得到的摄影图像中的多个特征点的位置对应起来,进行比较,由此计算校正信息。校正信息运算部61在计算校正信息时,读出存储在存储部63中的测定用图像数据,将其直接或间接地输出到各投影仪。这里,校正信息运算部61向图像控制装置5的图像校正部53输出测定用图像数据。测定用图像数据经由图像控制装置5间接地输出到各投影仪。图像控制装置5根据需要将测定用图像数据校正为与图像形成元件的像素的排列相匹配的形式。第1~第4投影仪21~24根据所提供的测定用图像数据,向被投影面9投影测定用图案。
第1图案检测部64接受摄影图像数据,该摄影图像数据表示对投影到被投影面9上的测定图案进行摄影而得到的摄影图像。第1图案检测部64对摄影图像数据实施例如边缘处理或图案认证处理等,检测呈现在摄影图像中的测定用图案(以下称为摄影图案)。第1图案检测部64将表示检测到的摄影图案的图像数据存储到存储部63中。摄影图案包含有与投影仪的数量(这里为4个)对应的数量的识别图形。第1图案检测部64检测摄影图案中包含的各识别图形,将表示所检测到的识别图形的排列的数据(以下有时称为“识别图形的排列信息”)输出到对应信息确定部62。本实施方式的第1图案检测部64利用霍夫变换来检测矩形状的识别图形的4个顶点,输出表示4个顶点在摄影图案中占据的位置的数据的组,作为各识别图形的排列信息。这样,第1图案检测部64就检测了摄影图像中的识别图案,该摄影图像是对多个投影仪2分别投影了包含特征点图案和识别图案的测定用图案时被投影面9上的测定用图案进行摄影而得到的。
对应信息确定部62接受投影仪的配置信息,与从第1图案检测部64输出的识别图形的排列信息进行比较,求出表示被投影面上的各识别图案与投影各识别图案的投影仪之间的对应关系的对应信息。上述配置信息是表示第1~第4投影区域A1~A4的排列中的各投影区域的相对位置与向各投影区域进行投影的投影仪之间的对应关系的信息。配置信息包含各投影仪负责的投影区域在水平方向上的相对位置和在垂直方向上的相对位置,作为与各投影仪有关的信息。
例如,以投影区域的排列中位于角部的投影区域(例如第1投影区域A1)为基准,设各投影仪负责的投影区域在水平方向上的相对位置为H、在垂直方向上的相对位置为V。如果用(H,V)表示与各投影仪有关的配置信息,则与第1投影仪21有关的配置信息为(1,1)、与第2投影仪22有关的配置信息为(2,1)、与第3投影仪23有关的配置信息为(1,2)、与第4投影仪24有关的配置信息为(2,2)。
例如在设置多个投影仪2时,用户利用第2计算机的输入设备或监视器装置来输入配置信息。例如,对应信息确定部62使第2计算机的监视器显示图像输出部54的外部连接器的一览,用户输入关于与各外部连接器连接的投影仪的配置信息。对应信息确定部62将外部连接器的ID与表示与该外部连接器连接的投影仪负责的投影区域在多个投影区域的排列中的相对位置的数据关联起来,作为配置信息,将该配置信息存储到存储部63等中。
对应信息确定部62使用配置信息和从第1图案检测部64输出的识别图形的排列信息,求出摄影图案内的各识别图形与投影各识别图形的投影仪之间的对应关系。详细地讲,对应信息确定部62参照识别图形的排列信息,在摄影图案上的相当于被投影面上的水平方向、垂直方向的两个方向中,求出各识别图形排在第几。这里,对以上述第1投影区域A1为基准的相对位置进行说明。设摄影图案上的各识别图形在水平方向上的相对位置为h、在垂直方向上的相对位置为v,用(h,v)表示它们的组。
对应信息确定部62判定为例如从配置信息中配置为(H,V)=(1,1)的投影仪(这里为第1投影仪21)投影了配置为(h,v)=(1,1)的识别图形。同样,针对在投影区域排列中的相对位置与各识别图形在识别图形排列中的相对位置相同的投影区域,检索被配置信息规定为负责该投影区域的投影仪的投影仪。对应信息确定部62将各识别图形作为对象,求出将与投影了对象识别图形的投影仪对应的外部连接器的ID和对象识别图形关联起来的数据,作为对应信息。对应信息确定部62向第2图案检测部65输出对应信息。
第2图案检测部65检测摄影图像中的特征点图案所包含的多个特征点。第2图案检测部65从存储部63中读出表示由第1图案检测部64检测到的摄影图案的图像数据。第2图案检测部65参照从第1图案检测部64输出的识别图形的排列信息,估计各识别图形所投影到的投影区域在摄影图案上的范围。第2图案检测部65对估计出的各投影区域的范围的内侧进行搜索,检测特征图形,求出由检测到的各特征图形规定的特征点在摄影图案上的位置。第2图案检测部65将所求出的各特征点的位置作为对象特征点所属的每个投影区域的数据,输出到校正信息运算部61。
另外,也可以使用各特征图形相对于由测定用图像数据规定的识别图形的相对位置,例如使第2图案检测部65估计各特征图形在摄影图案上的大概位置。如果对估计出的大概位置的周围进行分析来检测各特征图形,则能够进行详查而不会增加运算负荷,能够高精度地检测特征图形。并且,当针对某个特征图形检测失败时,可使用估计出的值作为该特征图形的大概位置,例如使第2图案检测部65计算由该特征图形规定的特征点的位置。由此,能够避免因特征图形的检测失败引起的处理发散。
校正信息运算部61对由第2图案检测部65检测到的特征点的位置与测定用图像数据上的特征点的位置进行比较,计算校正信息。由第2图案检测部65检测到的特征点的位置作为每个投影区域的数据而输出,由于各投影区域与各投影仪之间的对应关系是己知的,所以,得到了各投影仪用的校正信息。校正信息运算部61向图像控制装置5输出计算出的校正信息。图像控制装置5将从校正信息计算装置6输出的校正信息存储到图像校正部53的存储部中,更新校正信息。
图5是示出显示内容图像P之前的处理流程的流程图。这里,对设置图像显示系统1时计算校正信息的例子进行说明。另外,通过进行下述步骤S5~S8的处理,能够进行本发明的图像处理方法的一个方式。并且,通过使用使计算机进行步骤S5~S7的处理的程序,能够实现本发明的校正信息计算装置的功能。通过使用使计算机进行步骤S5~S8的处理的程序,能够实现本发明的图像处理装置的功能。
如图5所示,首先,针对被投影面9配置多个投影仪2,根据需要对各投影仪的配置进行粗调(步骤S1)。在步骤S1中,例如从第1~第4投影仪21~24分别向被投影面9投影表示各投影仪的投影区域(以下称为部分投影区域)的轮廓的配置用指南。然后,参照配置用指南来移动各投影仪,对各投影区域在整体投影区域A0中占据的位置进行粗调。然后,在配置了投影仪后,输入上述投影仪的配置信息。
在本实施方式中,将各投影仪配置成,使得各投影仪在多个投影仪2的排列中的相对位置与各投影仪负责的投影区域在多个投影区域的排列中的相对位置一致。通过使投影仪的排列与投影区域的排列相同,由此,容易掌握投影仪与投影区域之间的对应关系,并且,能够减小由于投影方向的差异而引起的部分图像的失真程度的偏差。
另外,只要是在步骤S6之前,则可以在任意时机进行配置信息的输入。例如,可以在设置投影仪之前输入配置信息。并且,也可以投影表示由重叠量的设定值规定的重叠区域的轮廓的指南,作为上述配置用指南的一部分。在图像显示系统1的设置后、例如在图像显示系统1的维护时计算校正信息的情况下,还可省略上述步骤S1。
接着,校正信息计算装置6的校正信息运算部61向作为对象的投影仪提供表示各投影仪用的测定用图案的测定用图像数据(步骤S2)。使第1~第4投影仪21~24分别根据所提供的测定用图像数据向被投影面9投影测定用图案(步骤S3)。这里,使第1~第4投影仪21~24并行地投影测定用图案。
接着,摄影装置4对被投影面9上的包含投影测定用图案T11~T14的区域进行摄影(步骤S4)。
接着,校正信息计算装置6的第1图案检测部64检测由摄影装置4摄影的摄影图像中的测定用图案(摄影图案),并且,检测摄影图案中的识别图形(第1图案)(步骤S5)。第1图案检测部64向对应信息确定部62输出表示检测到的各识别图形的配置的信息。
接着,校正信息计算装置6的对应信息确定部62接受用户输入的投影仪的配置信息,与从第1图案检测部64输出的数据进行比较,求出对应信息(步骤S6)。
接着,校正信息计算装置6的第2图案检测部65使用从对应信息确定部62输出的对应信息,估计摄影图案上的各投影区域的范围。第2图案检测部65检测所估计出的各投影区域的范围内包含的各特征图形(第2图案),将由检测到的各特征图形规定的特征点的位置作为每个投影区域的数据而输出(步骤S7)。
接着,校正信息计算装置6的校正信息运算部61对从第2图案检测部65输出的摄影图案上的特征点的位置与由测定用图像数据规定的特征点的位置进行比较,计算校正信息(步骤S8)。作为校正信息的计算方法,没有特别限定,可以是能够得到表示各投影仪的图像形成元件上的像素的位置与被投影面9上的像素的位置之间的对应关系的信息的任何方法。例如,作为校正信息的计算方法,列举下述的2个方法。
在第1方法中,校正信息运算部61求出将由测定用图像数据规定的测定用图案变换为摄影图案的投影变换。通过该投影变换对图像数据上的各像素的坐标(i,j)进行变换,以每个像素的数据的表的形式,计算校正信息。另外,即使在求出将摄影图案变换为由测定用图像数据规定的测定用图案的投影变换的情况下,也能够得到表示图像形成元件上的像素的坐标与被投影面上的像素的位置之间的对应关系的校正信息。
图6是示出校正信息的计算方法的一例的说明图。在图6中,概念性地图示了由测定用图像数据规定的测定用图案D的一部分和图像数据上的摄影图案T。在图6中,标号D1~D4表示测定用图案D中包含的特征点。以使依次连接各特征点的线构成区域D5的轮廓的方式选择特征点D1~D4。在图6中,标号T1~T4表示摄影图案T中包含的特征点。特征点T1~T4是相当于所投影的测定用图案D中的特征点D1~D4的特征点。依次连接特征点T1~T4的线构成了区域T5的轮廓。
投影变换的变换式可由下述的式(1)、式(2)来表示。在式(1)、式(2)中,(x,y)表示变换前的任意点的ij坐标(i,j),(X,Y)表示该点的变换目标的ij坐标(i,j)。a~h表示变换系数,通过求出a~h,从而求出一个投影变换。
X=(ax+by+c)/(gx+hy+1)…(1)
Y=(dx+ey+f)/(gx+hy+1)…(2)
特征点D1~D4各自的坐标是由测定用图像数据规定的,所以是已知的。通过从摄影图案T中检测出特征点,由此,特征点T1~T4各自的坐标成为已知的。当在式(1)、式(2)的(x,y)中代入特征点D1的坐标、并在(X,Y)中代入特征点T1的坐标时,得到2个a~h的关系式。同样,通过代入特征点D2、T2的组、特征点D3、T3的组、特征点D4、T4的组各自的坐标,由此,针对a~h的8个未知数得到8个关系式。通过求解该八元一次方程式,由此,得到将区域D5变换为区域T5的投影变换的a~h。针对所得到的投影变换,将区域D5的外周上和内侧所包含的各像素的坐标代入(x,y)中,由此,求出与区域D5的各像素一对一地对应的区域T5中的各像素的坐标。
这里,从测定用图案所包含的特征点中选择特征点D1~D4,求出针对构成测定用图案D的一部分的区域D5的投影变换。然后,选择不同的特征点作为特征点D1~D4,由此,改变区域D5而求出投影变换。使用所得到的投影变换,如上所述地求出与区域D5的各像素一对一地对应的区域T5中的各像素的坐标。以下同样地求出测定用图案的每个部分的投影变换,求出测定用图案的各像素的坐标以及与每个像素对应的摄影图案的像素的坐标。测定用图案的各像素的坐标与投影仪的图像形成元件中的像素的位置存在对应关系。并且,摄影图案的像素的坐标与被投影面上的像素的位置存在对应关系。因此,其结果,能够得到表示图像形成元件上的像素的坐标与被投影面上的像素的位置之间的对应关系的校正信息。
例如,针对图像形成元件的各像素的坐标进行上述投影变换,由此,求出被投影面9上的像素(以下称为变换像素)的坐标。通过参照变换像素的坐标的最大值或最小值,来自动或手动地设定有效投影区域A的范围。而且,作为在有效投影区域A中配置与内容图像的形式或像素数量对应的像素(显示像素)的排列的方式,根据上述有效投影区域A的范围的设定值,求出被投影面9上的各显示像素的坐标。在显示像素的坐标从变换像素的坐标偏移的情况下,也可以求出插值系数,以便使用提供给位于显示像素周围的变换像素的像素数据、通过插值求出显示像素的像素数据,其中,所述插值系数表示与周围的变换像素和显示像素之间的距离对应的插值的权重。该插值系数对于每个显示像素而言为固定值,所以,优选作为校正信息的一部分进行保存。
在第2方法中,求出将摄影图案变换为测定用图像数据中规定的测定用图案的投影变换(第1方法中的投影变换的逆变换)。并且,例如使用摄影图案中包含的特征点的位置,估计整体投影区域A0的范围,自动或手动地设定有效投影区域A的范围。而且,作为在有效投影区域A中配置与内容图像的形式或像素数量对应的显示像素的排列的方式,根据上述有效投影区域A的范围的设定值,求出被投影面9上的各显示像素的坐标。通过投影变换对所得到的各显示像素的坐标进行变换,由此,求出与被投影面9上的各显示像素对应的图像形成元件上的像素(以下称为调制单位)的位置。在所得到的调制单位的位置与实际的调制单位的位置不匹配的情况下,即在有2个以上的显示像素与调制单位对应的情况下,也可以根据需要求出插值系数,以便通过插值求出输入到各调制单位的像素数据。如上所述,所求出的插值系数优选作为校正信息的一部分而保存。
返回图5的说明,在显示内容图像P时,图像控制装置5根据表示内容图像P的图像数据,生成各投影仪用的部分图像数据,并且,使用校正信息对图像数据实施位置校正处理(步骤S9)。
接着,图像处理装置3向作为对象的投影仪提供位置校正处理的校正后的部分图像数据。第1~第4投影仪21~24分别根据所提供的部分图像数据投影部分图像(步骤S10)。这样,显示由第1~第4部分图像P1~P4构成的内容图像P。
在本实施方式的校正信息计算装置6中,对应信息确定部62参照用户输入的配置信息,求出表示各识别图形与投影识别图形的投影仪之间的对应关系的对应信息,所以,能够简便地取得对应信息。即,只要能够检测识别图形的排列,即可得到对应信息,所以,使识别图形具有用于对投影了识别图形的投影仪进行识别的信息的必要性降低,能够采用单纯形状的识别图形。并且,使识别图形的形状随多个投影区域各自而不同的必要性降低。因此,在检测识别图形时进行复杂处理的必要性降低,能够高效地取得对应信息。由于校正信息运算部是根据对应信息来计算校正信息,所以,其结果,成为能够高效地计算校正信息的校正信息计算装置6。
在本实施方式中,根据由第1图案检测部64检测到的识别图形的位置,估计该识别图形所投影到的投影区域在摄影图案上的范围,在估计出的范围内,针对每个投影区域求出特征点的位置。因此,即使在针对多个投影区域投影了同一形状的特征图形的情况下,也容易判别特征图形属于哪个投影区域,能够避免例如因检测到属于其他投影区域的特征图形而引起的处理发散。
本实施方式的图像处理装置3能够通过校正信息计算装置6高效地取得校正信息,所以,既能够节省在取得校正信息方面的工作,又能够对部分图像的失真和相对位置的偏移进行校正。
由于本实施方式的图像显示系统1能够高效地计算校正信息,并且能够根据校正信息高精度地对部分图像的失真和相对位置的偏移进行校正,所以,便利性高,而且能够显示高品质的图像。
根据本实施方式的图像处理方法,能够简便地取得对应信息,能够高效地计算校正信息。因此,既能够节省在取得校正信息方面的工作,又能够对部分图像的失真和相对位置的偏移进行校正。
另外,本发明的技术范围不限于上述实施方式。可在不脱离本发明主旨的范围内进行多种变形。例如,在上述实施方式中,使用了包含识别图案和特征点图案的测定用图案,但是,也可以将识别图案中包含的特征点用于校正信息的计算,而省去特征点图案。这样,能够通过简便的处理,至少对多个部分图像中相对位置的偏移进行校正。例如在因被投影面的挠曲等引起的局部失真小的情况等、部分图像的局部失真小的情况下,该方法特别有效。并且,也可以与识别图案独立地投影特征点图案。
Claims (8)
1.一种校正信息计算装置,该校正信息计算装置计算校正信息,该校正信息表示从具有图像形成元件的投影仪投影到被投影面的投影区域上的图像中的像素的位置与所述图像形成元件中的像素的位置之间的对应关系,其特征在于,该校正信息计算装置具有:
对应信息确定部,其对摄影图像中的多个识别图案的排列中的各识别图形的相对位置与配置信息进行比较,求出表示所述被投影面上的各识别图案与投影各识别图案的所述投影仪之间的对应关系的对应信息,其中,所述摄影图像是对从多个投影仪分别投影了包含所述识别图形的所述识别图案时排列在所述被投影面上的多个所述识别图形进行摄影而得到的,所述配置信息表示所述多个投影仪的多个所述投影区域的排列中各投影区域的相对位置与向各投影区域进行投影的所述投影仪之间的对应关系;以及
校正信息运算部,其根据所述对应信息,将由包含多个特征点的被提供给各投影仪的特征点图案的原数据规定的所述多个特征点的位置,与对基于该原数据投影的特征点图案进行摄影而得到的摄影图像中的所述多个特征点的位置对应起来,进行比较,由此计算所述校正信息。
2.根据权利要求1所述的校正信息计算装置,其特征在于,
该校正信息计算装置具有:
第1图案检测部,其检测摄影图像中的所述识别图案,该摄影图像是对由所述多个投影仪分别投影了包含所述特征点图案和所述识别图案的测定用图案时、所述被投影面上的所述测定用图案进行摄影而得到的;以及
第2图案检测部,其检测该摄影图像中的所述特征点图案中包含的所述多个特征点,
所述对应信息确定部根据所述第1图案检测部的检测结果求出所述对应信息,所述第2图案检测部使用该对应信息,参照所述特征点图案相对于由所述测定用图案的原数据规定的所述识别图案的相对位置,来检测所述特征点图案,所述校正信息运算部根据所述第2图案检测部的检测结果,求出所述校正信息。
3.根据权利要求1或2所述的校正信息计算装置,其特征在于,
所述配置信息是表示所述多个投影仪的排列中各投影仪的相对位置与所述多个投影区域的排列中该投影仪的所述投影区域的相对位置一致时的、所述多个投影仪的排列中各投影仪的相对位置的信息。
4.根据权利要求1~3中的任一项所述的校正信息计算装置,其特征在于,
在所述多个投影仪中,由所述多个投影仪投影的所述识别图案中包含的所述识别图形的形状是相同的。
5.根据权利要求1、3、4中的任一项所述的校正信息计算装置,其特征在于,
所述识别图形包含所述多个特征点,
所述校正信息运算部使用对由各投影仪投影的所述识别图案进行摄影而得到的摄影图像中的该识别图案,计算所述校正信息。
6.一种图像处理装置,其特征在于,该图像处理装置具有:
权利要求1~5中的任一项所述的校正信息计算装置;以及
图像校正部,其参照由所述校正信息计算装置计算出的所述校正信息,对所述图像数据进行校正,使得所述投影仪根据校正后的图像数据而投影到所述被投影面上的图像与校正前的所述图像数据所表示的图像大致一致。
7.一种图像显示系统,其特征在于,该图像显示系统具有:
权利要求6所述的图像处理装置;以及
多个投影仪,它们根据由所述图像处理装置校正后的所述校正后的图像数据投影图像。
8.一种图像处理方法,其特征在于,该图像处理方法包含以下步骤:
计算校正信息的校正信息计算步骤,该校正信息表示从具有图像形成元件的投影仪投影到被投影面的投影区域上的图像中的像素的位置与所述图像形成元件中的像素的位置之间的对应关系;以及
参照所述校正信息对所述图像数据进行校正,使得所述投影仪根据校正后的图像数据投影到所述被投影面上的图像与校正前的所述图像数据所表示的图像大致一致的步骤,
所述校正信息计算步骤包括以下处理:
对摄影图像中的多个识别图案的排列中的各识别图形的相对位置与配置信息进行比较,求出表示所述被投影面上的各识别图案与投影各识别图案的所述投影仪之间的对应关系的对应信息,其中,所述摄影图像是对从多个投影仪分别投影了包含所述识别图形的所述识别图案时排列在所述被投影面上的多个所述识别图形进行摄影而得到的,所述配置信息表示所述多个投影仪的多个所述投影区域的排列中各投影区域的相对位置与向各投影区域进行投影的所述投影仪之间的对应关系;以及
根据所述对应信息,将由包含多个特征点的提供给各投影仪的特征点图案的原数据规定的所述多个特征点的位置,与对基于该原数据投影的特征点图案进行摄影而得到的摄影图像中的所述多个特征点的位置对应起来,进行比较,由此计算所述校正信息。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-042464 | 2010-02-26 | ||
JP2010042464A JP5338718B2 (ja) | 2010-02-26 | 2010-02-26 | 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102170545A true CN102170545A (zh) | 2011-08-31 |
CN102170545B CN102170545B (zh) | 2014-09-10 |
Family
ID=44491502
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110045383.0A Expired - Fee Related CN102170545B (zh) | 2010-02-26 | 2011-02-24 | 校正信息计算装置、图像处理装置、显示系统及校正方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8711213B2 (zh) |
JP (1) | JP5338718B2 (zh) |
CN (1) | CN102170545B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108195305A (zh) * | 2018-02-09 | 2018-06-22 | 京东方科技集团股份有限公司 | 一种双目检测系统及其深度检测方法 |
CN109587458A (zh) * | 2017-09-29 | 2019-04-05 | 中强光电股份有限公司 | 投影系统及其自动设定方法 |
CN113271446A (zh) * | 2017-10-27 | 2021-08-17 | 精工爱普生株式会社 | 投影仪的基于计算机的控制方法 |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6011157B2 (ja) * | 2011-09-05 | 2016-10-19 | 株式会社リコー | 投影システム、投影装置、センサ装置、発電制御方法及び発電制御プログラム |
KR101627634B1 (ko) * | 2011-12-26 | 2016-06-08 | 한국전자통신연구원 | 프로젝터 영상 보정 장치 및 방법 |
JP5924020B2 (ja) * | 2012-02-16 | 2016-05-25 | セイコーエプソン株式会社 | プロジェクター、及び、プロジェクターの制御方法 |
JP6083185B2 (ja) | 2012-10-12 | 2017-02-22 | セイコーエプソン株式会社 | プロジェクター、プロジェクターの黒レベル領域設定方法 |
JP2014115109A (ja) * | 2012-12-06 | 2014-06-26 | Canon Inc | 距離計測装置及び方法 |
JP2015026992A (ja) * | 2013-07-26 | 2015-02-05 | 株式会社リコー | 投影システム、画像処理装置、投影方法およびプログラム |
JP6525570B2 (ja) * | 2014-12-04 | 2019-06-05 | キヤノン株式会社 | 画像表示システム、制御装置、制御方法及びプログラム |
US10523891B2 (en) | 2015-08-21 | 2019-12-31 | Sony Corporation | Projection system and apparatus unit to implement new use form of projector |
JP6594170B2 (ja) * | 2015-11-12 | 2019-10-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像投影システムおよびプログラム |
JP6707870B2 (ja) * | 2016-01-20 | 2020-06-10 | セイコーエプソン株式会社 | 投写システムおよび投写位置検出方法 |
US10080002B2 (en) * | 2016-04-11 | 2018-09-18 | Seiko Epson Corporation | Projection apparatus, projector, and projector controlling method |
JP6551427B2 (ja) * | 2017-01-20 | 2019-07-31 | セイコーエプソン株式会社 | プロジェクター、プロジェクターの黒レベル領域設定方法 |
JP7077611B2 (ja) * | 2017-12-27 | 2022-05-31 | セイコーエプソン株式会社 | プロジェクター、マルチプロジェクションシステムおよびプロジェクターの制御方法 |
JP7148855B2 (ja) * | 2018-03-26 | 2022-10-06 | カシオ計算機株式会社 | 投影制御装置、投影装置、投影方法及びプログラム |
JP6915597B2 (ja) | 2018-08-29 | 2021-08-04 | セイコーエプソン株式会社 | 制御装置、マルチプロジェクションシステム、および制御装置の制御方法 |
NL2023747B1 (en) * | 2019-09-02 | 2021-05-12 | Suss Microtec Lithography Gmbh | Method and test system for assessing the quality of a multi-channel micro- and/or subwavelength-optical projection unit |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7237911B2 (en) * | 2004-03-22 | 2007-07-03 | Seiko Epson Corporation | Image correction method for multi-projection system |
US20070274588A1 (en) * | 2006-04-03 | 2007-11-29 | Samsung Electronics Co., Ltd. | Method, medium and apparatus correcting projected image |
JP2009086485A (ja) * | 2007-10-02 | 2009-04-23 | Seiko Epson Corp | 識別システム、プロジェクタ、プログラムおよび識別方法 |
CN101516013A (zh) * | 2008-02-20 | 2009-08-26 | 精工爱普生株式会社 | 图像处理装置、投影仪、变形修正方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3542582B2 (ja) * | 2002-01-07 | 2004-07-14 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
JP2003219324A (ja) * | 2002-01-17 | 2003-07-31 | Olympus Optical Co Ltd | 画像補正データ算出方法、画像補正データ算出装置及びマルチプロジェクションシステム |
TWI249959B (en) * | 2003-05-16 | 2006-02-21 | Seiko Epson Corp | Image processing system, projector, information memorizing medium and image processing method |
JP2005293090A (ja) * | 2004-03-31 | 2005-10-20 | Namco Ltd | 位置検出システム、ゲームシステム及び位置検出システムの制御方法 |
US7907792B2 (en) * | 2006-06-16 | 2011-03-15 | Hewlett-Packard Development Company, L.P. | Blend maps for rendering an image frame |
US7854518B2 (en) * | 2006-06-16 | 2010-12-21 | Hewlett-Packard Development Company, L.P. | Mesh for rendering an image frame |
US7800628B2 (en) * | 2006-06-16 | 2010-09-21 | Hewlett-Packard Development Company, L.P. | System and method for generating scale maps |
JP5255250B2 (ja) * | 2007-09-20 | 2013-08-07 | パナソニック株式会社 | 映像調整システム |
US8218003B2 (en) * | 2007-10-05 | 2012-07-10 | Seiko Epson Corporation | Optimization strategies for GPU view projection matrix implementation |
JP2009200613A (ja) * | 2008-02-19 | 2009-09-03 | Sharp Corp | プロジェクタおよびプロジェクタの表示調整方法 |
JP5495572B2 (ja) * | 2009-01-07 | 2014-05-21 | キヤノン株式会社 | プロジェクタ・システム及びこれを含むビデオ会議システム |
JP5493438B2 (ja) * | 2009-04-10 | 2014-05-14 | 株式会社ニコン | 投影装置および投影像補正プログラム |
US8328365B2 (en) * | 2009-04-30 | 2012-12-11 | Hewlett-Packard Development Company, L.P. | Mesh for mapping domains based on regularized fiducial marks |
JP5257616B2 (ja) * | 2009-06-11 | 2013-08-07 | セイコーエプソン株式会社 | プロジェクター、プログラム、情報記憶媒体および台形歪み補正方法 |
JP2011033857A (ja) * | 2009-08-03 | 2011-02-17 | Seiko Epson Corp | プロジェクター及びその制御方法 |
-
2010
- 2010-02-26 JP JP2010042464A patent/JP5338718B2/ja not_active Expired - Fee Related
-
2011
- 2011-02-07 US US13/021,848 patent/US8711213B2/en active Active
- 2011-02-24 CN CN201110045383.0A patent/CN102170545B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7237911B2 (en) * | 2004-03-22 | 2007-07-03 | Seiko Epson Corporation | Image correction method for multi-projection system |
US20070274588A1 (en) * | 2006-04-03 | 2007-11-29 | Samsung Electronics Co., Ltd. | Method, medium and apparatus correcting projected image |
JP2009086485A (ja) * | 2007-10-02 | 2009-04-23 | Seiko Epson Corp | 識別システム、プロジェクタ、プログラムおよび識別方法 |
CN101516013A (zh) * | 2008-02-20 | 2009-08-26 | 精工爱普生株式会社 | 图像处理装置、投影仪、变形修正方法 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109587458A (zh) * | 2017-09-29 | 2019-04-05 | 中强光电股份有限公司 | 投影系统及其自动设定方法 |
CN109587458B (zh) * | 2017-09-29 | 2021-10-15 | 中强光电股份有限公司 | 投影系统及其自动设定方法 |
CN113271446A (zh) * | 2017-10-27 | 2021-08-17 | 精工爱普生株式会社 | 投影仪的基于计算机的控制方法 |
CN113271446B (zh) * | 2017-10-27 | 2022-11-29 | 精工爱普生株式会社 | 投影仪的基于计算机的控制方法 |
CN108195305A (zh) * | 2018-02-09 | 2018-06-22 | 京东方科技集团股份有限公司 | 一种双目检测系统及其深度检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102170545B (zh) | 2014-09-10 |
JP2011182077A (ja) | 2011-09-15 |
US20110211064A1 (en) | 2011-09-01 |
JP5338718B2 (ja) | 2013-11-13 |
US8711213B2 (en) | 2014-04-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102170545A (zh) | 校正信息计算装置、图像处理装置、显示系统及校正方法 | |
CN102170544B (zh) | 校正信息计算装置、图像处理装置、显示系统及校正方法 | |
CN102170546A (zh) | 校正信息计算装置、图像处理装置、图像显示系统及方法 | |
US9787960B2 (en) | Image processing apparatus, image processing system, image processing method, and computer program | |
US7643061B2 (en) | Scintillation measuring method of display device and scintillation measuring device | |
CN112272292B (zh) | 投影校正方法、装置和存储介质 | |
US20060238832A1 (en) | Display system | |
JP6750500B2 (ja) | 情報処理装置および認識支援方法 | |
JP6461426B2 (ja) | 輝度調整装置及び方法、並びに画像表示システム、並びにプログラム及び記録媒体 | |
CN111750838B (zh) | 农业用地规划图的生成方法、装置、设备及存储介质 | |
US11062137B2 (en) | System, portable terminal device, server, program, and method for viewing confirmation | |
CN114299156A (zh) | 无重叠区域下多相机的标定与坐标统一方法 | |
US20180038733A1 (en) | Method for obtaining parameters defining a pixel beam associated with a pixel of an image sensor comprised in an optical device | |
CN116337412A (zh) | 屏幕检测方法、设备及存储介质 | |
US20220366658A1 (en) | Systems and methods of augmented reality guided image capture | |
US10108876B2 (en) | Recognition-based color corrections | |
CN111369513A (zh) | 一种异常检测方法、装置、终端设备及存储介质 | |
US20110169777A1 (en) | Image processing apparatus, image display system, and image processing method | |
JP2000284363A (ja) | 画像投影装置及び画像投影方法 | |
CN113473112A (zh) | 确定感兴趣区域方法、拍摄控制方法、装置、设备和介质 | |
Bhasker et al. | Geometric modeling and calibration of planar multi-projector displays using rational bezier patches | |
KR20200098157A (ko) | 대형 디스플레이에 발생한 결함을 감지하기 위한 디스플레이 시스템 | |
CN115816833A (zh) | 图像校正数据的确定方法、装置、电子设备及存储介质 | |
CN112004072A (zh) | 投影图像检测方法及装置 | |
US20210227097A1 (en) | Measurement method, measurement system, display device, and computer program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140910 Termination date: 20210224 |
|
CF01 | Termination of patent right due to non-payment of annual fee |