CN101385047B - 图像信号处理装置和虚拟现实创建系统 - Google Patents

Abstract

一种虚拟现实创建系统包括：包括任意形状的投影平面的屏幕1；失真校正单元3，针对二维图像信号执行将图像光投射在任意形状的投影平面上所用的失真校正，以便将图像光投射在在二维投影平面上，然后将其输出；参数调节PC5，创建失真校正表作为二维投影平面和任意形状的投影平面的网状模型之间的对应关系映射；投影仪2a和2b单元，基于从图像信号处理装置输出的图像信号在屏幕上投射图像。失真校正单元3从参数调节PC5接收失真校正表，及参考失真校正表针对由图像信号输入单元接收的二维图像信号的每一个像素执行失真校正处理，产生图像信号来在任意形状的投影平面上投射图像光。因此，能够以简单结构实时显示减少了观看者看到的图像光失真的图像。

Description

图像信号处理装置和虚拟现实创建系统

技术领域

本发明涉及一种图像信号处理装置，用于预先对输入图像信号执行失真校正，使得甚至在被投影到任意形状的屏幕上时也可以显示二维图像信号而没有失真，本发明也涉及一种虚拟现实创建系统。

背景技术

在虚拟现实创建装置中已经实现了在任意形状屏幕上投影图像而没有失真的技术。这种现有技术的示例包括如下的文献等。在这些虚拟现实创建装置中，输入图像信号是为虚拟现实创建装置所产生的计算机图形信号或DV信号。此外，在系统内创建用来投影图像而没有失真的失真校正的关系表达(relational expression)(对失真校正之前和之后图像之间的关系的描述和失真校正表)。

日本专利No.3387487

发明内容

技术问题

然而，在上述技术中，由于是在同一系统中创建失真校正用的关系表达，限制了允许被输入的图像信号，或需要执行三维计算处理，这使系统复杂化，并需要高规格的设备。

因此，考虑到上述情况而完成了本发明，本发明的目的是提供一种图像信号处理装置，通过利用针对失真校正所进行的外部处理的结果，它能够轻松执行失真校正处理，不需要执行复杂的三维处理。

技术方案

本发明是一种图像信号处理装置，它将输出图像信号输出给投影单元以便在任意形状的投影平面上投射图像光，并解决了上述问题，该装置包括：图像信号输入单元，接收二维图像信号以便在二维投影平面上投射图像光；外部输入单元，外部地接收失真校正表作为二维投影平面和任意形状投影平面的网状模式之间的对应关系映射，对于通过图像信号输入单元接收的二维图像信号，使用失真校正表来执行失真校正处理；失真校正单元，参考通过外部输入单元接收的失真校正表，对由图像信号输入单元接收的二维图像信号的每一个像素，执行失真校正处理，来产生输出图像信号并在投影平面上投射图像光；输出单元，为投影单元输出由失真校正单元产生图像信号。

根据本发明的虚拟现实系统包括：屏幕，包括具有朝向观看者的凹面的任意形状的投影平面，屏幕能够显示一幅比观看者视野的有效角度宽的图像；图像信号处理装置，针对二维图像信号在二维图像光上投射图像光，使用执行失真校在任意形状的投影平面上投射图像光，之后输出输出图像信号；外部处理装置，创建失真校正表作为二维投影平面和任意形状投影平面的网状模型之间的度应关系映射；投影仪单元，基于从图像信号处理装置输出的输出图像信号在屏幕上投影。为了解决上述问题，图像信号处理装置的特征包括：图像信号输入单元，接收二维图像信号；外部输入单元，接收失真校正表作为二维投影平面和任意形状投影平面的网状模型之间的对应关系映射，使用失真校正表来执行针对由图像信号输入单元接收的二维图像信号的失真校正处理；失真校正单元，参考由外部输入单元接收的失真校正表，对由图像信号数据单元接收的二维图像信号的每一个像素执行失真校正处理，来产生输出图像信号，并在任意形状的投影平面上投射图像光；输出单元，给投影单元输出由失真校正单元产生的输出图像信号。

有益效果

根据本发明，从外部预先向图像信号处理装置中存储失真校正表，并当在将图像光从投影单元投射到屏幕上的过程中针对二维图像信号执行失真校正处理时，仅通过执行二维坐标变换来产生输出图像信号，而不用执行三维处理。因此，根据本发明，可以以简单的结构实现减小观看者看到的图像失真的处理。

附图说明

图1是示出了本发明应用到的虚拟现实创建系统的构成的框图。

图2是示出了本发明应用到的失真校正单元的硬件构成的框图。

图3是示出了本发明应用到的失真校正单元的软件构成的框图。

图4是解释使用失真校正表的失真校正处理的视图，(a)是校正处理之前是二维图像；(b)是校正处理之后是输出图像。

图5是解释使用亮度校正表的亮度校正处理的视图，(a)是校正处理前的二维图像；(b)是亮度校正处理后的输出图像；和(c)是亮度校正和失真校正之后的输出图像。

图6是解释使用亮度校正表的亮度校正处理的视图，(a)是校正处理之前的二维图像；(b)是亮度校正处理后的输出图像；和(c)是亮度校正和失真校正之后的输出图像。

图7是参数调整个人计算机的屏幕模型创建块的框图。

图8是示出了球形模型和与球形模型相对应的输入参数的视图。

图9是示出了切割一部分球表面的模型和与球形模型相对应的输入参数的视图。

图10是示出了当切割一部分球面屏幕时的正面形状的视图。

图11是示出了柱状模型和与柱状模型相对应的参数的视图。

图12是示出了多个平面的输入参数的视图。

图13是示出了解释对屏幕的球形形状进行失真校正处理的视图。

图14是示出了失真校正处理的内容的视图。

图15是在半球屏幕中心切割的图4的二维断面视图。

图16是网格图像的失真校正的图像视图。

图17是当从输入图像的x方向上毗邻的相应两个像素创建输出图像的每一个像素的颜色信息时的图像视图。

图18是通过混合输入图像在x方向上毗邻的两个像素的颜色信息来计算输出图像的颜色信息的说明性视图。

图19是当从输入图像y方向的相应两个像素创建输出图像的每一个像素的颜色信息时的图像视图。

图20是通过混合输入图像的y方向上毗邻的两个像素的颜色信息来计算输出图像颜色信息的说明性视图。

图21是当从输入图像x和y方向毗邻的相应4个像素创建输出图像的每一个像素颜色信息时的图像视图。

图22是通过混合输入图像在x和y方向毗邻的4个像素的颜色信息计算输出图像的颜色信息的说明性视图。

图23当从输入图像在x方向毗邻的相应两个像素创建输出图像的每一个像素颜色信息时，按照输入次序将输入图像转换成输出图像的处理的说明性视图，(a)是输入图像的前几个像素P1和P2被输入之后的处理的说明性视图；和(b)是在像素P2后的像素P3被输入后的说明性视图。

图24是当从输入图像在y方向毗邻的相应两个像素创建输出图像的每一个像素的颜色信息时，按照输入次序将输入图像转换成输出图像的处理的说明性视图，(a)是在输入图像的像素P1和P2被输入之后的处理的说明性视图；和(b)是在像素P2后的像素P4被输入后的说明性视图。

图25是当从输入图像在x和y方向毗邻的相应4个像素创建输出图像的每一个像素颜色信息时，按照输入次序将输入图像转换成输出图像的处理的说明性视图，(a)是在输入图像的前几个像素P1到P4被输入后的处理的说明性视图；和(b)是在像素P4后的像素P6被输入后的说明性视图。

图26是当从与输出图像的第一个像素P1′毗邻的输入图像的相应两个像素创建输出图像的每一个像素颜色信息时，将输入图像转换成输出图像的处理的说明性视图，和(b)是产生第一像素P1′后的像素P2′的说明性视图。

图27是当从输入图像在y方向毗邻的相应两个像素创建输出图像的每一个像素颜色信息时，将输入图像转换成输出图像的处理的说明性视图，(a)是产生输出图像的第一个像素P1′的说明性视图；和(b)是产生第一像素P1′后的像素P2′的说明性视图。

图28是当从输入图像在x和y方向毗邻的相应4个像素创建输出图像的每一个像素颜色信息时，按照输出次序将输入图像转换成输出图像的处理的说明性视图，a)是产生输出图像的第一个像素P1′的说明性视图；和(b)是产生第一像素P1′后的像素P2′的说明性视图。

附图标记说明

1屏幕

2图像投影单元

3失真校正单元

3h外部输出端子

3a-3f图像输入端子

3g，3h外部输入端子

5参数调节PC

6操作输入块

11信号制式转换电路

13外部设备控制电路

12图像信号处理电路

15计算存储器

16表存储器

17信号制式转换电路

18控制信号存储器

21输入图像处理块

22图像切换/分割块

23图像合成块

24失真校正块

25输出图像处理块

26同步处理块

27转换表读取/存储块

28外部设备控制块

29控制信号读取/存储块

31球形

32柱形

33合成

34与球形混合

35与柱形混合

36与平面混合

100输入图像

100′输出图像

具体实施方式

下文中，参考附图给出对本发明实施例的描述。

本发明应用到的虚拟现实创建系统依靠图像投影单元2投射由右和左眼图像光线合成的输出图像，该图像投影单元包括作为投影单元的两个投影仪2a和2b，以便在屏幕1上投射三维图像光，该屏幕包括具有图1示出的面向观看者的凹表面的任意形状的投影平面，并可以显示比观看者的有效视角宽的图像，这样给观看者提供虚拟现实。

这个虚拟现实系统包括作为图像信号处理装置的失真校正单元3，它连接到投影仪2a和2b、图像产生器4和参数调节个人计算机5。失真校正单元3执行图像信号处理，以便校正当在具有任意形状的投影平面的屏幕上投射图像光时所引起的图像失真，并且产生输出图像信号。参数调节个人计算机5不需要一直与失真校正单元3连接，仅在如下描述向失真校正单元3输出失真校正表、亮度校正表、控制信号等时需要与失真校正单元3连接。

屏幕1对来自投影仪2a和2b的右和左眼图像光线进行镜面反射(miror-reflect)。屏幕1的投影平面的形状是使用部分球面的半球形、柱形等，并可以是包括相互连接的多个平面的形状。

为了投射右和左眼图像光线，投影仪2a和2b从失真校正单元3接收并输出包括左眼图像信号和右眼图像信号的图像信号。这些投影仪2a和2b分别与失真校正单元3的两个通道的图像输出端子3e、3f相连接。

例如，为了给观看者提供立体视图，给投影仪2a和2b分别配备右和左眼偏振滤波器；屏幕1是所谓的银幕；观看者戴上与偏振滤波器相对应的偏振眼镜。投影仪单元不需要包括两个投影仪。可以将投影仪配置成以在时分方式从单独一个投影仪交替地投射右和左眼图像光线。

图像产生器4包括存储投射二维图像光用的图像信号的存储介质。图像产生器4是个人计算机、诸如盒式录像机和DVD记录机的图像重放装置、视频摄影机、立体摄影机等。图像产生器4包括用于四个通道的输出端子，它们连接到用于失真校正单元3的1到4通道的图像输入端子3a到3d。在图1到3示出的例子中，示出了4个输入通道和2个输出通道的结构。然而，输入和输出通道的每一个的个数可以是1个。

参数调节个人计算机5创建用来根据屏幕1的曲面形状对失真校正单元3中的二维图像信号执行失真校正的失真校正表，和用来对二维图像信号执行亮度图像校正的亮度校正表，并将表提供给失真校正单元3。

失真校正表是二维投影平面和任意形状投影平面的网状模型之间的对应关系映射。该失真校正表可以是描述与失真校正之后的输出图像像素相对应的失真校正之前的输入图像像素的表，并且描述各个像素的移动量，使得允许以合适的比例混合输入图像的多个像素的颜色信息，并创建输出图像的像素的颜色信息。此外，亮度校正表是这样的一个表，它描述了在失真校正处理之前的二维图像信号的每一个像素或者在失真校正处理之后的输出图像信号多少次被设置成较高的亮度。

仅仅描述二维投影平面和任意形状的投影平面的网状模型之间的对应关系映射(correspondence map)的失真校正表例如将输入图像的像素坐标(5，7)与输出图像的像素坐标(6，8)相联系。当在x方向有0.55的移动量而在y方向上有0.3的移动量时，能够从输入图像的多个像素的颜色信息创建输出图像的像素的颜色信息的失真校正表例如将输入图像的像素坐标(5.55，7.3)与输出图像的像素坐标(6，8)相联系。

失真校正单元3包括外部输入端子3g，它连接到参数调节个人计算机5并接收失真校正表和亮度校正表。在后面描述通过参数调节个人计算机5来创建失真校正表的处理。

参数调节个人计算机5向失真校正单元3输出控制信号来控制投影仪2a和2b的操作。这个控制信号包括针对投影仪2a和2b的所有类型的控制命令，诸如开始和停止投影仪2a和2b的图像光的输出的命令，和图像投影位置、图像尺寸、缩放因子、投影仪2a和2b的颜色调节。通过失真校正单元3接收这个控制信号，并通过失真校正单元3的外部输出端子3h将其提供给投影仪2a和2b。

在图2中示出了其硬件配置的失真校正单元3包括在图像输入侧的信号制式转换电路11、图像信号处理电路12、外部设备控制电路13、数字信号处理器(DSP)14、计算存储器15、表存储器16、在图像输出侧的信号制式转换电路17和控制信号存储器18。图3示出了包括如此的硬件结构的失真校正单元3的功能软件结构，失真校正单元3包括输入图像处理块21、图像切换/分割块22、图像合成块23、失真校正块24、输出图像处理块25、同步处理块26、转换表读取/存储块27、外部设备控制块28、控制信号读取/存储块29。

信号制式转换电路11的功能与输出图像处理块21一样，其通过图像输入端子3a到3d从图像产生器4接收图像。信号制式转换电路11接收合成信号、分离信号、分量信号、数字视频信号等，作为来自图像产生器4的二维图像信号。在可以接收几种类型的二维图像信号这样的结构的情况下，图像输入端子3a到3d是DVI-I端子、RGB端子、S端子、合成端子、D端子等，每个端子具有支持一种信号制式的端子形状。通过允许以这种方式输入所有类型的二维图像信号，输入的二维图像信号的类型得以增加。在通过图像输入端子3a、3b、3c或3d接收到二维图像信号的情况下，信号制式转换电路11将二维图像信号的制式转换成可以由图像信号处理电路12等处理的制式，并将其输出给图像信号处理电路12。

图像信号处理电路12包括与图3中的图像切换/分割块22一样功能的图像切换/分割电路、与图像块23一样功能的图象合成电路、与失真校正块24一样功能的图像校正电路和与同步处理块26一样功能的同步处理电路。这个图像信号处理电路12通过图像切换/分割块22从输入图像处理块21切换/分割二维图像信号，并在合成多个二维图像信号的情况下执行图像合成块23中的图像合成，并将其提供给失真校正块24。

参考预先存储在转换表读取/存储块27中的失真校正表，失真校正块24逐个像素执行坐标变换来将二维图像信号转换成输出图像信号，用于失真校正处理。此外，参考预先存储在转换表读取/存储块27中的亮度校正表，失真校正块24改变每一个像素的亮度值来将二维图像信号转换成输出图像信号，用于亮度校正处理。此外，失真校正块24可以通过参考在失真校正处理的坐标变换中失真校正表所描述的移动量，基于与输出图像的像素有关的输入图像的多个像素的颜色信息，创建输出图像的每个像素的颜色信息。在失真校正处理和亮度校正处理中，图像信号处理电路12(失真校正块24)使用计算存储器15作为工作区。

通过失真校正块24所进行的失真校正处理将图4(a)中示出的二维图像信号的像素a、b和c转换成图4(b)中示出的输出图像的像素a′、b′和c′，用于失真校正。该输出图像信号100′是根据具有任意形状的投影平面的屏幕1的网状模型所进行的坐标变换的结果。

在支持失真校正处理之后的输出图像信号的亮度校正表存储在转换表读取/存储块27中时，由失真校正块24所进行的亮度校正处理是图5所示的处理。具体地，首先对图5(a)示出的二维图像信号100执行亮度校正处理来产生二维图像信号100′，然后，对二维图像信号100′执行失真校正处理。

在支持失真校正处理之前的二维图像信号的亮度校正表存储在转换表读取/存储部分27中时，亮度校正处理是图6所示的处理。具体地，在图6(b)示出的作为对图6(a)示出的二维图像信号100进行失真校正处理的结果的输出图像信号100′中，失真校正之后像素a′、b′和c′的亮度分别被改变，以获得图6(c)所示的在亮度校正之后的新像素a″、b″和c″。参考失真校正表中描述的移动量，基于与输出图像的像素相关的输入图像的多个像素的颜色信息，失真校正块24的失真校正处理在坐标失真校正处理的坐标转换中创建输出图像的像素的颜色信息。将在后面描述失真校正处理的详细情况，该失真校正处理包括用来进行插值和创建输出图像像素的颜色信息的处理。

由失真校正块24进行了失真和亮度校正处理的输出图像信号被传送到输出图像处理块25(信号制式转换电路17)，并从输出图像处理块25提供给投影仪2a和2b。此时，输出图像处理块25(信号制式转换电路17)将输出图像信号转换成允许投影仪2a和2b投影图像的信号制式，并将其输出。图像输出端子3e和3d是DVI-I端子、RGB端子等，它们具有支持输出图像信号的制式的端子形状。

在失真校正单元3中，为了允许每一个块进行实时操作，同步处理块26控制图像信号的处理定时和输入图像处理块21、图像切换/分割块22、图像合成块23、失真校正块24、和输出图像处理块25的图像信号的传送定时。在失真校正单元3中，通过数字信号处理器14控制图像信号处理电路12的软件处理。

此外，在失真校正单元3中，控制信号读取/存储块29接收并存储从参数调节个人计算机5提供的控制信号，而外部设备控制电路13(外部设备控制块28)恰当地从控制信号读取/存储块29选择控制信号并通过外部输出端子3h将选择的控制信号传送给投影仪2a和2b。可以从如图3所示的外部设备控制块28输出失真校正单元3发送给投影仪2a和2b的控制信号，来响应诸如由用户操作的按钮或遥控器之类的操作输入单元6的操作输入信号。这允许用户控制投影仪2a和2b，同时切换存储在控制信号读取/存储块29中的控制信号。

如上所述，利用失真校正单元3，通过预先在转换表读取/存储块27中存储失真和亮度校正表，并在当从投影仪2a和2b将图像光投射到屏幕1时针对二维图像信号所执行的失真和亮度校正处理中执行二维坐标转换和亮度转换，来创建输出图像信号，而不需要三维处理。具体地，通过外部提供的参数调节个人计算机5产生失真校正用的关系表达，并将因此获得的参数调节个人计算机的结果作为失真校正表来输入。因此，在失真校正单元3中，仅通过二维计算可以执行失真校正，而不需要三维计算。因此，根据失真校正单元3，利用简单的结构就可以实时地实现减少观看者所看到的图像的失真的处理。

此外，根据该失真校正单元3，对于不同类型的图像信号都能够执行上述处理，从而降低了对输入图像种类的限制。

此外，失真校正单元3被配置成同时地接收多个二维图像信号并同时地输出多个图像信号。当同时地接收多个二维图像信号时，图像信号处理电路12能够选择多个二维图像信号中的一些并针对这些信号执行失真校正，以便将输出图像信息输出到信号制式转换电路17。从信号制式转换电路17能够产生并输出多个二维图像信号。通过参数调节个人计算机5来设置从多个二维图像信号中选择要输出给信号制式转换电路17的输出图像信号的条件。此外，期望执行图像尺寸重新确定操作，以便将多个二维图像信号的图像尺寸等同化。

此外，当同时地输入多个二维图像信号时，通过由DSP14构成的同步处理块26能够将多个二维图像信号与处理定时同步。这可以使用两个投影仪2a和2b来提供立体视图。

此外，使用多个二维图像信号，通过将多个二维图像信号与它们之间的差异(disparity)结合，上述提到的图像信号处理电路12可以产生差异二维图像信号。在三个通道输入的情况下，利用通道3的二维图像信号和通道1和2的二维图像信号之间的差异，可以将通道3的二维图像信号与通道1和2的二维图像信号结合。在4个通道输入的情况下，通过利用通道3的二维图像信号和通道1的二维图像信号之间的差异将通道3的二维图像信号与通道1的二维图像信号相结合，以及利用通道4的二维图像信号和通道1的二维图像信号之间的差异将通道4的二维图像信号与通道1的二维图像信号相结合来产生差异二维图像信号。可以通过参数调节个人计算机5来设置产生差异二维图像信号处理中的条件，及这样的设置可以在屏幕1上显示无失真的立体图像。

接下来的描述在如上所述配置的虚拟现实创建系统中参数调节个人计算机5创建失真校正表的处理。

参数调节个人计算机5主要包括，屏幕模型创建块、投影仪配置/安装(setup)块、用户位置设置块，具有像与失真校正表相关的表创建/输出块一样的功能。图7中示出了屏幕模型创建块创建屏幕1的网状模型。这个屏幕模型创建块初始存储基本的三个模型，它们是球形模型31、柱形模型32和混合模型33。混合模型33包括，主要由与其它平面或曲面混合的球形构成的球形混合模型34、主要由与其它平面或曲面混合的柱形构成的柱形混合模型35，及主要由与其它平面或曲面混合的平面构成的平面混合模型36。对于模型31、32和34到36中的每一个，选择这些模型中的任何一个，并且将输入参数31a、32a和34a到36a输入，以便分别创建适合实际屏幕1的网状模型31b、32b和34b到36b。存储在屏幕模型创建块中的基本模型不局限于图7示出的模型31到33，除了模型31到33，还可能会设置椭圆模型，矩形模型等，并执行输入参数的输入和网状模型的创建。因此，能够创建这样的失真校正表：它不会引起投射到屏幕1上的图像失真，甚至屏幕1是椭圆形、矩形或椭圆和矩形的组合。

下面是基本模型和输入参数。

如图8所示，当屏幕1是球形表面(球形的一部分)时，输入参数是球形模型的半径R和球形模型中心点与截面的距离A。

这里，通过方程表示球形模型。

x²+y²+z²＝R²     (方程1)

这里，A＜＝x＜＝R，-y1＜＝y＜＝y1，且-z1＜＝z＜＝z1。通过x＝A和z＝0代入方程1，得到y1；及通过x＝A和y＝0代入方程，得到z1，结果y1＝z1。因此，当屏幕1是如上所述的球形表面时，作为参数调节个人计算机5的输入参数，仅需要输入球形模型的半径R和球形模型的中心点到截面的距离A。

如图10示出，当从前视图看到的屏幕1的形状是从左、右、顶和底任何端部到内部切割了一部分球形屏幕的球形屏幕时，如下表示于屏幕1相对应的球形模型。例如，如图10(a)所示，当屏幕1是在前视图中从底端的末端被切割的球形屏幕时，用方程1表示于屏幕1相对应的球形模型，如图9所示，A＜＝x＜＝R，-B＜＝y＜＝y1，且-z1＜＝z＜＝z1。通过x＝A和z＝0代入方程1，得到y1；通过x＝A和y＝0代入方程1，得到z1；通过y＝-B和z＝0代入方程1，得到x1。因此，在如上述描述的屏幕1的情形中，作为参数调节个人计算机5的输入参数，仅需要输入球形模型的半径R、球形模型的中心点与截面的距离A，和球形模型中心点与球形屏幕的切割位置之间的距离B。

以类似的方式中，当屏幕1是如图10(b)、图10(c)、图10(d)所示那样从当屏幕1是从前视图中的顶、左和右端的端部被切割的球形屏幕时，如下表示每一个球形模型。如图10(b)所示，在从顶端的端部切割球形屏幕的情形中，球形模型用方程1表示，A＜＝x＜＝R，-y＜＝y＜＝B，且-z1＜＝z＜＝z1。如图10(c)所示，从右端的端部切割球形屏幕的情形中，球形模型用方程1表示，A＜＝x＜＝R，-y＜＝y＜＝y1，且-z1＜＝z＜＝B。如图10(d)所示，在从左端的端部切割球形屏幕的情形下，球形模型用方程1表示，A＜＝x＜＝R，-y＜＝y＜＝y1，且-B＜＝z＜＝z1。因此，作为参数调节个人计算机5的输入参数，仅需要输入球形模型的半径R、球形模型的中心点与截面的距离A，和球形模型中心点与球形屏幕的切割位置之间的距离B。此外，如果增加参数调节个人计算机5的输入参数的数量，参数调节个人计算机5可以创建包括两个或更多切割位置的组合的屏幕的屏幕模型。

另一方面，当屏幕1是切割了圆柱体的弓形屏幕时，屏幕模型用如图11所示圆柱形模型来表示。通过方程2表示图11示出的在x-y平面的截面上的圆柱形模型的圆周。

x²+z²＝R²(方程2)

这里，通过应用这样的限制A＜＝x＜＝R，0＜＝y＜＝H，和-z＜＝z＜＝z1来获得柱形模型的表面的方程。因此，参数调节个人计算机5的输入参数是圆的半径R(弓形屏幕的半径R)、圆的中心点和截面的距离A和高度H(弓形屏幕的高度)。

此外，图12(a)示出了具有由多个平面(包括多个矩形平面)组成的投影平面的屏幕1的情况。在该情况中，参数调节个人计算机5的输入参数是图12(b)中示出的顶视图中的表面位置和表面的高度。在图12(b)的情形中，

Z＝-x+1(0＜＝x＜1)(方程3-1)

Z＝0(1＜＝x＜3)(方程3-2)

Z＝x-3(3＜＝x＜4)(方程3-3)

0＜y＜＝H    (方程3-4)

此外，在屏幕1是由多个球形表面，例如多个水平排布的球形表面构成的情况中，与图8到9示出的例子类似，仅需要参数调节个人计算机5的输出参数是半径R、到截面的距离A、到切割位置的距离B和水平排布的球形表面的数量。具体地，例如，结合图10(a)和10(b)能够实现包括两个垂直排布的球形屏幕的屏幕1，同样，结合图10(a)和10(b)能够实现包括两个垂直排布的球形屏幕的屏幕1。因此，应该理解，如上所述，作为参数调节个人计算机5的输入参数，仅需要输入半径R、到截面的距离A、到切割位置的距离B和水平排布的球形表面的数量。

在屏幕1由多个圆柱表面构成的情况中，除了顶端排布视图，仅需要输入表面的高度H、屏幕1每一个部分的半径R和距离A，和表面的数量。在这种方式确定屏幕1的投影平面的函数表达式，通过给x、y、z代入适当的值并记录屏幕1上的一定数量或更多的点作为采样点，能够指定屏幕1的投影平面的形状。在屏幕模型创建块中，模型31、32和34到36中的每一个中预先存储了每一种类型的屏幕1的投影平面的函数表达式，并且这些函数表达式可以被调用以便设置失真校正表。仅通过输入上述参数，作为输入参数31a、32a，34a到36a，可以由参数调节个人计算机5分别为实际的屏幕1创建适合的网状模型31b、32b和34b到36b。

能够绕x，y，z轴旋转屏幕1的投影平面的采样点(可以将屏幕1定义为倾斜的)。

具体地，由方程4表示绕x轴旋转alpha角度。

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\left(\begin{array}{ccc}1& 0& 0\\ 0& \cos \mathrm{\α}& -\sin \mathrm{\α}\\ 0& \sin \mathrm{\α}& \cos \mathrm{\α}\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)$ (方程4)

此外，由方程5表示绕y轴旋转beta角度。

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\β}& 0& \sin \mathrm{\β}\\ 0& 1& 0\\ -\sin \mathrm{\β}& 0& \cos \mathrm{\β}\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)$ (方程5)

此外，由方程6表示绕z轴旋转gamma角度。

$\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)=\left(\begin{array}{ccc}\cos \mathrm{\γ}& -\sin \mathrm{\γ}& 0\\ \sin \mathrm{\γ}& \cos \mathrm{\γ}& 0\\ 0& 0& 1\end{array}\right)\left(\begin{array}{c}X\\ Y\\ Z\end{array}\right)$ (方程6)

参数调节个人计算机5创建对应关系映射，该对应关系映射将屏幕1的投影平面上所获得的采样点映射到给失真校正单元3输入的二维图像信号的各个采样点，这样允许失真校正单元3执行失真校正处理。给失真校正表中的各个相应像素分配该二维图像信号的像素，由此产生经过失真校正处理的输出图像信号。

一旦确定使用的屏幕1的投影平面的形状，并输入了参数调节个人计算机5的参数以便创建失真校正表，当没有参数等改变时，不需要修改失真校正表。因此，将失真校正表提供给失真校正单元3，并将其存储在失真校正单元3中。

上面使用附图8到12所进行的描述是关于促使失真校正单元3针对如图13所示的屏幕的投影平面的形状而执行失真校正处理的。具体地，如果将用于二维投影平面的二维图像信号投射到球形屏幕1上，而没有改变，则显示如图13(a)所示的失真图像。因此，产生如图13(b)所示的预先被失真的输出图像信号，以致于投射在球形屏幕1上的图像不包括失真。然而，由于投影仪2a和2b相对屏幕1的布置位置的变化，观看者位置相对屏幕1的变化等的缘故，需要进一步的失真校正。因此，可以对如上所获得的失真校正表进行这样的校正。

下面描述针对投影仪2a和2b及观看者与具有球形投影平面的屏幕的相对位置变化来创建失真校正表的处理。响应于来自投影仪配置/安装块和用户位置设定块的输入，通过参数调节个人计算机5执行该处理。

图14是解释失真校正方法的视图，除了上述球形校正，该失真校正方法还包括对投影仪2a和2b及观看者位置的校正。首先对于校正，如图14所示，分别基于观看者的观看位置和投影仪2a和2b的投影位置，定义观看平截头体(frustum)和图像投影平截头体。通过四角锥表示观看平截头体，其中顶点在P0作为观看位置，并通过P0，0，Pm，n，Pm，0来定义其底面。投影平截头体表示为：顶点在0处，作为投影仪后焦点位置，通过Q0，0，Qm，0，Qm，n和Q0，n来定义底面。这里，当图像信号是诸如SXGA时，m和n分别表示分别为1279和1023的图像分辨率。底面被称为虚拟屏幕面。

这里，为了容易表述，图15示出了在m＝i处从y-z二维截面所看到的图像。首先，假设点Pi，j在虚拟屏幕面1a内，计算向量P0Pi，j和圆顶型的屏幕1(网状模型31b、32b、34b到36b)的交集Ri，j。由于i和j在0＜＝i＜＝m和0＜＝j＜＝n中变化，可以创建Pi，j-＞Qi，j对应关系映射。该对应关系映射用于对图像失真的反校正。

具体地，通过基于观看平截头体执行正常图像产生来来实现失真校正；然后，获取该图像的数据并使用Pi，j-＞Qi，j对应关系映射将纹理映射坐标应用于该图像的数据，用于再次产生图像。图16示出了由Pi，j-＞Qi，j对应关系映射应用到的网格所构成的图像(它是图13(b)的反转)。失真校正处理对屏幕1的投影平面的形状没有限制。因此，失真校正处理不仅可以应用到之前描述的球形网状模型31b中，而且可以应用到其它网状模型32b、34b到36b等中。

如上所述，通过使用针对由参数调节个人计算机5所进行的失真校正处理的失真校正表，可以将图像从投影仪2a和3b投射图像光，同时针对用于二维显示表面的二维图像信号连续执行失真校正处理。

下面描述参考失真校正表中描述的移动量，在失真校正处理的坐标变换中，基于与输出图像的像素相关的输入图像像素的颜色信息来创建输出图像像素的颜色信息的处理(颜色信息插值失真校正处理)。该颜色信息插值失真校正处理不是必须要执行的。然而，颜色信息插值失真校正处理能够提供比当仅执行失真校正处理时获得输出图像少的锯齿的输出图像。

当根据失真校正表执行失真校正处理来将二维图像信号转换为输出图像信号时，失真校正块24按比例混合转换前多个像素的颜色信息，该比例对应于从根据失真校正表所进行的转换前的代表性像素点到转换后的代表性象素点的移动量。接着，失真校正表产生输出图像信号，该信号具有作为每一个像素转换后的像素的颜色信息的混合颜色信息。具体地，失真校正块24或者通过第一过程或者通过第二过程来产生输出图像信号。第一过程是根据转换后的代表性像素点相对于X轴方向毗邻的至少两个像素的位置，混合转换前的X轴方向毗邻的该至少两个像素的颜色信息。第二过程是根据转换后的代表性像素点相对于Y轴方向毗邻的至少两个像素的位置，混合转换前的Y轴方向毗邻的该至少两个像素的颜色信息。

这里，将屏幕1的投影平面上的采样点映射到二维图像信号的采样点的对应关系映射被预先存储在转换表读取/存储块27中，作为失真校正表。在失真校正表中将二维图像信号的像素分配给相应的像素的过程中，当二维图像信号的像素与输出图像信号的像素相关联时转换之后的输出图像有时表现出阶梯状不均匀颜色，或所谓的锯齿。这是由于每一个像素根据图像分辨率而确定的明确(definite)尺寸，这引起了对坐标位置的舍入(rounding)相对应的误差。由于转换前的代表性像素点，例如像素的中心位置，对应于从转换后的像素点偏离的位置，出现了舍入误差。因此，使用二维图像信号中毗邻像素的颜色信息按照与移动量相对应的比例对输出图像信号的颜色信息进行插值。因此可以减少输出图像信号中出现的锯齿。

例如，在将二维图像信号(下文称输入图像100)的在x方向毗邻的像素P1和P2转换成输出图像信号(下文称输出图像100′)的像素P1′以及在将输入图像100的在x方向毗邻的像素P3和P4转换成输出图像100′的像素P2′的过程中，如图17所示，在x方向上有移动的情况下，使用在x方向毗邻的像素P1和P2的颜色信息创建输出图像100′的像素P1′的颜色信息，使用在x方向毗邻的像素P3和P4的颜色信息创建输出图像100′的像素P2′的颜色信息。

由大于等于0小于1的值表示x方向上的移动量DELTAx，0或1的移动量表示输入信号的代表性像素位置和毗邻像素的任意一个的代表性位置相匹配。具体地，在将输入图像100在x方向上毗邻的两个像素转换成输出图像100′的单个像素的过程中，当在输入图像100和输出图像100′之间有移动量DELTAx时，如图18所示，按1-DELTAx/DELTAx的比例平均输入图像100的像素P(x，y)的颜色信息和毗邻像素P2(x+1，y)的颜色信息，来获得虚拟像素P(x+DELTAx，y)的颜色信息C_x+DELTAx，y＝C_x，y(1-DELTAx)+C_x+1，yDELTAx。如图18(b)所示，可获得如下的与虚拟输入像素(x+DELTAx，y)相对应的转换之后的输出图像100′的像素P′(u，v)的颜色信息：

C_x+DELTAx，y＝C_x，y(1-DELTAx)+C_x+1，yDELTAx

以这样的方式，为了在x方向上输入图像100和输出图像100′之间有移动时使用x方向上的两个像素执行颜色信息插值失真校正处理来产生输出图像100′，失真校正单元3预先在转换表读取/存储块27中存储包括对移动量的描述的失真校正表。如图17示出，失真校正块24从输入图像100在x方向上的两个像素产生输出图像100′的每一个像素P1′和P2′。因此，根据输入图像100的两个像素的颜色信息以何种比例来影响输出图像100′的像素颜色信息，计算输出图像100′的像素。

这里，假设与输出图像100′的像素(u，v)相对应的输入图像100的像素从像素(x，y)移动了DELTAx。预先创建失真校正表以便包括对移动量的描述，该描述指示输出图像100′的像素(u，v)对应于输入图像100的虚拟像素(x+DELTAx，y)。因此，失真校正块24能够按(1-DELTAx)/DELTAx的比例混合像素(x，y)和(x+1，y)的颜色信息，以便通过下面的方程来计算输出图像100′的像素(u，v)的颜色信息C_u，v：

C_u，v＝C_x，y(1-DELTAx)+C_x+1，yDELTAx

如图19所示，在将输入图像100在y方向毗邻的像素P1和P2转换成输出图像100的像素P1′以及将输入图像100在y方向毗邻的像素P3和P4转换成输出图像100′的像素P2′的过程中，当在y方向有移动时，使用在y方向毗邻的像素P1和P2的颜色信息创建输出图像100′的像素P1′的颜色信息，使用在y方向毗邻的像素P3和P4的颜色信息创建输出图像100′的像素P2′的颜色信息。

通过大于等于0小于1的值表示y方向上的移动量DELTAy，0或1的移动量表示输入信号的像素的代表性位置和任意一个毗邻像素的代表性位置相匹配。具体地，在将y方向上毗邻的输入图像100的两个像素转换成输出图像100′的单个像素的过程中，当在输入图像100和输出图像100′之间有移动量DELTAy时，如图20(a)所示，按1-DELTAy/DELTAy的比例平均输入图像100的像素P(x，y)的颜色信息和毗邻像素P2(x，y+1)的颜色信息，来获得虚拟像素P(x，y+DELTAy)的颜色信息C_x，y+DELTAy＝C_x，y(1-DELTAy)+C_x，y+1DELTAy。如图20(b)所示，可以获得与虚拟输入像素(x，y+DELTAy)相对应的转换之后的输出图像100′的像素P′(u，v)的颜色信息：

C_x，y+DELTAy＝C_x，y(1-DELTAx)+C_x，y+1DELTAy

以这样的方式，为了在输入图像100和输出图像100′之间在y方向上有移动时通过使用y方向上的两个像素执行颜色信息插值失真校正处理来产生输出图像100′，失真校正单元3预先在转换表读取/存储块27中存储包括对移动量描述的失真校正表。如图19所示，失真校正块24从输入图像100的y方向上的两个像素产生输出图像100′的每一个像素P1′和P2′。因此，关于输入图像100的两个像素和输出图像100′的像素，根据输入图像100的两个像素的颜色信息以何种比例影响输出图像100′的像素颜色信息，计算输出图像100′的像素的颜色信息。

这里，假设与输出图像100′的像素(u，v)相对应的输入图像100的像素从像素(x，y)移动了DELTAy。预先创建失真校正表以便包括对移动量的描述，该描述指示输出图像100′的像素(u，v)对应于输入图像100的虚拟像素(x，y+DELTAy)。因此，失真校正块24能够按(1-DELTAy)/DELTAy的比例混合像素(x，y)和(x+1，y)的颜色信息，以便通过下面的方程来计算输出图像100′的像素(u，v)的颜色信息C_u，v：

C_u，v＝C_x，y(1-DELTAy)+C_x+1，yDELTAy

此外，如图21所示，在将输入图像100的x和y方向毗邻的像素P1到P4转换成输出图像100′的像素P1′以及将输入图像100的x和y方向毗邻的像素P5到P8转换成输出图像100′的像素P2′的过程中，在x和y方向上都有移动的情况下，使用在y方向毗邻的像素P1到P4的颜色信息创建输出图像100′的像素P1′的颜色信息，使用x和y方向毗邻的像素P5到P8的颜色信息创建输出图像100′的像素P2′的颜色信息。

如图22(a)所示，在将输入图像100的x和y方向上毗邻的4个像素转换成输出图像100′的单个像素的过程中，当分别在x和y方向上有移动DELTAx和DELTAy时，按照(1-DELTAx)(1-DELTAy)/DELTAx(1-DELTAy)/(1-DELTAx)DELTAy/DELTAxDELTAy的比例，平均输入图像的像素P1(x，y)颜色信息、像素P2(x+1，y)颜色信息、像素P3(x，y+1)颜色信息和像素P4(x+1，y+1)颜色信息。可以获得颜色信息C_{x+DELTAx，y+DELTAy}＝C_x，y(1-DELTAx)(1-DELTAy)+C_x+1，yDELTAx(1-DELTAy)+C_x，y+1(1-DELTAx)DELTAy+C_x+1，y+1DELTAxDELTAy，它是4个像素的混合，如图22(b)所示，并能够如下获得与虚拟输入像素(x+DELTAx，y+DELTAy)相对应的输出图像100′的像素P′(u，v)颜色信息：C_{x+DELTAx，y+ DELTAy}＝C_x，y(1-DELTAx)(1-DELTAy)+C_x+1，yDELTAx(1-DELTAy)+C_x，y+1(1-DELTAx)DELTAy+C_x+1，y+1DELTAxDELTAy。

以这样的方式，为了在输入图像100和输出图像100′之间在x和y方向上有移动时通过使用x和y每一个方向上的两个像素执行颜色新插值失真校正处理来产生输出图像100′，虚拟现实创建系统预先地在转换表读取/存储块27中存储包括对移动量的描述的失真校正表。如图21所示，失真校正块24从输入图像100在x和y方向上的4个像素产生输出图像100′的每一个像素P1′和P2′。因此，使用输入图像100的像素颜色信息和输出图像100′的像素，根据输入图像100的4个像素颜色信息以何种比例影响输出图像100′的像素颜色信息，来计算输出图像100′的颜色信息。

这里，假设与输出图像100′的像素(u，v)相对应的输入图像100的像素从像素(x，y)移动了DELTAx和DELTAy。预先创建失真校正表以便包括对移动量的描述，该描述指示输出图像100′的像素(u，v)对应于输入图像100的虚拟像素(x+DELTAx，y+DELTAy)。因此，失真校正块24能够按(1-DELTAx)(1-DELTAy)/DELTAx(1-DELTAy)/(1-DELTAx)DELTAy/DELTAxDELTAy的比例混合像素(x，y)、(x+1，y)、(x，y+1)和(x+1，y+1)的颜色信息，以便通过下面的方程来计算输出图像100′的像素(u，v)的颜色信息C_u，v：

C_{x+DELTAx，y+DELTAy}＝C_x，y(1-DELTAx)(1-DELTAy)+C_x+1，yDELTAx(1-DELTAy)+C_x，y+1(1-DELTAx)DELTAy+C_x+1，y+1DELTAxDELTAy

通过存储作为插值目标的输入图像的像素(不少于2个)和输出图像的每一个像素的移动量来形成用于颜色信息插值失真校正处理的失真校正表。这些移动量是根据失真校正表，通过坐标变换获得的像素位置x和y坐标的小数部分(fraction)。输出图像100′的某像素P(u，v)通常对应于x和y坐标是整数的输入图像100的像素，诸如(10，5)。然而，考虑输出图像100′的某像素P(u，v)与输入图像100的2到4个像素重叠，在输出图像100′的某像素对应于输入图像100的像素(10.3，5.55)的情况下，应用了本发明的虚拟现实创建系统假设小数部分的移动，诸如在x方向0.3像素和在y方向0.55像素。为了使用仅在x或y方向毗邻的两个像素创建输出图像100′的颜色信息，仅需要在失真校正表中存储在x或y方向上的移动量的任意一个。

失真校正表中的移动量可以由如上述的(10.3，5.55)来表示，或仅通过如(0.3，0.55)的小数部分表示。此外，利用小数的10倍移动一个位置的整数0到9或小数的100倍移动2个位置的0到100的整数来描述失真校正表中的移动量。这种情况下，移动量被除以10或100用在颜色信息插值失真校正处理中。这消除了失真校正表中由小数值表示的信息，这样允许失真校正表仅包括整数表示的信息。此外，用基数n表示的情况下，执行实现颜色信息插值失真校正处理的失真校正单元的处理，对于颜色信息插值失真校正处理，可以用0到n^r-1的值描述移动量并且移动量除以n^r。这样的情况中，对于颜色信息插值失真校正处理，用0到n^r-1的值来描述的移动量(基数n)仅需要向右移动r位。例如，在使用二进制值来执行失真校正单元3的处理的情况中，用1到15(2⁴-1)来描述移动量并且其除以16，用在在颜色信息插值失真校正处理中。除以16的处理就是仅向右移动4位。r可以是8(2⁴)、32(2⁵)，等。

当通过整数1到9或0到100表示移动量，或为了失真校正单元3的二进制处理而通过0到16表示移动量时，其精确度分别是0.1、0.01和1/16。然而，用来以整数表示移动量的位数远小于用来以小数表示移动量的位数，这样减少了失真校正表中的数据量。此外，通过根据由失真校正单元3处理的基数n数表示移动量，可能仅包括由整数表示的信息，而不包括由失真校正表中小数值表示的信息，并同样使处理量小于要求的将整数的移动量被10或100除的处理量。

如上述描述，根据应用了本发明的虚拟现实创建系统，根据失真校正表执行失真校正处理，使用与输出图像100′的每个像素相对应的输入图像100在x和y方向上的至少两个像素，计算转换后的输出图像100′的每一个像素的像素信息(颜色信息)。因此，能够平滑输出图像100′内的毗邻像素之间的颜色信息的变动并减少锯齿。

基本的期望是，使用输入图像100在x和y方向上毗邻的4个像素执行颜色信息插值失真校正处理。然而，根据显示在屏幕上的图像图案，即使是使用在x和y方向任意一个方向上毗邻的两个像素计算输出图像100′的颜色信息，也可以抑制锯齿的发生。例如，在屏幕1上投影包括在图像中垂直延伸并并列竖立的栏的图像的情况下，不需要使用在y方向上毗邻的两个像素创建输出图像100′的颜色信息。另一方面，在屏幕1上投影包括在图像中水平延伸的条的图像的情况下，不需要使用在x方向上毗邻的两个像素创建输出图像100′的颜色信息。此外，当在屏幕1上投影包括网格图案的图像，甚至是使用在x和y方向的任意一个方向上毗邻的像素颜色创建输出图像100′的颜色信息，也会发生周期性的锯齿。

在使用包括对移动量的描述的上述失真校正表的颜色信息插值失真校正处理中，可以使用诸如RGB(红、绿和蓝)和CMY(青、洋红和黄)之类的基色信号，作为输入和输出图像100和100′的颜色信息。在这种情况中，通过对R(红分量)、G(绿分量)和B(蓝分量)信号或C(青分量)、M(洋红分量)和Y(黄分量)信号的每一个基色独立使用同样的处理方法来混合输入图像100的毗邻像素的颜色信息，失真校正块24创建输出图像100′的颜色信息。由三个基色表示的颜色信息(尤其是RGB)具有符合计算机图形图像的颜色表示系统并给投影仪2a和2b输出输出图像100′的优点，这样提供几乎没有锯齿的输出图像100′。此外，对于每一个基色能够并行地创建输出图像100′的颜色信息。这加速了颜色信息插值失真校正处理。此外，除了对RGB的三基色进行类似方式的并行处理之外，通过使用透明度的alpha值来执行颜色信息插值失真处理，可以创建输出图像100′的颜色信息。

此外，在使用包括对移动量的描述的上述失真校正表的颜色信息插值失真校正处理中，输入和输出图像100和100′的颜色信息可以是包括亮度信息(Y)和色差信息U(亮度信号和蓝分量之间的差)和V(亮度信号和红分量之间的差)，诸如YUV(YCbCr)。这种情况下，失真校正块24通过分别对亮度信息和色差信息使用相同的处理方法，混合输入图像100的毗邻像素的颜色信息来创建输出图像100′的颜色信息。因此，可以根据符合输出图像100′的颜色表示方法来执行颜色信息插值失真校正处理。此外，使用对亮度信息敏感但对色差信息不敏感的人类视觉特征，仅使用输入图像100的亮度信息执行颜色信息插值失真校正处理来计算输出图像100′的亮度信息，同时使用每一组像素的一些像素的色差信息来执行颜色信息插值失真校正处理，这样加速了行颜色信息插值失真校正。例如，至于亮度信息，从x和y方向上的4个像素创建输出图像100′的亮度信息，仅使用4个像素之间的两个对角像素创建输出图像100′的色差信息。

下面描述当按照输入图像100的输入次序描述包括对用于上述颜色信息插值失真校正处理的移动量的描述的失真校正表时虚拟现实创建系统的操作。

经过输入图像处理块21、图像切换/分割块22和图像合成块23，将输入图像100作为颜色信息插值失真校正处理的处理目标输入到图像输入端子3a到3d并且提供给失真校正块24。通常，伴随输入图像100的扫描线向失真校正块24持续提供该数据。

当按照输入图像100的像素的输入次序执行颜色信息插值失真校正处理时，失真校正单元3在转换表读取/存储块27中预先存储了失真校正表，该失真校正表按照输入次序描述了与输入图像的每一个像素的坐标有关的转换后输出图像100′中像素的坐标。通过参数调节个人计算机5创建失真校正表。失真校正表同样描述了用于颜色信息插值失真校正处理的移动量。

如在图23(a)和23(b)的输入图像所示，在以P1、P2、P3...的次序输入输入图像100的像素并通过混合输入图像100在x方向上毗邻的两个像素的颜色信息来创建输出图像100的像素颜色信息的情况下，在读取前两个像素P1和P2时，失真校正块24首先计算使用两个像素P1和P2就能够计算的输出图像100′的所有颜色信息。这个示例中，失真校正块24混合两个像素P1和P2的颜色信息来创建图23(a)中示出的输出图像100′的像素P1′、P2′和P3′的颜色信息。这种情况中，在失真校正表中，输入图像100的像素P1和P2对应于输出图像100′的像素P1′到P3′，并且对每一个像素P1′到P3′的颜色信息进行处理，以致于成为包括根据其移动量按比例混合的像素P2和P3的颜色信息的颜色信息。为了独立地产生像素P1′到P3′所混合的像素P1和P2的颜色信息的比例彼此是不相同的。

接着，当将像素P1和P2之后的像素P3输入给失真校正块24时，失真校正块24计算输出图像100′所有的使用两个像素P2和P3能够计算的颜色信息。这个示例中，失真校正块24参考失真校正表执行处理，以致于输入图像100的像素P2和P3对应于输出图像100′的像素P4′到P5′，并且像素P4′到P5′中的每一个的颜色信息变成包括根据其移动量按比例混合的像素P2和P3的颜色信息的颜色信息。

在以逐个像素顺序地移动这样的方式移动输入图像100在x方向上的前两个像素到最后两个两个像素时，通过计算从输入图像100的每两个像素就能够计算的输出图像100′的所有像素的颜色信息，能计算输出图像100′的所有像素的颜色信息。因此，失真校正块24仅需要一直存储输入图像100在x方向上的至少两个像素，并伴随读取像素的时间延迟而执行颜色信息插值失真校正处理。因此，能够最小化失真校正块24等待数据的时间并减少了失真校正块24中的处理延迟。

如24(a)和24(b)所示，在从第一行(扫描行)的第一个像素开始按照P1、P3...的次序接收然后从第二行的第一个像素开始按照P2、P4...的次序接收输入图像100的像素，并混合输入图像100在y方向上毗邻的两个像素的颜色信息来创建输出图像100′的每一个像素的颜色信息的情况下，失真校正块24首先计算使用两个像素P1和P2能够对其进行计算的输出图像100′的所有颜色信息。失真校正块24存储第一行的像素直到接收像素P2。这个示例中，失真校正块24混合两个像素P1和P2的颜色信息来创建图24(a)所示的输出图像100′的像素P1′和P2′的颜色信息。这种情况下，失真校正表描述了输入图像100的像素P1和P2对应于输出图像100′的像素P1′和P2′，并且每一个像素的颜色信息变成了像素P1和P2颜色信息根据其移动量按比例的混合。用于产生像素P1′和P2′像素P1和P2的颜色信息的比例彼此是不同的。

接着，如图24(b)所示，当像素P2后的像素P4被输入进失真校正块24时，失真校正块24计算使用像素P3和P4就可以对其进行计算的输出图像100′的所有颜色信息。这个示例中，失真校正块24参考失真校正块表执行处理，以致于输入图像100的像素P3和P4对应于输出图像100′的像素P3′，像素P3′的颜色信息根据其移动量变成了像素P3和P4的颜色信息按比例的混合。

在失真校正块24这样的方式接收输入图像100中在y方向上毗邻的两个像素之后，通过首先执行颜色信息插值失真校正处理来获得输出图像100′的所有像素的颜色信息。失真校正块24仅需要一直存储在x方向上的至少一行像素和在计算存储器15中的输入图像像素。伴随着对于x方向上的一行像素的时间延迟，失真校正块24执行颜色信息插值失真校正处理，并能够缩短等待数据的时间，这样减少了失真校正块24中的处理延迟。

如图25(a)和25(b)的输入图像所示，在从第一行的第一个像素开始按照P1、P2...的次序接收然后从第二行的第一个像素开始P3、P4...的次序接收输入图像100的像素并混合在x和y方向上毗邻的输入图像100的4个像素的颜色信息来创建输出图像100′的每一个像素的颜色信息的情况下，在读取第一行的前几个像素P1、P2和第二行的前几个像素P3、P4的情况下，失真校正块24计算使用两个像素P1和P4能够对其进行计算的输出图像100′的所有颜色信息。这个示例中，失真校正块24混合两个像素P1到P4的颜色信息来创建图25(a)中示出的输出图像100′的像素P1′颜色信息。这种情况下，失真校正表描述了输入图像100的像素P1到P4对应于输出图像100′的像素P1′，并且颜色信息根据其移动量变成了像素P1到P4颜色信息按比例的混合。

接着，如图25(b)所示，当像素P4后的像素P6被输入进失真校正块24时，失真校正块24使用当第一行被输入时存储的像素P2和P5和像素P4和P6计算输出图像100′的所有颜色信息。这个示例中，失真校正块24参考失真校正块表执行处理，以致于输入图像100的像素P2、P5、P4和P6对应于输出图像100′的像素P2′到P4′，并且像素P2′到P4′中的每一个的颜色信息根据其移动量变成像素P2、P5、P4和P6的颜色信息按比例的混合。

在失真校正块24以这样的方式接收输入图像100中x和y方向上毗邻的4个像素之后，通过首先执行颜色信息插值失真校正处理来获得输出图像100的所有像素的颜色信息。失真校正块24仅需要一直存储在x方向上的至少一行像素和在计算存储器15中的输入图像100的两个像素。甚至当在x和y方向上都有移动时，失真校正块24伴随着对于x方向上的一行像素的时间延迟而执行颜色信息插值失真校正处理，并能够缩短等待数据的时间，这样减少了失真校正块24中的处理延迟。

接下来描述当以输出图像100′的输出次序描述用于上述颜色信息插值失真校正处理的失真校正表时虚拟现实创建系统的操作。

在颜色信息插值失真校正处理之后的输出图像100′从失真校正块24输出到输出图像处理块25。通常地，以像素为基础沿着输入图像100的扫描线，从失真校正块24连续地给输出图像处理块25输出数据。在未丢失像素的情况下，考虑以像素为基础沿着扫描线输出通常的输出图像100′，如果以输出侧的像素次序表示失真校正，则在失真校正处理中的输出图像的像素坐标是显而易见的，这样可以制作这样的对应关系映射，它仅描述从失真校正表上端开始的输入侧的图像坐标。这能够减小失真校正表的尺寸来节约转换表读取/存储块27的存储区。此外，这个失真校正表也描述了用于颜色信息插值失真校正处理的移动量。失真校正表包括对由参数调节个人计算机5创建的移动量的描述。

在转换表读取/存储块27中存储这样的失真校正表并且如图26(a)所示通过混合输入图像100的在x方向上毗邻的两个像素的颜色信息来创建输出图像100′的每一个像素颜色信息的情况下，首先在从输入图像100的顶端读取在失真校正表的顶端描述的输入图像在x方向上毗邻的两个像素P1和P2时，失真校正块24使用在x方向上毗邻的两个像素P1和P2创建输出图像100′的第一像素P1′的颜色信息并且给输出图像处理块25输出像素P1′的数据。接着，如同26(b)所示，为了产生在像素P1′之后的输出图像100′的像素P2′，在参考失真校正表读取输入图像100的在x方向上毗邻的两个像素P3和P4的情况下，失真校正块24使用输入图像100的在x方向上毗邻的两个像素P3和P4创建输出图像100′的像素P2′的颜色信息并且给输出图像处理块25输出像素P2′的数据。

如图27(a)所示，通过混合输入图像100的在y方向上毗邻的两个像素的颜色信息来创建输出图像100′的每一个像素颜色信息的情况下，首先在从输入图像100的顶端读取输入图像100的在y方向上毗邻的并在失真校正表的顶端描述的两个像素P1和P2时，失真校正块24使用在y方向上毗邻的两个像素P1和P2创建输出图像100′的第一像素P1′的颜色信息并且给输出图像处理块25输出像素P1′的数据。接着，如图27(b)所示，为了产生像素P1′后的输出图像100′的像素P2′，在参考失真校正表读取输入图像100的在y方向上毗邻的两个像素P3和P4时，失真校正块24使用输入图像100的在y方向上毗邻的两个像素P3和P4创建输出图像100′的像素P2′的颜色信息并且给输出图像处理块25输出像素P2′的数据。

此外，如图28(a)所示，在通过混合输入图像100的在x和y方向上毗邻的4个像素的颜色信息来创建输出图像100′的每一个像素的颜色信息的情况下，首先在从输入图像100的顶端读取输入图像100的在x和y方向上毗邻并在失真校正表的顶端描述的4个像素P1到P4时，失真校正块24使用在x和y方向上毗邻的4个像素P1到P4创建输出图像100′的的第一像素P1′的颜色信息并且给输出图像处理块25输出像素P1′的数据。接着，如同28(b)所示，为了产生像素P1′后的输出图像100′的像素P2′，在参考失真校正表读取输入图像100的在x和y方向上毗邻的4个像素P5到P8时，失真校正块24使用输入图像100的在x和y方向上毗邻的4个像素P5到P8创建输出图像100′的像素P2′的颜色信息并且给输出图像处理块25输出像素P2′的数据。

上述实施例仅仅是本发明的示例。因此，本发明不局限于上述实施例。很明显，根据本发明的其它实施例，在不背离根据本发明的技术思想的情况下，按照设计等能够做各种修改。

例如，在上述实施例中，在二轴正交坐标系统中使用方形像素，执行使用在x或y方向上毗邻的两个像素的颜色插值并且执行使用在x和y方向上毗邻的4个像素的颜色插值。然而，在包括三角形像素的三轴坐标系统中的图像信号的情况下，使用包括6个毗邻的三角形像素的六角形像素组来执行颜色插值。

工业实用性

本发明适用于这样的用途：在屏幕上投射图像来创建图像的真实性，以便给观看者提供实际的图像空间。

Claims (12)

1.一种图像信号处理装置，将输出图像信号输出给投影单元，以便在任意形状的投影平面上投射图像光，所述装置包括：

图像信号输入单元，接收二维图像信号以便在二维投影平面上投射图像光；

外部输入单元，外部地接收失真校正表作为二维投影平面和任意形状的投影平面的网状模型之间的对应关系映射，所述失真校正表用于对由图像信号输入单元接收的二维图像信号执行失真校正处理；

失真校正单元，参考由外部输入单元接收的失真校正表，对由图像信号输入单元接收的二维图像信号的每一个像素执行失真校正处理，产生输出图像信号以便在投影平面上投射图像光；以及

输出单元，向投影单元输出由失真校正单元产生的输出图像信号；

其中，失真校正单元按与从转换前的像素的代表性点到转换后的像素的代表性点的移动量相对应的比例，混合转换之前的多个像素的颜色信息，该转换是根据失真校正表来执行，以及

失真校正单元产生具有作为转换后每一个像素的像素颜色信息混合颜色信息的输出图像信号。

2.根据权利要求1所述的图像信号处理装置，其中，外部输入单元输入控制信号，来外部地控制投影单元的操作；以及

输出单元将由外部输入单元接收的控制信号与输出图像信号一起输出给投影单元。

3.根据权利要求1和2的任一项所述的图像信号处理装置，其中，

外部输入单元外部地接收用于对由图像信号输入单元接收的二维图像信号执行亮度校正处理的亮度校正表，

所述装置还包括：

亮度校正单元，参考由图像信号输入单元接收的亮度校正表，对由图像信号输入单元接收的二维信号的每一个像素执行亮度校正处理，产生输出图像信号以便在任意形状的投影平面上投射图像光。

4.根据权利要求1所述的图像信号处理装置，其中

图像信号输入单元被配置成同时接收多个二维图像信号，以及

输出单元被配置成同时输出多个输出图像信号，

所述图像信号处理装置还包括：

信号处理单元，在接收到由图像信号输入单元同时接收的多个二维图像信号时，执行对多个二维图像信号进行选择以通过输出单元输出输出图像信号的处理、或从输出单元输出通过合成多个二维图像信号而获得的输出图像信号的处理。

5.根据权利要求1所述的图像信号处理装置，还包括：

同步处理单元，针对多个二维图像信号对由信号处理单元进行的多个处理进行同步。

6.根据权利要求1所述的图像信号处理装置，还包括：

立体图像差异二维图像信号产生单元，使用由图像信号输入单元接收的多个二维图像信号产生差异图像信号，其中

失真校正单元针对由立体图像差异二维图像信号产生单元产生的差异二维图像执行失真校正处理来产生输出图像信号。

7.根据权利要求1所述的图像信号处理装置，其中，失真校正单元通过第一处理和第二处理产生输出图像信号，

第一处理是，根据转换后的像素的代表性点相对于转换前沿X轴方向毗邻的至少两个像素的代表性点的位置，混合转换前沿X轴方向毗邻的至少两个像素的颜色信息，以及

第二处理是，根据转换后的像素的代表性点相对于转换前沿Y轴方向毗邻的至少两个像素的代表性点的位置，混合转换前沿Y轴方向毗邻的至少两个像素的颜色信息。

8.根据权利要求1和7的任一项所述的图像信号处理装置，其中

失真校正单元使用多个基色作为颜色信息，并混合毗邻像素的每一个基色来产生输出图像信号。

9.根据权利要求1和7的任一项所述的图像信号处理装置，其中

失真校正单元使用每一个都包括亮度信息和色差信号的信号作为颜色信息，并混合毗邻像素的信号来产生输出图像信号。

10.根据权利要求1所述的图像信号处理装置，其中

失真校正表按照二维图像信号的输入像素的次序，描述二维投影平面和任意形状的投影平面的网状模型之间的对应关系，以及

在接收到在失真校正表中描述的每一个输入像素时，失真校正单元使用接收的像素执行失真校正处理。

11.根据权利要求1所述的图像信号处理装置，其中

失真校正表按照输出图像信号的输出像素的次序，描述二维投影平面和任意形状的投影平面的网状模型之间的对应关系，以及

在接收到在失真校正表中描述的每一个输入像素时，失真校正单元使用接收的像素执行失真校正处理，并按照失真校正表中描述的输出像素的次序产生输出图像信号。

12.一种虚拟现实创建系统，包括：

屏幕，包括具有面向观看者的凹表面的任意形状的投影平面，所述屏幕能够显示比观看者的有效视角宽的图像；

图像信号处理装置，执行用于针对二维图像信号在二维投影平面上投射图像光的失真校正，以在任意形状的投影平面上投射图像光，然后输出输出图像信号；

外部处理装置，创建失真校正表作为二维投影平面和任意形状投影平面网状模型之间的对应关系映射；以及

投影单元，基于从图像信号处理装置输出的输出图像信号在屏幕上投射图像，其中图像信号处理装置包括：

图像信号输入单元，接收二维图像信号；

外部输入单元，接收失真校正表作为二维投影平面和任意形状的投影平面的网状模型之间的对应关系映射，失真校正表用于执行针对由图像信号输入单元接收的二维图像信号的失真校正处理；

失真校正单元，参考由外部输入单元接收的失真校正表，针对由图像信号输入单元接收的二维图像信号的每一个像素执行失真校正处理，产生输出图像信号以便在任意形状的投影平面上投射图像光；以及

输出单元，向投影单元输出由失真校正单元产生的输出图像信号；

其中，失真校正单元按与从转换前的像素的代表性点到转换后的像素的代表性点的移动量相对应的比例，混合转换之前的多个像素的颜色信息，该转换是根据失真校正表来执行，以及

失真校正单元产生具有作为转换后每一个像素的像素颜色信息混合颜色信息的输出图像信号。

Images