CN102164299A - 图像处理装置、图像处理方法及程序 - Google Patents

Abstract

本发明涉及一种图像处理装置、图像处理方法、图像重现装置及程序。一种图像处理器包括：主图像统计信息生成器，其检测来自主图像数据的3D主图像的每个预定单元的视差并且生成视差统计信息；子图像统计信息生成器，其检测来自子图像数据的3D子图像的每个预定单元的视差并且生成视差统计信息；视差控制器，其使用统计信息计算用于校正主图像和子图像的视差中的至少一个的校正量，从而在深度方向上的主图像和子图像之间的位置距离在预定范围内；转换器，其转换主图像数据和子图像数据中的至少一个，从而按校正量对图像的视差中的至少一个进行校正；以及叠加单元，其将子图像数据叠加在主图像数据上。

Description

图像处理装置、图像处理方法及程序

相关申请的交叉引用

本申请是要求在2010年2月5日提交的美国临时申请No.61/301,682的优先权的正式申请，该临时申请的整体内容通过引用合并于此。

技术领域

本发明涉及一种图像处理装置、图像处理方法及程序，并且更具体地，涉及一种能够在组合并且显示多个3D图像时减少用户的眼疲劳的图像处理装置、图像处理方法和程序。

背景技术

通常，诸如影片的特定内容具有二维(2D)图像的形式。近来，三维(3D)图像已引起注意。

一种类型的用于重现3D内容的重现装置是显示诸如3D电影的主图像和作为子图像与该主图像组合的不同的3D图像的装置。该重现装置例如，执行画中画显示，其中3D主图像显示在父屏幕上而3D子图像显示在子屏幕中；OSD显示，其中表示3D子图像的OSD(屏幕显示)图像与3D主图像组合并且被显示；或者字幕显示，其中表示3D子图像的字幕图像与3D主图像组合。

此外，在一些情况中，滚动条与3D主图像组合并且被显示(参照例如，日本未经审查的专利申请公开No.10-327430)。

发明内容

如上文所述，当重现装置使3D子图像与3D主图像组合并且显示组合图像时，3D主图像在垂直于3D主图像的屏幕的深度方向上的位置可能被安置为距离子图像在深度方向上的位置过远或过近。因此，用户可能受到眼疲劳的困扰。

因此，本发明提供了一种在组合并且显示多个3D图像时减少用户的眼疲劳的图像处理装置、图像处理方法及程序。

根据本发明的实施例，一种图像处理装置包括：主图像统计信息生成部件，用于基于表示3D主图像的图像数据的主图像数据来检测3D主图像的每个预定单元的视差并且生成表示关于视差的统计信息的主图像统计信息；子图像统计信息生成部件，用于基于表示3D子图像的图像数据的子图像数据来检测3D子图像的每个预定单元的视差并且生成表示关于视差的统计信息的子图像统计信息；视差控制部件，用于基于主图像统计信息和子图像统计信息来计算用于校正主图像的视差和子图像的视差中的至少一个的校正量，从而在表示垂直于主图像和子图像的屏幕的方向的深度方向上的主图像的位置和子图像的位置之间的距离在预定范围内；图像转换部件，用于转换主图像数据和子图像数据中的至少一个，从而按校正量对主图像的视差和子图像的视差中的至少一个进行校正，并且输出图像数据；以及叠加部件，用于将从图像转换部件输出的子图像数据叠加在从图像转换部件输出的主图像数据上。

根据本发明的其他实施例，提供了一种图像处理方法和程序。该图像处理方法和程序对应于上述图像处理装置。

根据本发明的实施例，基于表示3D主图像的图像数据的主图像数据来检测3D主图像的每个预定单元的视差，并且生成表示关于视差的统计信息的主图像统计信息。基于表示3D子图像的图像数据的子图像数据来检测3D子图像的每个预定单元的视差，并且生成表示关于视差的统计信息的子图像统计信息。基于主图像统计信息和子图像统计信息来计算用于校正主图像的视差和子图像的视差中的至少一个的校正量，从而在表示垂直于主图像和子图像的屏幕的方向的深度方向上的主图像的位置和子图像的位置之间的距离在预定范围内。转换主图像数据和子图像数据中的至少一个，从而按校正量对主图像的视差和子图像的视差中的至少一个进行校正，并且输出图像数据，并且将子图像数据叠加在主图像数据上。

根据本发明的另一实施例，一种重现装置包括：读出部件，用于读出表示3D主图像的图像数据的主图像数据和表示3D子图像的图像数据的子图像数据；主图像统计信息生成部件，用于基于主图像数据来检测主图像的每个预定单元的视差并且生成表示关于视差的统计信息的主图像统计信息；子图像统计信息生成部件，用于基于子图像数据来检测子图像的每个预定单元的视差并且生成表示关于视差的统计信息的子图像统计信息；视差控制部件，用于基于主图像统计信息和子图像统计信息来计算用于校正主图像的视差和子图像的视差中的至少一个的校正量，从而在表示垂直于主图像和子图像的屏幕的方向的深度方向上的主图像的位置和子图像的位置之间的距离在预定范围内；图像转换部件，用于转换主图像数据和子图像数据中的至少一个，从而按校正量对主图像的视差和子图像的视差中的至少一个进行校正，并且输出图像数据；以及叠加部件，用于将从图像转换部件输出的子图像数据叠加在从图像转换部件输出的主图像数据上。

根据本发明的实施例，读出表示3D主图像的图像数据的主图像数据和表示3D子图像的图像数据的子图像数据。基于主图像数据来检测3D主图像的每个预定单元的视差，并且生成表示关于视差的统计信息的主图像统计信息。基于子图像数据来检测3D子图像的每个预定单元的视差，并且生成表示关于视差的统计信息的子图像统计信息。基于主图像统计信息和子图像统计信息来计算用于校正主图像的视差和子图像的视差中的至少一个的校正量，从而在表示垂直于主图像和子图像的屏幕的方向的深度方向上的主图像的位置和子图像的位置之间的距离在预定范围内。转换主图像数据和子图像数据中的至少一个，从而按校正量对主图像的视差和子图像的视差中的至少一个进行校正，并且输出图像数据。将子图像数据叠加在主图像数据上。

根据本发明的实施例的图像处理装置和重现装置可以是独立的装置或者可以是单个系统的内部模块。

根据本发明的实施例，当组合并且显示多个3D图像时，可以减少用户的眼疲劳。

附图说明

图1是根据本发明的实施例的图像处理装置的示例性配置的框图；

图2A至2C图示了主图像的视差图和视差直方图的示例；

图3A至3C图示了子图像的视差图和视差直方图的示例；

图4A和4B图示了具有显示尺寸的主图像的视差图的示例；

图5A和5B图示了具有图像尺寸的子图像和具有显示尺寸的子图像的视差直方图的示例；

图6是图示视差未被校正时的显示图像数据的视差直方图的示例的示图；

图7是图示视差被校正时的显示图像数据的视差直方图的示例的示图；

图8是图示视差被校正时的显示图像数据的视差直方图的其他示例的示图；

图9是由图1中示出的图像处理装置执行的叠加处理的流程图；

图10图示了根据实施例的计算机的示例性配置；以及

图11是根据本发明的实施例的重现装置的示例性配置的框图。

具体实施方式

图像处理装置的示例性配置

图1是根据本发明的实施例的图像处理装置的示例性配置的框图。

图1中示出的图像处理装置10包括视差检测单元11、视差分析单元12、图像转换单元13、视差检测单元14、视差分析单元15、图像转换单元16、视差控制单元17、图像叠加单元18和显示器19。

图像处理装置10接收例如，从诸如BD(蓝光(商标名称)盘)的记录介质读取的或者经由例如网络从外部装置接收到的主图像数据和子图像数据。如这里使用的，术语“主图像数据”指的是具有针对一个屏幕的预定尺寸的3D主图像的图像数据，而术语“子图像数据”指的是具有针对一个屏幕的预定尺寸的3D子图像的图像数据。图像处理装置10生成图像数据(在下文中被称为“显示图像数据”)以便于执行画中画显示，其中3D主图像显示在父屏幕中而3D子图像显示在子屏幕中。

更具体地，视差检测单元11(主图像统计信息生成部件)使用构成从外部输入的主图像数据的左眼用的主图像的图像数据和右眼用的主图像的图像数据，针对每个像素检测3D主图像的视差。随后，视差检测单元11生成视差图，其指示主图像的每个像素的视差。在例如日本未经审查的专利申请公开No.2006-114023中详细描述了用于生成视差图的方法。应当注意，可以根据包括多个像素的图块，而非根据单个像素来检测视差。视差检测单元11将该视差图提供给视差分析单元12。

视差分析单元12(主图像统计信息生成部件)使用从视差检测单元11提供的视差图，计算用作关于主图像的视差的统计信息的直方图。随后，视差分析单元12将该直方图提供给视差控制单元17。

使用从视差控制单元17提供的、并且包括对应于视差校正量的主图像的显示位置的移位量和主图像的显示位置的转换参数，图像转换单元13转换主图像数据，从而按校正量来校正对应于从外部输入的主图像数据的主图像的视差。更具体地，图像转换单元13使对应于左眼用的主图像数据的主图像的位置在水平方向的一个上沿屏幕的水平方向(左-右方向)按移位量来移位。此外，图像转换单元13使右眼用的主图像的位置在水平方向的另一方向上沿屏幕的水平方向按移位量移位。这样，校正了主图像的视差。

此外，图像转换单元13使用从视差控制单元17提供的转换参数中包括的主图像的显示尺寸，将具有经校正的视差的主图像数据的图像尺寸转换为显示尺寸。随后，图像转换单元13将得到的主图像数据和显示位置提供给图像叠加单元18。

如同视差检测单元11，视差检测单元14(子图像统计信息生成部件)使用构成从外部输入的子图像数据的左眼用的子图像的图像数据和右眼用的子图像的图像数据，针对每个像素检测3D子图像的视差。随后，视差检测单元14生成关于子图像的视差图。视差检测单元14将子图像的视差图提供给视差分析单元15。

如同视差分析单元12，视差分析单元15(子图像统计信息生成部件)使用从视差检测单元14提供的视差图，计算用作关于子图像的视差的统计信息的直方图。随后，视差分析单元15将该直方图提供给视差控制单元17。

如同图像转换单元13，使用从视差控制单元17提供的并且包括对应于视差校正量的子图像的显示位置的移位量和子图像的显示位置的转换参数，图像转换单元16转换子图像数据，从而按校正量来校正对应于从外部输入的子图像数据的子图像的视差。

此外，图像转换单元16使用从视差控制单元17提供的转换参数中包括的子图像的显示尺寸，将具有经校正的视差的子图像数据的图像尺寸转换为显示尺寸。随后，图像转换单元16将得到的子图像数据和显示位置提供给图像叠加单元18。

视差控制单元17与从外部输入的主图像数据一起接收主图像的显示位置、输入图像尺寸和显示尺寸。此外，视差控制单元17与从外部输入的子图像数据一起接收子图像的显示位置、输入图像尺寸和显示尺寸。应当注意，主图像的显示尺寸对应于父屏幕的尺寸，而子图像的显示尺寸对应于用于画中画显示的子屏幕的尺寸。

使用主图像的图像尺寸和显示尺寸，视差控制单元17将从视差分析单元12提供的主图像的视差直方图转换为具有显示尺寸的主图像的视差直方图。此外，使用子图像的图像尺寸和显示尺寸，视差控制单元17将从视差分析单元15提供的子图像的视差直方图转换为具有显示尺寸的子图像的视差直方图。随后，使用主图像的经转换的视差直方图和子图像的经转换的视差直方图，视差控制单元17计算用于校正主图像的视差和子图像的视差的校正量，从而在深度方向上的主图像的位置和子图像的位置之间的距离在预定范围内。更具体地，视差控制单元17计算用于校正主图像的视差和子图像的视差的校正量，从而主图像的经转换的视差直方图和子图像的经转换的视差直方图之间的距离在预定范围内。

应当注意，视差控制单元17可以使用针对每个屏幕的主图像的视差直方图和子图像的视差直方图来计算针对每个屏幕的校正量。可替选地，视差控制单元17可以使用针对每组屏幕的主图像的平均视差直方图和针对每组屏幕的子图像的平均视差直方图来计算针对每组屏幕的校正量。

视差控制单元17计算对应于主图像的视差的校正量的主图像的显示位置的移位量。随后，视差控制单元17向图像转换单元13提供转换参数，其包括移位量、主图像的显示尺寸和主图像的显示位置。此外，视差控制单元17计算对应于子图像的视差的校正量的子图像的显示位置的移位量。随后，视差控制单元17向图像转换单元16提供转换参数，其包括移位量、子图像的显示尺寸和子图像的显示位置。

图像叠加单元18使用从图像转换单元13和图像转换单元16接收到的显示位置，将从图像转换单元16接收到的子图像数据叠加在从图像转换单元13接收到的主图像数据上。随后，图像叠加单元18将得到的用作显示图像数据的图像数据输出到显示器19。

显示器19由3D显示器形成。使用从图像叠加单元18提供的显示图像数据，显示器19按时间复用的方式显示左眼用的和右眼用的屏幕。此时，用户佩带例如具有快门的眼镜，这种快门与左眼用的和右眼用的屏幕之间的切换同步。用户仅使用左眼观看左眼用的屏幕并且仅使用右眼观看右眼用的屏幕。这样，用户可以观看画中画显示，其中3D主图像显示在父屏幕中而3D子图像显示在子屏幕中。

主图像的视差图和视差直方图的示例

图2A至2C图示了对应于输入的主图像数据的主图像的视差图和视差直方图的示例。

在图2A的左手侧示出了对应于输入的主图像数据的左眼用的主图像，并且在图2B的右手侧示出了右眼用的主图像。

图2B中示出的视差图是基于图2A中示出的左眼用的主图像的图像数据和右眼用的主图像的图像数据而生成的。应当注意，在图2B中示出的视差图中，随着色密度增加，视差下降。就是说，随着点的色密度增加，点在深度方向上远离用户。此外，图2B中示出的视差图是基于左眼用的主图像的图像数据检测到的视差的视差图。然而，可以生成基于右眼用的主图像的图像数据检测到的视差的视差图。可替选地，可以基于左眼用的和右眼用的主图像的图像数据，生成两种类型的视差图。该生成方法还应用于下文说明的图3B和4B

此外，如图2C中所示，基于图2B中示出的视差图生成针对一个屏幕的主图像的视差直方图。在图2C中示出的直方图中，横坐标表示深度方向上的点，而纵坐标表示对应于该点的视差的程度。应当注意，这种表示法同样应用于下文说明的图3C、5A和5B以及图6至8。在图2C中示出的示例中，对应于视差平均值的深度方向上的点被安置在显示屏幕前面的略靠前侧的位置。

子图像的视差图和视差直方图的示例

图3A至3C图示了对应于输入的子图像数据的子图像的视差图和视差直方图的示例。

在图3A的左手侧示出了对应于输入的子图像数据的左眼用的子图像，并且在图3A的右手侧示出了右眼用的子图像。图3B中示出的视差图是基于图3A中示出的左眼用的子图像的图像数据和右眼用的子图像的图像数据而生成的。

此外，如图3C中所示，基于图3B中示出的视差图生成针对一个屏幕的子图像的视差直方图。在图3C中示出的示例中，对应于视差平均值的深度方向上的点被安置在比图2C中示出的位置更远离显示器表面的位置。

子图像的视差直方图的转换的描述

图4A和4B以及图5A和5B图示了子图像的视差直方图的转换。

这里，如图4A中所示，图2A的左手侧示出的左眼用的主图像被显示在具有与主图像数据的图像尺寸相同的尺寸的左眼用的父屏幕31中，并且图3A的左手侧示出的左眼用的子图像被显示在具有与子图像数据的图像尺寸不同的尺寸的左眼用的子屏幕32中。此外，图2A的右手侧示出的右眼用的主图像被显示在右眼用的父屏幕31中，并且图3A的右手侧示出的右眼用的子图像被显示在右眼用的子屏幕32中。

在该情况中，如图4B中所示，由于父屏幕31的尺寸与主图像数据的图像尺寸相同，因此具有显示尺寸的主图像的视差图与图2B中示出的视差图相同。因此，具有显示尺寸的主图像的视差直方图是图2C中示出的视差直方图。

相反，子屏幕32的尺寸不同于子图像数据的图像尺寸。因此，图5A中示出的子图像的视差直方图被转换为具有图4B中示出的子屏幕32的尺寸，即显示尺寸的子图像的视差直方图。更具体地，图5A中示出的直方图按水平方向上的显示尺寸与水平方向上的子图像的图像尺寸的比例而放大或缩小。因此，如图5B中所示，生成了具有显示尺寸的子图像的视差直方图。

例如，当水平方向上的显示尺寸与水平方向上的子图像的图像尺寸的比例是1/2时，通过在水平方向上使图5A中示出的直方图缩小一半，获得了具有显示尺寸的子图像的视差直方图。

应当注意，在图4A和4B以及图5A和5B的描述中，父屏幕31的尺寸与主图像的图像尺寸相同。因此，不转换主图像的视差直方图。然而，如果父屏幕31的尺寸不同于主图像的图像尺寸，则如同子图像的视差直方图那样，转换主图像的视差直方图。

校正量的描述

图6至8是图示校正量的示图。

图6图示了当图2A的左手侧示出的左眼用的主图像被显示在左眼用的父屏幕31中，图3A的左手侧示出的左眼用的子图像被显示在左眼用的子屏幕32中，图2A的右手侧示出的右眼用的主图像被显示在右眼用的父屏幕31中，并且图3A的右手侧示出的右眼用的子图像被显示在右眼用的子屏幕32中时获得的显示图像数据的视差直方图。

图6中示出的显示图像数据的视差直方图是通过组合图2B中示出的具有显示尺寸的主图像的视差直方图和图5B中示出的具有显示尺寸的子图像的视差直方图而获得的。

当显示图像数据的视差直方图是图6中示出的视差直方图时，主图像的视差直方图和子图像的视差直方图之间的距离是小的。就是说，深度方向上的父屏幕31中显示的主图像的位置和子屏幕32中显示的子图像的位置之间的距离是小的。结果。发生了用户的眼疲劳。此外，尽管没有示出，但是即使当在深度方向上的父屏幕31中显示的主图像的位置和子屏幕32中显示的子图像的位置之间的距离是大的时候，仍发生了眼疲劳。

因此，视差控制单元17计算用于主图像和子图像中的每一个的视差的校正量，从而具有显示尺寸的主图像的视差直方图和具有显示尺寸的子图像的视差直方图之间的距离在预定范围内。

更具体地，如图7中所示，视差控制单元17计算用于主图像和子图像中的每一个的视差的校正量，从而具有显示尺寸的主图像的视差平均值Am和具有显示尺寸的子图像的视差平均值As之间的距离在预定范围内。应当注意，在本文中，用于主图像和子图像中的每一个的视差的校正量被计算为使得平均值Am和平均值As之间的距离在预定范围内。然而，用于主图像和子图像中的每一个的视差的校正量可以被计算为使得主图像的视差的最大值和子图像的视差的最小值在预定范围内。

可替选地，如图8中所示，视差控制单元17可以计算用于主图像和子图像中的每一个的视差的校正量，从而其中具有显示尺寸的子图像的视差直方图与具有显示尺寸的主图像的视差直方图重叠的面积(参见图8中的打斜线的面积)与主图像的视差直方图的整个面积的比例在预定范围内(例如，10％或更高以及90％或更低)。可替选地，视差控制部件17可以计算用于主图像和子图像中的每一个的视差的校正量，从而如下两个视差之间的差在预定范围内：对应于具有显示尺寸的主图像的视差直方图中的、具有整个面积的预定百分比(例如，3％)并且在深度方向上从对应于前端的视差开始到预定视差结束的面积的后端的视差，以及具有显示尺寸的子图像的视差直方图中的、具有整个面积的预定百分比(例如，3％)并且在深度方向上从预定视差开始到对应于后端的视差结束的面积的前端的视差。此外，上文描述的用于计算视差的校正量的方法可以组合。可替选地，可以使用主图像中的主要物体的视差和子图像中的主要物体的视差来计算用于主图像和子图像中的每一个的视差的校正量。

此外，在图7和8中示出的示例中，仅移动具有显示尺寸的子图像的视差直方图。然而，可以仅移动具有显示尺寸的主图像的视差直方图。可替选地，可以移动具有显示尺寸的子图像的视差直方图和具有显示尺寸的主图像的视差直方图两者。

然而，所期望的是，用于主图像和子图像中的每一个的视差的校正量被计算为使得具有经校正的视差的主图像在深度方向上的显示位置和具有经校正的视差的子图像在深度方向上的显示位置位于用户可以舒适地观看3D图像的范围内。

此外，如果用于主图像和子图像中的每一个的视差的校正量被计算为使得子图像在深度方向上的显示位置位于主图像在深度方向上的显示位置的前侧(用户侧)，则用户可以观看画中画显示而没有任何不适的感觉。图像处理装置执行的处理的描述

图9是由图1中示出的图像处理装置10执行的示例性叠加处理的流程图。当例如，主图像数据和子图像数据被输入到图像处理装置10时，该叠加处理开始。

在步骤S11中，视差检测单元11使用构成从外部输入的主图像数据的左眼用的主图像的图像数据和右眼用的主图像的图像数据，针对每个像素检测3D主图像的视差。因此，视差检测单元11生成视差图。随后，视差检测单元11将该视差图提供给视差分析单元12。应当注意，作为检测3D主图像的整个区域的视差的替代，视差检测单元11可以仅检测3D主图像的其中叠加子图像的区域的视差。可替选地，视差检测单元11可以检测3D主图像的其中叠加子图像的区域的视差和该区域周围的区域的视差。在该情况中，较之检测3D主图像的整个区域的视差的情况，可以减少用于检测视差的计算量。

在步骤S12中，视差检测单元14使用构成从外部输入的子图像数据的左眼用的子图像的图像数据和右眼用的子图像的图像数据，针对每个像素检测3D子图像的视差。因此，视差检测单元14生成视差图。随后，视差检测单元14将该视差图提供给视差分析单元15。

在步骤S13中，视差分析单元12使用从视差检测单元11提供的视差图，生成关于主图像的视差的直方图。随后，视差分析单元12将该直方图提供给视差控制单元17。应当注意，当视差检测单元11仅检测主图像的其中叠加子图像的区域的视差或者主图像的其中叠加子图像的区域和该区域的周围区域的视差时，视差分析单元12生成主图像的被检测视差的部分区域的视差直方图并且将该直方图提供给视差控制单元17。

在步骤S14中，视差分析单元15使用从视差检测单元14提供的视差图，生成关于子图像的视差的直方图，并且将所生成的直方图提供给视差控制单元17。

在步骤S15中，与从外部输入的主图像数据一起使用主图像的图像尺寸和显示尺寸，视差控制单元17将从视差分析单元12提供的主图像的视差直方图转换为具有显示尺寸的主图像的视差直方图。

在步骤S16中，与从外部输入的子图像数据一起使用子图像的图像尺寸和显示尺寸，视差控制单元17将从视差分析单元15提供的子图像的视差直方图转换为具有显示尺寸的子图像的视差直方图。

在步骤S17中，使用具有显示尺寸的主图像的视差直方图和具有显示尺寸的子图像的视差直方图，视差控制单元17计算用于校正主图像的视差和子图像的视差的校正量，从而具有显示尺寸的子图像的视差直方图和具有显示尺寸的主图像的视差直方图之间的距离在预定范围内。

在步骤S18中，视差控制单元17基于步骤S17中计算的主图像的视差的校正量，计算主图像的显示位置的移位量。随后，视差控制单元17向图像转换单元13提供转换参数，其包括移位量、主图像的显示尺寸和主图像的显示位置。

在步骤S19中，视差控制单元17使用步骤S17中计算的子图像的视差的校正量，计算子图像的显示位置的移位量。随后，视差控制单元17向图像转换单元16提供转换参数，其包括移位量、子图像的显示尺寸和子图像的显示位置。

在步骤S20中，使用从视差控制单元17提供的转换参数中包括的对应于视差校正量的主图像的显示位置的移位量和主图像的显示位置，图像转换单元13转换主图像数据，从而按校正量来校正对应于从外部输入的主图像数据的主图像的视差。

在步骤S21中，图像转换单元13使用从视差控制单元17提供的转换参数中包括的主图像的显示尺寸，将在步骤S20中转换的主图像数据的图像尺寸转换为显示尺寸。随后，图像转换单元13将得到的主图像数据和显示位置提供给图像叠加单元18。

在步骤S22中，使用从视差控制单元17提供的转换参数中包括的对应于视差校正量的子图像的显示位置的移位量和子图像的显示位置，图像转换单元16转换子图像数据，从而按校正量来校正对应于从外部输入的子图像数据的子图像的视差。

在步骤S23中，图像转换单元16使用从视差控制单元17提供的转换参数中包括的子图像的显示尺寸，将在步骤S22中转换的子图像数据的图像尺寸转换为显示尺寸。随后，图像转换单元16将得到的子图像数据和显示位置提供给图像叠加单元18。

在步骤S24中，图像叠加单元18使用从图像转换单元13和图像转换单元16接收到的显示位置，将从图像转换单元16接收到的子图像数据叠加在从图像转换单元13接收到的主图像数据上。随后，图像叠加单元18将得到的用作显示图像数据的图像数据输出到显示器19。因此，该处理完成。

如上文所述，图像处理装置10计算用于校正主图像的视差和子图像的视差中的至少一个的校正量，从而主图像的视差直方图和子图像的视差直方图之间的距离在预定范围内。随后，图像处理装置10转换主图像数据和子图像数据中的至少一个，从而对主图像的视差和子图像的视差中的至少一个进行校正。因此，主图像在深度方向上的位置不会距离子图像在深度方向上的位置过远或过近。因此，可以减少用户的眼疲劳。

尽管参照计算视差图的图像处理装置10进行了描述，但是视差图可以与主图像数据和子图像数据一起从外部输入。

此外，构成子图像数据的左眼用的子图像的图像数据和右眼用的子图像的图像数据可以是通过使2D子图像数据的显示位置在相反的水平方向上按预定偏移量移位而获得的图像数据，或者可以是从不同的视点获得的两个子图像的图像数据。

根据实施例的计算机的描述

上述系列处理不仅可以由硬件执行而且还可以由软件执行。当上述系列处理由软件执行时，软件程序被安装在例如，通用计算机中。

图10图示了根据实施例的其中安装有执行上述系列处理的程序的计算机的示例性配置。

该程序可以被预先记录在作为并入到计算机中的记录介质的存储单元208和ROM(只读存储器)202中。

可替选地，程序可以被存储(记录)在可拆卸介质211中。可拆卸介质211可以被提供为具有所谓的套装软件的形式。可拆卸介质211的示例包括软盘、CD-ROM(光盘-只读存储器)、MO(磁光)盘、DVD(数字多用途光盘)、磁盘和半导体存储器。

应当注意，程序可以从可拆卸介质211经由驱动器210安装在计算机中。此外，程序可以经由通信网络或广播网络下载到计算机中并且可以安装在并入到计算机中的存储单元208中。就是说，程序可以经由用于数字卫星广播的人造卫星从例如下载站点无线地传输到计算机中。可替选地，程序可以通过使用诸如LAN(局域网)或互联网的网络的有线通信从下载站点传输到计算机中。

计算机并入了中央处理单元(CPU)201。输入/输出接口205经由总线204连接到CPU 201。

在经由输入/输出接口205接收到来自操作输入单元206的用户的命令时，CPU 201执行ROM 202中存储的程序。可替选地，CPU 201将存储单元208中存储的程序加载到随机存取存储器(RAM)203中并且执行该程序。

这样，CPU 201执行根据上述流程图的处理或者将由上述框图中图示的配置执行的处理。随后，CPU 201使用例如输出单元207经由输入/输出接口205输出处理结果或者在必要时使用通信单元209传送结果。此外，CPU 201将结果记录在存储单元208中。

应当注意，输入单元206包括键盘、鼠标和麦克风。此外，输出单元207包括液晶显示器(LCD)和扬声器。

在本说明书中，将由计算机执行的处理不一定根据流程图中描述的时间顺序执行。就是说，计算机根据程序执行的处理包括与另一处理并行执行的处理或者独立执行的处理(例如，并行处理或者使用对象的处理)。

此外，程序可以由单个计算机(单个处理器)执行或按分布式处理的方式由多个计算机执行。可替选地，程序可以被传输到远程计算机并且可以由远程计算机执行。

应当注意，本发明不限于执行其中主图像显示在父屏幕中而子图像显示在子屏幕中的画中画显示的图像处理装置。本发明可应用于组合多个3D图像并且显示组合的3D图像的任何图像处理装置。例如，本发明可应用于通过组合3D子图像和3D主图像来生成OSD图像并且显示该OSD图像的图像处理装置，组合用作字幕图像的3D子图像和3D主图像并且显示组合图像的图像显示装置，或者通过组合多个子图像和主图像来执行画中画显示、OSD显示或者字幕显示的图像处理装置。

此外，本发明可应用于具有从记录介质读取主图像数据和子图像数据的功能的重现装置。在该情况中，例如，如图11中所示，重现装置300包括安置在图像处理装置10中的部件和读取记录介质301中存储的主图像数据和子图像数据的读取单元302。

此外，尽管参照其中将单个子图像叠加在主图像上的情况进行了描述，但是可以叠加多个子图像。在该情况中，重复执行上述叠加处理。

本发明的实施例不限于上述实施例，在不偏离本发明的精神的情况下，可以进行各种修改。

Claims (10)

1.一种图像处理装置，包括：

主图像统计信息生成部件，用于基于表示三维主图像的图像数据的主图像数据来检测所述主图像的每个预定单元的视差并且生成表示关于视差的统计信息的主图像统计信息；

子图像统计信息生成部件，用于基于表示三维子图像的图像数据的子图像数据来检测所述子图像的每个预定单元的视差并且生成表示关于视差的统计信息的子图像统计信息；

视差控制部件，用于基于所述主图像统计信息和所述子图像统计信息来计算用于校正所述主图像的视差和所述子图像的视差中的至少一个的校正量，从而在表示垂直于所述主图像和所述子图像的屏幕的方向的深度方向上的所述主图像的位置和所述子图像的位置之间的距离在预定范围内；

图像转换部件，用于转换所述主图像数据和所述子图像数据中的至少一个，从而按所述校正量对所述主图像的视差和所述子图像的视差中的至少一个进行校正，并且输出所述图像数据；以及

叠加部件，用于将从所述图像转换部件输出的所述子图像数据叠加在从所述图像转换部件输出的所述主图像数据上。

2.根据权利要求1所述的图像处理装置，其中，所述视差控制部件计算所述校正量，从而所述主图像的视差的平均值和所述子图像的视差的平均值之间的差在预定范围内。

3.根据权利要求1所述的图像处理装置，其中，所述统计信息具有直方图的形式，以及其中，所述视差控制部件计算所述校正量，从而所述主统计信息的直方图的与所述子图像统计信息重叠的面积与所述主统计信息的直方图的整个面积的比例在预定范围内。

4.根据权利要求1所述的图像处理装置，其中，所述视差控制部件计算所述校正量，从而所述深度方向上的所述主图像的位置和所述子图像的位置之间的距离在预定范围内，并且所述子图像在所述深度方向上的位置被定位为比所述主图像在所述深度方向上的位置更接近用户。

5.根据权利要求1所述的图像处理装置，其中，当所述主图像数据的图像尺寸不同于所述主图像数据的显示尺寸时，所述视差控制部件进一步基于所述主图像数据的图像尺寸和所述主图像数据的显示尺寸将所述主图像统计信息转换为针对所述主图像数据的显示尺寸的主图像统计信息，以及其中，当所述子图像数据的图像尺寸不同于所述子图像数据的显示尺寸时，所述视差控制部件进一步基于所述子图像数据的图像尺寸和所述子图像数据的显示尺寸将所述子图像统计信息转换为针对所述子图像数据的显示尺寸的子图像统计信息，以及其中，所述视差控制部件基于转换之后的所述主图像统计信息和所述子图像统计信息来计算所述校正量。

6.一种在图像处理装置中使用的图像处理方法，包括步骤：

基于表示三维主图像的图像数据的主图像数据来检测所述主图像的每个预定单元的视差，并且生成表示关于视差的统计信息的主图像统计信息；

基于表示三维子图像的图像数据的子图像数据来检测所述子图像的每个预定单元的视差，并且生成表示关于视差的统计信息的子图像统计信息；

基于所述主图像统计信息和所述子图像统计信息来计算用于校正所述主图像的视差和所述子图像的视差中的至少一个的校正量，从而在表示垂直于所述主图像和所述子图像的屏幕的方向的深度方向上的所述主图像的位置和所述子图像的位置之间的距离在预定范围内；

转换所述主图像数据和所述子图像数据中的至少一个，从而按所述校正量对所述主图像的视差和所述子图像的视差中的至少一个进行校正，并且输出所述图像数据；以及

将输出的子图像数据叠加在输出的主图像数据上。

7.一种程序，包括：

程序代码，用于使计算机执行包括如下步骤的处理：基于表示三维主图像的图像数据的主图像数据来检测所述主图像的每个预定单元的视差，并且生成表示关于视差的统计信息的主图像统计信息；基于表示三维子图像的图像数据的子图像数据来检测所述子图像的每个预定单元的视差，并且生成表示关于视差的统计信息的子图像统计信息；基于所述主图像统计信息和所述子图像统计信息来计算用于校正所述主图像的视差和所述子图像的视差中的至少一个的校正量，从而在表示垂直于所述主图像和所述子图像的屏幕的方向的深度方向上的所述主图像的位置和所述子图像的位置之间的距离在预定范围内；转换所述主图像数据和所述子图像数据中的至少一个，从而按所述校正量对所述主图像的视差和所述子图像的视差中的至少一个进行校正，并且输出所述图像数据；以及将输出的子图像数据叠加在输出的主图像数据上。

8.一种重现装置，包括：

读出部件，用于读出表示三维主图像的图像数据的主图像数据和表示三维子图像的图像数据的子图像数据；

主图像统计信息生成部件，用于基于所述主图像数据来检测所述主图像的每个预定单元的视差并且生成表示关于视差的统计信息的主图像统计信息；

子图像统计信息生成部件，用于基于所述子图像数据来检测所述子图像的每个预定单元的视差并且生成表示关于视差的统计信息的子图像统计信息；

视差控制部件，用于基于所述主图像统计信息和所述子图像统计信息来计算用于校正所述主图像的视差和所述子图像的视差中的至少一个的校正量，从而在表示垂直于所述主图像和所述子图像的屏幕的方向的深度方向上的所述主图像的位置和所述子图像的位置之间的距离在预定范围内；

图像转换部件，用于转换所述主图像数据和所述子图像数据中的至少一个，从而按所述校正量对所述主图像的视差和所述子图像的视差中的至少一个进行校正，并且输出所述图像数据；以及

叠加部件，用于将从所述图像转换部件输出的所述子图像数据叠加在从所述图像转换部件输出的所述主图像数据上。

9.一种图像处理装置，包括：

主图像统计信息生成单元，被配置为基于表示三维主图像的图像数据的主图像数据来检测所述主图像的每个预定单元的视差并且生成表示关于视差的统计信息的主图像统计信息；

子图像统计信息生成单元，被配置为基于表示三维子图像的图像数据的子图像数据来检测所述子图像的每个预定单元的视差并且生成表示关于视差的统计信息的子图像统计信息；

视差控制单元，被配置为基于所述主图像统计信息和所述子图像统计信息来计算用于校正所述主图像的视差和所述子图像的视差中的至少一个的校正量，从而在表示垂直于所述主图像和所述子图像的屏幕的方向的深度方向上的所述主图像的位置和所述子图像的位置之间的距离在预定范围内；

图像转换单元，被配置为转换所述主图像数据和所述子图像数据中的至少一个，从而按所述校正量对所述主图像的视差和所述子图像的视差中的至少一个进行校正，并且输出所述图像数据；以及

叠加单元，被配置为将从所述图像转换单元输出的所述子图像数据叠加在从所述图像转换单元输出的所述主图像数据上。

10.一种重现装置，包括：

读出单元，用于读出表示三维主图像的图像数据的主图像数据和表示三维子图像的图像数据的子图像数据；

主图像统计信息生成单元，被配置为基于所述主图像数据来检测所述主图像的每个预定单元的视差并且生成表示关于视差的统计信息的主图像统计信息；

子图像统计信息生成单元，被配置为基于所述子图像数据来检测所述子图像的每个预定单元的视差并且生成表示关于视差的统计信息的子图像统计信息；

视差控制单元，被配置为基于所述主图像统计信息和所述子图像统计信息来计算用于校正所述主图像的视差和所述子图像的视差中的至少一个的校正量，从而在表示垂直于所述主图像和所述子图像的屏幕的方向的深度方向上的所述主图像的位置和所述子图像的位置之间的距离在预定范围内；

图像转换单元，被配置为转换所述主图像数据和所述子图像数据中的至少一个，从而按所述校正量对所述主图像的视差和所述子图像的视差中的至少一个进行校正，并且输出所述图像数据；以及

叠加单元，被配置为将从所述图像转换单元输出的所述子图像数据叠加在从所述图像转换单元输出的所述主图像数据上。

Images