CN102668576B - 立体图像显示装置及方法 - Google Patents

Abstract

根据实施方式，提供一种显示多视点图像的立体图像显示装置。在该装置中，人物信息取得部，取得包含欣赏立体影像的各人物的位置的人物信息。加权计算部，根据上述人物信息和显示参数，对各人物计算表示显示依据上述显示参数的多视点图像时推定的立体视的良好程度的权重；图像决定部，选择由上述加权计算部计算出的各人物的权重的总和为最大的上述显示参数，输出依据所选择的显示参数的多视点图像；图像显示部，显示从上述图像决定部输出的多视点图像。

Description

立体图像显示装置及方法

技术领域

本发明的实施方式涉及立体图像显示装置及方法。

背景技术

不使用专用眼镜的立体图像显示装置因为能够立体视的范围(以下称为“视域”)受到限定，所以根据视听者和立体图像显示装置的相对位置关系，存在良好的立体视困难的情况。进而，即使视听者最初容纳视域内，也存在因视听者的移动而离开视域的情况。因此，优选与视听者的位置相应地改变立体图像显示的状态，以能够立体视。

[专利文献1]日本特开平8-328170号公报

另外，优先改变立体图像显示的状态，以能够在多个视听者正在进行视听等的条件下也能够与此相应地进行立体视。

发明内容

根据实施方式，提供显示多视点图像的立体图像显示装置。在该装置中，人物信息取得部取得包含欣赏立体影像的各人物的位置的人物信息。加权计算部根据上述人物信息和显示参数，关于各人物计算在显示按照上述显示参数的多视点图像时推定的表示立体视的良好程度的权重。图像决定部选择通过上述加权计算部计算出的各人物的权重的总和为最大的上述显示参数，输出依据所选择出的显示参数的多视点图像。图像显示部显示从上述图像决定部输出的多视点图像。

附图说明

图1是一实施方式的立体图像显示装置的方框图。

图2是概略地表示图像显示部的结构的一例的立体图。

图3是表示加权计算部以及图像决定部的概略构成的方框图。

图4是表示人物信息取得部的构成的方框图。

图5是表示加权计算部的构成的方框图。

图6是用于说明根据能够立体视的区域面积计算权重的图。

图7是用于说明根据光线密度计算权重的图。

图8是表示通过加权计算部计算出的权重的映射例子的图。

图9是表示图像决定部的构成的方框图。

图10是用于说明对视域进行控制的显示参数的图。

图11是用于说明对视域进行控制的显示参数的图。

图12是用于说明相邻的视域的图。

图13是用于说明基于像素的排列(像素间距)进行的控制的图。

图14是用于说明基于图像显示部的移动、旋转或者变形进行的视域控制的图。

图15是用于说明视差数量不同的情况的光线密度的图。

具体实施方式

如图1所示，本实施方式的立体图像显示装置10具备：人物信息取得部101、加权计算部102、图像决定部103以及图像显示部104，能够与视听者的位置相应地改变立体图像显示的状态，例如，多个视听者能够同时欣赏良好的立体影像。人物信息取得部101检测欣赏立体图像显示装置10显示的立体影像的视听者(以下称为“人物”)的位置。在本实施方式中，还对应于作为对象的视听者为多个的情况，检测各人物的位置。人物信息取得部101输出表示所检测到的各人物的位置的人物信息。例如，可以通过照相机等检测部检测人物的位置，并根据该结果求视听者i和立体图像显示装置10的相对位置坐标(以下称为位置坐标(Xi，Yi))。加权计算部102根据包含由人物信息取得部101取得的各人物的位置的人物信息，关于各人物求出表示立体视的良好程度的权重。图像决定部103选择由加权计算部102计算出的各人物的权重的总和为最大的显示参数，输出依据所选择的显示参数的多视点图像。图像显示部104显示从图像决定部103输出的多视点图像。

图像显示部104是显示由图像决定部103生成的多视点图像的设备。图2是概略地表示图像显示部104的结构一例的立体图。在此，以视点数n＝18进行说明。如图2所示，图像显示部104具备显示元件阵列114、配置在显示元件阵列114前表面的开口控制部115。作为显示元件阵列114例如能够使用LCD(Liquid Crystal Display：液晶显示器)。

开口控制部115是限制透过的光线使光线朝向规定方向射出的光线控制元件。如图2所示，作为开口控制部115也可以使用双凸透镜(lenticular)片。双凸透镜片是控制入射光线以及射出光线使光线朝向规定方向的透镜段(segment)的阵列板。作为开口控制部115还能够使用适宜地设置了光透过区域的狭缝等阵列板。这些光透过区域以及透镜段具有仅选择地射出从显示元件阵列114朝向其前方发射的光线中的朝向特定方向的光线的功能。以下统一将透镜段以及光透过区域称为“光学开口部”。

作为开口控制部115例如使用在显示元件阵列114的画面的垂直方向具有母线的作为透镜的阵列板的双凸透镜片。透镜段的各光学开口部116、116、...与像素对应地配置。开口控制部115不限于上述双凸透镜片和集成了光透过区域的阵列板，还能够利用LCD作为能够改变光透过区域的位置以及形状的光快门。

在此，在一般的FPD中，1个像素由RGB各色的子像素构成。设1个显示像素对应于1个子像素。在图2的例子中，在显示像素阵列114中将纵横比为3∶1的显示像素(子像素140、141、...)排列成矩阵形状，以使像素为正方形。各子像素分别担当R(红)、G(绿)、B(蓝)的某一个。对于行方向，将在行方向上排列视差的数量的各子像素的像素群中显示的图像、即在与射出光瞳(光学开口部116)对应的子像素单位中显示的视差图像的集合称为要素图像。另外，子像素并不限于R、G、B。

对于列方向，在图2的例子中，通过在列方向上排列的6个子像素的组构成要素图像。即，在通过行方向上18像素、列方向上6像素表示1个要素图像141(在图2内附加框表示)。在图2中，在水平方向上能够进行提供18视差的立体显示，另外通过将列方向设为6像素，要素图像即立体显示用的像素变成正方形。而且，1个有效像素内的水平方向的像素的位置和开口控制部115对应，和射出的光线的角度有相关关系。将表示光线方向的地址称为视差地址。视差地址与1实效像素内的水平方向的像素位置对应。视差地址朝向画面的右方向增大。

开口控制部115中的光学开口部116、116...与要素图像的位置对应设置。在图2的例子中，使光学开口部116的宽度(透镜间距)Ps和1要素图像的宽度一致。

图3表示加权计算部102以及图像决定部103的概略构成。加权计算部102具备计算部300，该计算部300输入包含由人物信息取得部101取得的各人物的位置的人物信息200以及决定图像的参数群201，关于各人物计算表示立体视的良好程度的权重，输出各人物的权重以及对应的显示参数203。

如果将立体视的良好程度设为权重W，则该权重W是根据人物信息200而关于与显示在立体图像显示装置10中的多视点图像(即，显示的像素的排列的组合)、立体图像显示装置10的硬件设计有关的显示参数群201的显示参数的每一个而计算出的值，其值越大立体视的效果越好。权重W至少反映各人物的位置，但如何改变是任意的。例如，可以改变权重W使得视听者与可以选择的几个视听模式对应。另外，在后通过显示参数对显示的像素的排列组合等能够控制的对象进行详细说明。

在本实施方式中，计算与能够立体视的显示区域的面积、光线密度、预先指定的位置相应的权重(称为“位置权重”)。因此，需要能够通过某种手段取得各人物的位置信息。另外，在本实施方式中，除了位置权重外，还计算与各人物的属性相应的权重(称为“属性权重”)。权重W是通过合成这些位置权重的值和属性权重的值而计算的。

图像决定部103具备：参数选择部301，输入各人物的权重以及对应的显示参数203，选择由加权计算部102计算出的各人物的权重的总和为最大的显示参数；以及图像输出部302，输出依据由该参数选择部301选择出的显示参数的多视点图像。

以下，说明本实施方式的立体图像显示装置10的更具体的构成例子。

图4表示人物信息取得部101的构成。人物信息取得部101具备：检测部303，输入照相机图像等204并检测各人物的位置，输出表示各人物的位置以及属性的人物信息200；跟踪部304，根据来自该检测部303的输出跟踪在规定时间同一人物的位置变化、即各人物的移动。

在位置检测中使用的图像并不限于来自照相机的图像，例如也可以使用从雷达提供的信号。另外在位置检测中，也可以检测脸、头、人物整体、标识器等能够判定为人的任意的对象。作为各人物的属性，可以列举各人物的名字、大人和孩子的区别、视听时间、是否是遥控持有者等的信息。这些可以通过某些手段检测，或者也可以是视听者等明示输入。

另外，也可以具备人物位置变换部305，关于人物信息取得部101输出的各人物的位置信息，将照相机坐标系统中的坐标值变换为实际空间坐标系中的坐标值。另外，也可以代替在人物信息取得部101中设置人物位置变换部305，而将它设置在加权计算部102中。

图5表示加权计算部102的构成。加权计算部102具备计算部300，输入人物信息200和决定图像的参数群201，计算并输出各人物的权重以及对应的显示参数203。计算部300具备：位置加权计算部306，根据人物位置204以及决定图像的参数群201计算位置权重；属性加权计算部307，从人物属性205计算属性权重；以及计算部308，计算所计算出的位置权重和属性权重的和或者积。而且，当设为使用某一个权重的构成的情况下，能够省略和或者积的计算。

位置加权计算部306根据能够立体视的显示器的区域205、光线密度206、预先指定的位置权重207等计算位置权重。通过各个人的位置(即和立体图像显示装置10的显示画面的相对位置)和多视点图像决定能够立体视的区域205的面积。如果该面积大，则位置权重的值也变大。另外，通过距离立体图像显示装置10的显示画面的距离和视点数量决定光线密度206。如果该光线密度206密，则位置权重变大。关于预先指定的位置的权重207对稳定地进行视听的位置提供比其他位置还大的权重。位置加权计算部306计算对于能够立体视的显示器的区域205、光线密度206、预先指定的位置的权重207等分别计算出的权重的值的和或者积并输出。另外，当设为使用其某一个权重的结构情况下，能够省略位置权重的和或者积。另外，此外也可以追加能够表现与观看有关的权重的项。

属性加权计算部307根据视听时间或者开始顺序208、特定的人物209、遥控器的持有者210、人物之间的位置关系211等的属性的值计算属性权重。对于视听时间或者开始顺序208，以长时间视听的人物、最先开始视听的人物优先的方式增大权重值。同样，以特定的人物209、遥控器持有者210优先的方式增加权重值。对于人物间的位置关系211，在全体人员中，在显示器的正面或者越接近的人增大权重的值。属性加权计算部307计算关于视听时间或者开始顺序208、特定的人物209、遥控器的持有者210、人物间的位置关系211等分别计算出的权重的值的和或者积并输出。另外，当设为使用某一个的权重的构成的情况下，能够省略和或者积的计算。另外，此外也可以追加能够表现与视听者的属性有关的权重的项。

进而，计算部308计算从位置加权计算部306输出的位置权重的值、从属性计算部307输出的属性权重的值的和或者积。

另外，除了只根据特定的人物209的信息进行参数选择的情况外，至少需要计算位置权重。另外，对于包含在决定图像的参数群201中的多个显示参数的每一个计算各人物的权重。另外，原则上对全部的人物计算权重(只根据特定的人物209的信息进行参数选择的情况外除外)。

在此，参照图6说明根据能够立体视的区域205的面积进行的权重的计算。“看得见”的图能够用用几何方式求出，并能够计算。在视域设定距离截取连结人物20和图像显示部104(显示器)的两端的每一个的线的图案21和显示器的“看得见”一致。在该图6的例子中，图案21中的区域22是能够立体视的区域，区域23是不能立体视的区域。能够将能够立体视的区域22占图案21的全部区域的面积的比例计算为权重。例如，如果能够立体视的区域22的比例是100％，则能够立体视全部，作为最大值例如设为“1”。

接着，说明根据光线密度206的权重的计算，在将视差数设为N，将光线的宽度设为2θ，将从显示器104到人物20的距离设为Z，将人物20的眼间距离设置为d时，能够按照[式1]计算光线密度206的权重。

[式1]

即，将人物20的眼睛的位置的光线宽度len和眼间距离d的比率设为光线密度206的权重。当光线宽度len比眼间距离d还窄的情况下，将光线密度206的权重的值设置为“1”。

图8表示将用加权计算部102计算的权重的值配置到实际空间坐标后的映射M的例子。

接着，图9表示图像决定部103的构成。在图像决定部103中输入从加权计算部输出的各人物的权重以及对应的显示参数203。作为各人物的权重以及对应的显示参数203可以设为1输出或者多输出。例如，当是1输出的情况下，可以使用各人物的权重的总和的最大值、特定的人物的权重的最大值、各人物的权重的平均值或者中央值中的最大值。另外，可以根据属性权重对视听者附加优先位次，并使用大于等于某一位次的各人物的权重的总和的最大值、权重的平均值或者中央值中的最大值。在多输出的情况下，可以使用各人物的权重的值的最大值。

图像决定部103的判定部310判定上述那样的权重值是否大于等于规定的基准值。在多输出的情况下，判定全员(或者N人及以上)的权重值是否大于等于规定的基准值。另外，也可以根据属性权重对视听者附加优先位次，并只通过大于等于某一位次的各人物进行判定。无论在哪种情况下，都选择与大于等于基准值的权重对应的显示参数213。也可以具备混合/选择部311，作为用于提高图像切换时的视觉辨认性的处理，根据过去的显示参数214，此时选择的显示参数和过去的显示参数214并使其缓慢地变变化，进行难以察觉变化的希恩变化或者在图像的动作激烈时进行图像切换等。也可以设置混合/选择部312，同样地作为用于提高图像切换时的视觉辨认性的处理，根据过去的图像216，混合依据从混合/选择部311输出的显示参数的多视点图像(立体图像)215和过去图像216并使其缓慢变化等。在混合处理中优选能够吸收一次延迟等。

另外，如以后说明的那样，依据所选择的显示参数的多视点图像(立体图像)也可以通过物理地改变显示器104的位置、朝向等来实现。

在图像决定部103的判定部310中，当权重的值低于基准值的情况下，为了防止不适宜的立体视，显示二维图像、黑图像(非显示)、无彩色图像等212(2D显示)。作为2D显示的基准，可以列举权重总和小、有不能观看的人、依赖于特定的人的观看等。这种情况下，可以进一步具备信息显示部311，将人引导到能够立体视的位置上，或者发出能够立体视的警告。

在此，对于决定图像的参数群201说明基于各种显示参数的控制的例子。作为显示参数有对视域进行控制的参数，和对光线密度进行控制的参数。作为对视域进行控制的显示参数，可以列举图像的偏移、像素排列的间距、透镜和像素的间隙(间隔)、显示器的旋转、变形、位置移动等。作为对光线密度进行控制的显示参数可以列举透镜和像素的间隙(间隔)、视差数量等。

参照图10以及图11说明对视域进行控制的显示参数。如果使显示图像例如向右移动，则成为能够良好地进行立体视的情况，即“视域”从图10所示的区域A变化为区域B。这是因为如从图11的(a)和(c)的比较可知的那样，在(c)的情况下光线L靠左，视域也靠左而变化到视域B的缘故。

如果缩短像素22和透镜/狭缝(光学开口部116)23之间的间隙，则如从图11的(a)和(b)的比较可知那样，从图10所示的视域A变化到视域C。这种情况下，视域虽然变近但光线密度减少。

另外，如图11所示，在显示器的像素22上顺序排列视差图像。视差图像是视点偏差的图像，例如如该图所示，相当于通过多个照相机21的每一个拍摄了人物20的图像。来自像素22(子像素140)的光线经由透镜/狭缝(光学性开口部116)23射出。视域的形状可以通过图11所示的θ和η以几何学方式求得。

参照图12说明相邻的视域。主要进行视听的视域A的相邻的视域B是通过(左端的像素，从左端向右1个的透镜)，和(从右端向左1个的像素，右端的透镜)的组合形成的视域。也可以将该视域B进一步移动到左侧和右侧。

参照图13说明通过所显示的像素的排列(显示间距)进行的控制。越是在画面的一端(右端，左端)，越能够通过相对多地错开像素22和透镜23的位置来控制视域。如果加大像素22和透镜23的相对位置的错开量，则视域从该图所示的区域A变化到区域B。相反，如果减小像素22和透镜23的相对位置的错开量，则从该图所示的区域A变化到区域C。这样可以通过与像素的排列(像素间距)有关的显示参数来控制视域的宽度和远近。另外，将视域的宽度最宽的地方称为视域设定距离。

参照图14说明通过图像显示部104的移动、旋转，或者变形进行的视域的控制。如图14(a)所示，通过旋转图像显示部104，能够将基本时的视域A变化为视域B。同样地，通过移动图像显示部104，能够将基本时的视域A变化为视域C，通过使图像显示部104变形，能够将基本时的视域A变为视域D。通过改变显示参数，进行图像显示部104的移动、旋转，或者变形，能够控制视域。

关于对光线密度进行控制的显示参数，参照图15说明视差数量不同的情况下的光线密度。

例如当图15(a)所示的视差数量是6的情况下，从该图可知，与人30相比相对地更接近显示器104的人31提供视差的光线的数量增多，立体视更好。另外，当是图15(b)所示的视差数量是3的情况下，因为与(a)的情况相比视差数量减少而光线稀疏，所以在等距离下的立体视变得困难。能够从与透镜和间隙相应地决定的角度θ、视差数量和人物的位置来计算从显示器104的各像素射出的光线的光线密度。

虽然说明了本发明的几个实施方式，但这些实施方式是作为例子提示的方式，并不意味着限定发明的范围。这些新的实施方式可以提供其他的各种方式实施，在不脱离发明的主旨的范围中，能够进行各种省略、置换、变更。与包含在发明的范围和要旨中一样，这些实施方式及其变形包含在权利要求范围所述的发明及其均等的范围中。

Claims (11)

1.一种立体图像显示装置，具备：

人物信息取得部，取得包含欣赏立体影像的各人物的位置的人物信息；

加权计算部，根据上述人物信息和显示参数，对各人物计算在显示有依据上述显示参数的多视点图像时与视域、光线密度、预先指定的位置中的至少一个相应的权重；

图像决定部，根据由上述加权计算部计算出的各人物的权重选择对上述视域或上述光线密度进行控制的显示参数，输出依据所选择的显示参数的多视点图像；以及

图像显示部，显示从上述图像决定部输出的多视点图像。

2.根据权利要求1所述的立体图像显示装置，其特征在于，

上述图像决定部选择由上述加权计算部计算出的各人物的权重的总和为最大的上述显示参数。

3.根据权利要求1所述的立体图像显示装置，其特征在于，

上述加权计算部计算与在各人物的位置能够立体视的区域的面积相应的权重。

4.根据权利要求1所述的立体图像显示装置，其特征在于，

上述加权计算部关于各人物的位置计算与从上述图像显示部的各像素射出的光线的光线密度相应的权重。

5.根据权利要求1所述的立体图像显示装置，其特征在于，

上述加权计算部计算与在各人物的位置能够立体视的区域的面积相应的第1权重、与各人物的位置的光线密度相应的第2权重，并通过使用了上述第1权重和上述第2权重的运算计算出各人物的权重。

6.根据权利要求5所述的立体图像显示装置，其特征在于，

上述加权计算部通过上述第1权重和上述第2权重的和或者积而计算出上述各人物的权重。

7.根据权利要求3～5中的任意一项所述的立体图像显示装置，其特征在于，

上述人物信息取得部进一步取得识别上述各人物的识别信息，

上述加权计算部计算与上述各人物的位置以及上述识别信息相应的权重。

8.根据权利要求2所述的立体图像显示装置，其特征在于，

在上述总和不大于等于基准值的情况下，上述图像决定部输出2D图像。

9.根据权利要求1所述的立体图像显示装置，其特征在于，

上述显示参数包含使显示在上述图像显示部中的上述多视点图像的像素排列变化的参数。

10.一种立体图像显示方法，包括：

取得包含欣赏立体影像的各人物的位置的人物信息；

根据上述人物信息和显示参数，对各人物计算在显示有依据上述显示参数的多视点图像时与视域、光线密度、预先指定的位置中的至少一个相应的权重；

根据各人物的上述权重选择对上述视域或上述光线密度进行控制的显示参数，输出依据所选择的显示参数的多视点图像；以及

显示所输出的上述多视点图像。

11.一种立体图像决定装置，具备：

加权计算部，根据包含欣赏立体影像的各人物的位置的人物信息和显示参数，对各人物计算在显示有依据上述显示参数的多视点图像时与视域、光线密度、预先指定的位置中的至少一个相应的权重；以及

图像决定部，根据由上述加权计算部计算出的各人物的权重选择对上述视域或上述光线密度进行控制的显示参数，输出依据所选择的显示参数的多视点图像。