CN105074617A - 三维用户界面装置和三维操作处理方法 - Google Patents

Abstract

一种三维用户界面装置(100)，包括坐标设定单元(102)，在视线图像的基础上，设定三维坐标空间；虚拟数据生成单元(103)，在至少区域的边界可见的状态下，生成表示设置在三维坐标空间的任意位置中的透明虚拟三维操作区域的三维区域数据；显示处理单元(104)，通过将对应于在视线图像上所示的空间的三维坐标空间中的可见空间用作显示基准，显示由所生成的三维区域数据表示的虚拟三维操作区域，以及操作检测单元(106)，在相对于三维坐标空间中的操作者的特定部位获取的三维位置和三维坐标空间中的虚拟三维操作区域的位置的基础上，检测在虚拟三维操作区域中，由操作者利用特定部位执行的操作。

Description

三维用户界面装置和三维操作处理方法

技术领域

本发明涉及三维用户界面技术。

背景技术

近年来，通过使用距离传感器，诸如KINECT(注册商标)、WEB相机等检测用户的手势并且根据所检测的手势控制装置的用户界面已变得普及。

在手势操作中，不同于按钮操作、相对于触摸屏的触摸操作等等，无操作感且就操作空间而言很少限制。因此，在使用手势的用户界面中，设定虚拟操作区域，并且由该虚拟操作区域确定操作者的操作开始和操作结束。

在下述专利文献1中，提出了识别用户的手，在所识别的手的附近，设定不可视，但能由用户操作的操作区域并且根据手的移动，移动操作区域的位置的方法。另外，在下述专利文献2中，提出了识别多个操作者的每一个的操作区域，对每一操作者，计算操作区域的每一个的移动范围，并且基于排除重叠的移动范围的每一个，对操作者的每一个，设定手势识别范围的方法。在下述专利文献3中，提出了显示根据摄像装置和操作者之间的位置关系、障碍物的位置等等改变的操作者的可操作范围的方法。

相关文献

专利文献

[专利文献1]日本公开专利No.2011-81506

[专利文献2]日本公开专利No.2011-243031

[专利文献3]日本公开专利No.2011-175405

发明内容

用户界面的操作者或提供者可能期望根据每一个人的适用性、姿态识别处理的精度、姿态操作中的操作对象等等，设置期望的大小或期望的位置，或期望的数量的操作区域。为此目的，当操作区域不能自由地设定时，可能变得难以实现使用姿态操作的用户友好的用户界面。

在上述所提出的方法的每一个中，用于检测手势操作的操作区域不能自由地设定。例如，在专利文献1和2中提出的方法自动地设定在操作区域中，操作者的操作部位的移动范围。基于通过这样的自动设置，操作者不需要识别操作区域的考虑，这些所提出的方法不显示操作区域。然而，在这样的方法中，操作区域跟随操作者的操作部位，由此，识别非操作者预期的手势操作，因此，错误操作易于发生。另一方面，在专利文献3中提出的方法显示操作区域，但根据用户的位置或障碍物的位置，自动地设定操作区域(可操作范围)。因此，在该提出的方法中，操作区域不能自由地设定。

考虑到上述情形，实现本发明，并且提供通过支持用于检测待自由地设定的操作者的手势操作的立体操作区域，提高使用手势操作的用户界面的可用性的技术。

在本发明的每一方面中，采用下述结构的每一个以便解决上述问题。

一种根据第一方面的三维用户界面装置，包括：视线图像获取单元，视线图像获取单元从操作者获取视线图像，图像由操作者的头部上安装的摄像单元拍摄；坐标设定单元，坐标设定单元在由视线图像获取单元获取的视线图像的基础上，设定三维坐标空间；虚拟数据生成单元，虚拟数据生成单元在至少区域的边界可见的状态下，生成表示设置在三维坐标空间的任意位置中的透明虚拟三维操作区域的三维区域数据；显示处理单元，显示处理单元通过将对应于在视线图像上所示的空间的三维坐标空间中的可见空间用作显示基准，使安装在操作者的头部上的显示单元显示由虚拟数据生成单元生成的由三维区域数据表示的虚拟三维操作区域；位置获取单元，位置获取单元获取三维坐标空间中的操作者的特定部位的三维位置；以及操作检测单元，操作检测单元在由位置获取单元获取的三维位置和三维坐标空间中的虚拟三维操作区域的位置的基础上，检测在虚拟三维操作区域中，由操作者利用特定部位执行的操作。

根据第二方面的一种三维操作处理方法由至少一个计算机执行。根据第二方面的三维操作处理方法包括：从操作者获取视线图像，图像由操作者的头部上安装的摄像单元拍摄；在所获取的视线图像的基础上，设定三维坐标空间；在至少区域的边界可见的状态下，生成表示设置在三维坐标空间的任意位置中的透明虚拟三维操作区域的三维区域数据；通过将对应于在视线图像上所示的空间的三维坐标空间中的可见空间用作显示基准，使安装在操作者的头部上的显示单元显示由所生成的三维区域数据表示的虚拟三维操作区域；获取三维坐标空间中的操作者的特定部位的三维位置；以及在所获取的三维位置和三维坐标空间中的虚拟三维操作区域的位置的基础上，检测在虚拟三维操作区域中，由操作者利用特定部位执行的操作。

此外，本发明的另一方面是允许至少一个计算机执行上述第二方面的方法的程序，或可以是记录这种程序的计算机可读记录介质。该记录介质包括非瞬时介质。

根据上述方面，可以提供能自由地设定用于检测用户的手势操作的立体操作区域并且提高使用手势操作的用户界面的可用性的技术。

附图说明

通过下述优选实施例及其附图，将使本发明的上述目的和其他目的，以及本发明的特征和优点更清楚。

图1是概念地示出根据本发明的示例性实施例的三维用户界面装置的结构示例的图。

图2是概念地示出根据第一示例性实施例的三维用户界面系统的硬件结构示例的图。

图3是示出根据第一示例性实施例的三维用户界面系统的使用模式的示例的图。

图4是示出头戴式显示器(HMD)的外部结构的示例的图。

图5是概念地示出根据第一示例性实施例的传感器侧装置的处理结构示例的图。

图6是概念地示出根据第一示例性实施例的显示器侧装置的处理结构示例的图。

图7A是示出在头戴式显示器(HMD)上显示的合成图像的示例的图。

图7B是示出在头戴式显示器(HMD)上显示的合成图像的另一示例的图。

图8是概念地示出操作者的特定部位的实际运动的图。

图9是概念地示出日本的铜锣烧(DORAYAKI)式虚拟三维操作区域和所检测的操作之间的关系的示例的图。

图10是示出根据第一示例性实施例的三维用户界面系统的操作示例的顺序图。

图11概念地示出根据第二示例性实施例的传感器侧装置的处理结构示例的图。

图12概念地示出根据第二示例性实施例的显示器侧装置的处理结构示例的图。

图13是示出根据第二示例性实施例的三维用户界面系统的操作示例的顺序图。

图14是示出功能菜单的显示示例的图。

图15是示出根据第三示例性实施例的显示器侧装置的操作示例的流程图。

图16是示出功能菜单的另一显示示例的图。

具体实施方式

在下文中，将描述本发明的示例性实施例。此外，下述示例性实施例是示例，本发明不限于下述示例性实施例的结构。

图1是概念地示出根据本发明的示例性实施例的三维用户界面装置100的结构示例的图。如图1所示，三维用户界面装置100包括获取由安装在操作者的头部上的摄像单元拍摄的来自操作者的视线图像的视线图像获取单元101、基于由视线图像获取单元101获取的视线图像，设定三维坐标空间的坐标设定单元102、生成在至少区域的边界可见的状态下，表示设置在三维坐标空间的任意位置中的透明虚拟三维操作区域的三维区域数据的虚拟数据生成单元103、通过将对应于视线图像上所示的空间的三维坐标空间中的可视空间用作显示基准，使安装在操作者的头部上的显示单元显示由虚拟数据生成单元103产生的由三维区域数据表示的虚拟三维操作区域的显示处理单元104、获取三维坐标空间中，操作者的特定部位的三维位置的位置获取单元105，以及基于由位置获取单元105获取的三维位置和三维坐标空间中的虚拟三维操作区域的位置，在虚拟三维操作区域中检测由操作者利用特定部位执行的操作的操作检测单元106。

图1中所示的三维用户界面装置100例如具有与在下文详细所述，根据示例性实施例的每一个的三维用户界面系统1相同的硬件结构，关于三维用户界面系统1，上述每一单元通过处理程序来实现。安装在操作者的头部上的摄像单元和显示单元连接到三维用户界面装置100来与之通信。

通过至少一个计算机，诸如上述的三维用户界面装置100，执行根据该示例性实施例的三维操作处理方法。该三维操作处理方法包括获取由安装在操作者的头部上的摄像单元拍摄的来自操作者的视线图像、基于所获取的视线图像，设定三维坐标空间、生成在至少区域的边界可见的状态下，表示设置在三维坐标空间的任意位置中的透明虚拟三维操作区域的三维区域数据、通过将对应于视线图像上所示的空间的三维坐标空间中的可视空间用作显示基准，使安装在操作者的头部上的显示单元显示由三维区域数据表示的虚拟三维操作区域、获取三维坐标空间中，操作者的特定部位的三维位置，以及基于所获取的三维位置和三维坐标空间中的虚拟三维操作区域的位置，在虚拟三维操作区域中检测由操作者利用特定部位执行的操作。

在该示例性实施例中，获取来自操作者的视线图像，并且基于所获取的视线图像，设定三维坐标空间。视线图像是从与操作者的眼睛朝向的方向相同或近似相同的方向，由摄像单元拍摄的图像。当由处于真实空间中的操作者识别虚拟三维操作区域时，视线图像可以不完全与由操作者可见的图像重合。从该视线图像设定三维坐标空间，由此，与在视线图像上示出的真实空间一致。在此，三维坐标空间的设置指示确定三轴方向、中心点、坐标单位等等。此外，作为基于视线图像的三维坐标空间的具体设定方法，可以使用已知的方法，由此，在下文详细所述的示例性实施例中，该方法描述为示例。

此外，在该示例性实施例中，基于以这种方式设定的三维坐标空间，生成三维区域数据。三维区域数据表示用于检测操作者的操作的虚拟三维操作区域，并且进一步至少表示三维坐标空间中的虚拟三维操作区域的位置。在该示例性实施例中，虚拟三维操作区域的位置是任意的。因此，基于三维区域数据，在至少区域的边界可见的状态下，在操作者的头部上安装的显示单元上，透明地显示虚拟三维操作区域。此外，在该示例性实施例中，获取与操作者的特定部位有关的三维坐标空间中的三维位置，并且基于所获取的三维位置和三维坐标空间中的虚拟三维操作区域的位置，检测在虚拟三维操作区域中，由操作者利用特定部位执行的操作。

由此，根据该示例性实施例，用于检测手势操作的虚拟三维操作区域能设定在任意位置。此外，在至少区域的边界可见的状态下，透明地显示虚拟三维操作区域，由此，操作者能易于把握手势操作的操作区域。此外，通过将对应于视线图像上所示的空间的三维坐标空间中的可视空间用作显示基准，在任意位置中显示虚拟三维操作区域，由此，虚拟三维操作区域作为真实空间中的区域是可见的，由此，操作者能直观地识别操作区域。此外，操作者通过能容易且直观地识别的虚拟三维操作区域，容易执行该操作。其结果是，根据该示例性实施例，可以提高使用手势操作的用户界面的可用性。

在下文中，将进一步详细地描述上文所述的示例性实施例。在下文中，作为详细示例性实施例，示例第一示例性实施例、第二示例性实施例和第三示例性实施例。下述各个详细示例性实施例是将上述的三维用户界面装置100和三维操作处理方法应用于三维用户界面系统的示例。然而，在下述各个详细示例性实施例中，将仅描述与用户界面有关的处理，关于根据所检测的操作控制的内容和对象，可以使用已知技术，由此，将不具体地描述这些内容和对象。

[第一示例性实施例]

[系统结构]

图2是概念地示出根据第一示例性实施例的三维用户界面系统1(在下文中，简称为系统)的硬件结构示例的图。根据第一示例性实施例的系统1具有传感器侧结构和显示器侧结构。传感器侧结构由三维传感器(在下文中，称为3D传感器)8和传感器侧装置10形成。显示器侧结构由头戴式显示器(在下文中，称为HMD)9和显示器侧装置20组成。在下文中，“三维”将简称为“3D”。

图3是示例根据第一示例性实施例的系统1的使用模式的示例的图。如图3所示，3D传感器8设置在能检测操作者(用户)的特定部位的位置中。HMD9安装在操作者(用户)的头部上，并且拍摄来自操作者的视线图像和显示与视线图像合成的上文所述的虚拟3D操作区域，使得至少区域的边界可见。操作者对在屏幕图像上所示的虚拟3D操作区域执行操作，同时查看在HMD9的显示单元上显示的屏幕图像。

3D传感器8检测例如用于检测操作者的特定部位的3D信息。例如，通过可见光摄像机和距离图像传感器，诸如Kinect(注册商标)，实现3D传感器8。距离图像传感器也称为将具有近红外光的图案从激光器发射到操作者的深度传感器，由能检测近红外光的摄像机拍摄该图案，以及基于通过该拍摄获得的信息，计算从距离图像传感器到操作者的距离(深度)。注意，不限定实现3D传感器8本身的方法，并且可以通过使用多个可见光摄像机的三维扫描仪系统，实现3D传感器8。此外，在图2中，3D传感器8示例为一个元件。然而，可以通过包括例如拍摄操作者的二维图像的可见光摄像机和检测与操作者的距离的传感器的多个装置，实现3D传感器8。

在该示例性实施例中，如图3所示，通过具有已知形状的标志7，设定显示器侧结构和传感器侧结构公共的三维坐标空间。然而，为设定公共三维坐标空间而提供的公共真实对象不仅仅限于专用标记7。不限定公共真实对象的具体形式，假定能从公共真实对象始终获得某一基准点和分别从该某一基准点延伸并且以直角彼此相交的三轴方向，与视野的方向无关。例如，标志7能由位于现实世界中的图像或对象替代。

图4是示例HMD9的外部结构的示例的图。在图4中，示例了称为视频透视型的HMD9的结构。在图4的示例中，HMD9包括两个可佩戴式摄像机9a和9b以及两个显示器9c和9d。可佩戴式摄像机9a和9b的每一个拍摄对应于用户的每一视线的每一视线图像。因此，HMD9能称为摄像单元。将显示器9c和9d的每一个设置成包围用户的大部分视野，并且显示使虚拟3D操作区域与视线图像的每一个合成的合成3D图像。为此，显示器9c和9d的每一个能称为显示单元。

传感器侧装置10和显示器侧装置20分别包括通过总线等等相互连接的中央处理单元(CPU)2、存储器3、通信装置4、输入输出接口(I/F)5等等。存储器3是随机存取存储器(RAM)、只读存储器(ROM)、硬盘、便携式存储介质等等。

传感器侧装置10的输入输出I/F5连接到3D传感器8，并且显示器侧装置20的输入输出I/F5连接到HMD9。以使它们相互无线通信的方式，建立输入输出I/F5和3D传感器8之间的连接以及输入输出I/F5和HMD9之间的连接。每个通信装置4以无线或有线方式，与其他装置(传感器侧装置10，显示器侧装置20等等)通信。在该示例性实施例中，不限定这种通信模式。此外，不限定传感器侧装置10和显示器侧装置20的具体硬件结构。

[处理结构]

<传感器侧装置>

图5是概念地示出根据第一示例性实施例的传感器侧装置10的处理结构示例的图。根据第一示例性实施例的传感器侧装置10包括3D信息获取单元11、第一对象检测单元12、基准设定单元13、位置计算单元14、传输单元16等等。例如，通过CPU2执行在存储器3中存储的程序，实现这些单元的每一个。此外，例如，可以通过输入输出I/F5，从便携式记录介质，诸如致密盘(CD)、存储器卡或网络上的其他计算机安装该程序，并且该程序可以存储在存储器3中。

3D信息获取单元11顺序地获取由3D传感器8检测的3D信息。3D信息包括有关操作者并且通过可见光获得的二维图像和有关与3D传感器8的距离(深度)的信息。3D传感器8可以由多个单元，诸如可见光摄像机和深度传感器构成。

第一对象检测单元12基于由3D信息获取单元11获取的3D信息，检测已知公共真实对象。在该示例性实施例中，图3所示的标志7用作公共真实对象。第一对象检测单元12预先保持标志7具有的形状、大小、颜色等等的信息，并且通过使用上述信息，基于3D信息检测标志7。

基准设定单元13基于由第一对象检测单元12检测的标志7，设定3D坐标空间，并且计算3D坐标空间中的3D传感器8的位置和方向。例如，基准设定单元13设定3D坐标空间，其中，将从标志7提取的基准点设定到原点，以及从基准点延伸并且彼此相交的三个方向设定到每一轴。基准设定单元13通过将标志7的已知形状和大小与从3D信息提取的标志7的形状和大小比较，计算3D传感器8的位置和方向。

位置计算单元14通过使用由3D信息获取单元11顺序获取的3D信息，计算3D坐标空间中，有关操作者的特定部位的3D位置信息。在该示例性实施例中，位置计算单元14如下顺序地计算3D位置信息。位置计算单元14首先基于从3D信息获取单元11获取的3D信息，提取有关操作者的特定部位的3D位置信息。在此，所提取的3D位置信息对应于3D传感器8的摄像机坐标系。然后，基于由基准设定单元13计算的3D传感器8的位置和方向，以及3D坐标空间，位置计算单元14将对应于3D传感器8的摄像机坐标系的3D位置信息变换成由基准设定单元13设定的3D坐标空间中的3D位置信息。该变换意味着将3D传感器8的摄像机坐标系变换成基于标志7设定的3D坐标系。

在此，待检测的操作者的特定部位的数量可以为2或以上。例如，可以采用将操作者的两手用作多个特定部位的形式。在这种情况下，位置计算单元14从由3D信息获取单元11获取的3D信息，提取有关多个特定部位的每一个的3D位置信息，并且将所提取的3D位置信息变换成3D坐标空间中的3D位置信息。此外，特定部位表示用于执行操作的操作者的身体的一部分，因此，具有某一面积或体积。由此，由位置计算单元14计算的3D位置信息可以是有关特定部位中的一个点的位置信息，或可以是有关多个点的位置信息。

传输单元16将与操作者的特定部位有关的以及由位置计算单元14计算的3D坐标空间中的3D位置信息传送到显示器侧装置20。

<显示器侧装置>

图6是概念地示出根据本发明的第一示例性实施例的显示器侧装置20的处理结构示例的图。根据第一示例性实施例的显示器侧装置20包括视线图像获取单元21、第二对象检测单元22、坐标设定单元23、虚拟数据生成单元24、操作检测单元25、图像合成单元27、显示处理单元28等等。这些单元的每一个例如由执行在存储器3中存储的程序的CPU2实现。另外，例如，可以从便携式记录介质，诸如致密盘(CD)、存储器卡或网络上的其他计算机，通过输入输出I/F5安装该程序，并且该程序可以存储在存储器3中。

视线图像获取单元21与上述视线图像获取单元101相同地获取视线图像。当操作者对虚拟3D操作区域执行操作时，在视线图像上显示与由传感器侧装置10检测的操作者的特定部位相同的特定部位。在该示例性实施例中，设置可佩戴式摄像机9a和9b，由此，视线图像获取单元21获取对应于左眼和右眼的每一个的视线图像。注意，单元的每一个对于对应于左眼和右眼的两个视线图像类似地执行处理，因此，下文的说明将仅针对一个视线图像。

第二对象检测单元22从由视线图像获取单元21获取的视线图像，检测与由传感器侧装置10检测的相同的已知公共真实对象。换句话说，在该示例性实施例中，第二对象检测单元22检测图3中所示的标志7。第二对象检测单元22以与上述传感器侧装置10的第一对象检测单元12类似的方式，执行其处理，因此，将不重复其具体描述。注意摄像方向在包含在视线图像中的标志7和包含在由3D传感器8获取的3D信息中的标志7之间不同。

坐标设定单元23在由第二对象检测单元22检测的标志7的基础上，设定与由传感器侧装置10的基准设定单元13所设定的相同的3D坐标空间，并且计算HMD9的位置和方向。坐标设定单元23还以与传感器侧装置10的基准设定单元13类似的方式，执行其处理，因此，将不再重复具体描述。坐标设定单元23还在作为与传感器侧装置10的基准设定单元13用来设定3D坐标空间相同的公共真实对象的公共真实对象(标志7)的基础上，设定3D坐标空间。因此，传感器侧装置10和显示器侧装置20共享该3D坐标空间。

与上述虚拟数据生成单元103一样，虚拟数据生成单元24生成3D区域数据。如上所述，3D区域数据表示3D坐标空间中的虚拟3D操作区域的位置、大小、形状等等。当设定多个虚拟3D操作区域时，虚拟数据生成单元24生成分别表示除3D坐标空间中的多个虚拟3D操作区域的每一个的位置、大小、形状等等之外的操作类型的多个3D区域数据。在该示例性实施例中，不限制3D区域数据的具体内容，假定能确定3D坐标空间中的虚拟3D操作区域的位置和形式(形状、大小、颜色、图案等等)。在虚拟3D操作区域中设定的形状能是立方体、直方体、球体、椭圆体、日本铜锣烧等等的形状。铜锣烧式形状是指当两个球体彼此相交时的重叠部分的立体形状。

在虚拟3D操作中设定的操作类型是指对应于从虚拟3D操作区域中的操作者的特定部位的运动检测的信息类型的手势操作的类型。该操作类型包括例如基于三维(三轴)位置变更信息指定操作内容的操作类型(在下文中，称为3D手势类型)、基于二维(双轴)位置变更信息指定操作内容的操作类型(在下文中，称为2D手势类型)、基于一维(单轴)位置变更信息指定操作内容的操作类型(在下文中，称为1D手势类型)，以及基于特定部位是否与虚拟3D操作区域接触指定操作内容的操作类型(在下文中，称为0D手势类型)。此外，在该示例性实施例中，不限定在虚拟3D操作区域中设定的操作类型的具体内容。在下文中，将描述在虚拟3D操作区域中设定的形式和操作类型的具体示例。

在虚拟3D操作区域中设定的信息，诸如位置、大小、形状、操作类型等等可以是在输入屏等等的基础上，通过连接到输入输出I/F5的输入装置(未示出)，由操作者输入的信息、可以是通过通信装置4或输入输出I/F5，从便携式记录介质、其他计算机等等获取的信息，或可以是通过虚拟数据生成单元24，预先保持为初始值的信息。能根据操作者等等，任意地设定在虚拟3D操作区域中设定的信息。

图像合成单元27在HMD9的位置和方向、3D坐标空间和3D区域数据的基础上，将虚拟3D操作区域与由视线图像获取单元21获取的视线图像合成。此时，通过将对应于视线图像上所示的空间的三维坐标空间中的可视空间用作显示基准，确定虚拟3D操作区域的位置和形式。此外，在该示例性实施例中，图像合成单元27基于由可佩戴式摄像机9a和9b拍摄的视线图像的每一个，生成每一合成图像。此外，在图像合成单元27的合成处理中，可以使用用在增强现实性(AR)等等中的已知方法，因此在此，将不重复详细描述。

与上述显示处理单元104一样，显示处理单元28使HMD9显示虚拟3D操作区域。在该示例性实施例中，显示处理单元28使HMD9显示虚拟3D操作区域和视线图像的合成图像。因此，在显示器9c和9d的每一个上，显示对应于操作者的视线的每一个的合成图像的每一个，由此，根据双眼视差，视线图像和虚拟3D操作区域能由操作者三维地可见。

操作检测单元25从传感器侧装置10接收有关3D坐标空间中的操作者的特定部位的3D位置信息，并且基于3D坐标空间中，操作者的特定部位的位置和虚拟3D操作区域的位置，检测在虚拟3D操作区域中，由操作者利用特定部位执行的操作。操作检测单元25对应于上述位置获取单元105和操作检测单元106。此时，操作检测单元25指定检测操作的虚拟3D操作区域，并且获取对应于在虚拟3D操作区域中设定的操作类型的操作信息。具体地，当在虚拟3D操作区域中设定2D手势类型时，操作检测单元25获取在虚拟3D操作区域中的操作者的特定部位的二维变更信息，并且将对应于二维变更信息的值获取为操作信息。在下文中，将描述虚拟3D操作区域和待检测的检测操作之间的具体关系。

图7A是示出在HMD9上显示的合成图像的示例的图。在图7A的示例中所示的合成图像包括在视线图像上所示的现实世界的桌子RT，以及三个虚拟3D操作区域VOA1,VOA2和VOA3。VOA1以球的形状形成，VOA2以直方体的形状形成，以及VOA3以立方体的形状形成。例如，在虚拟3D操作区域VOA1,VOA2和VOA3中，设定不同操作类型。例如，在VOA1中设定3D手势类型，在VOA2中设定1D手势类型，以及在VOA3中设定0D手势类型。

图7B是示出在HMD9上显示的合成图像的另一示例的图。在图7B的示例中示例的合成图像包括在视线图像上所示的现实世界的桌子RT，以及铜锣烧型虚拟3D操作区域VOA4。在VOA4中，例如，设定1D手势类型。

此外，如图7A和图7B所示，半透明地显示虚拟3D操作区域的每一个，使得区域边界可见。由此，根据该示例性实施例，在具有任意形状并且设置在任意位置的虚拟3D操作区域重叠在现实世界上的情况下，操作者能看见虚拟3D操作区域，使得不妨碍现实世界的真实对象。

在此，将描述虚拟3D操作区域的形状和待检测的操作之间的关系。

图8是概念地示出操作者的特定部位的实际运动的图。本发明人已经发现与手势操作有关的下述问题。即，在手势操作中，就操作而言，在用户和用户界面之间，没有直接接触引导，由此当操作者期望执行将指尖(特定部位)从一个方向(起点)移向另一方向(终点)的手势操作时，难以在连接起点和终点的直线上移动指尖，由此如图8所示，指尖通常画出偏离直线的轨迹。因此，在上述1D手势类型中，当采用检测仅一个轴上的指尖的轨迹的方法时，操作者难以使用该用户界面。

因此，本发明人已经想到优选地形成虚拟3D操作区域，包括在此设定的1D手势类型，其中，在1维(单轴)位置变更信息的基础上，指定操作内容，以便具有立体形状和检测该形状中的操作者的特定部位的运动。

图9是概念地示出铜锣烧型虚拟3D操作区域和待检测的操作之间的关系的示例的图。如图9所示，虚拟3D操作区域VOA5具有对应于球体SP1和球体SP2之间的重叠部分的铜锣烧式形状。通过将起点设定到球体SP1的中心点、通过将终点设定到球体SP2的中心点，以及通过将从中心点的每一个到球体表面的每一个的点的距离设定为起点和终点之间的长度的一半，形成该形状。在VOA5中设定1D手势类型，并且操作检测单元25将操作者的特定部位或连接起点和终点的检测轴上的位置变化量获取为操作信息。

此时，操作检测单元25将对应于VOA5中，操作者的特定部位的三维位置投影在检测轴上的位置的值获取为操作信息。例如，当在起点上设定值(-100)，并且在终点上设定值(100)时，操作检测单元25从指示为操作信息的检测轴上的位置和起点之间的距离与该位置和终点之间的距离的比，计算对应于该位置的值。此外，当特定部位从VOA5移入球体SP1时，操作检测单元25获取对应于起点的值(-100)，以及当特定部位从VOA5移入球体SP2时，操作检测单元25获取对应于终点的值(100)。

由此，对1D手势类型，设定铜锣烧型虚拟3D操作区域，由此，即使当由操作者利用特定部位执行的操作某种程度上偏离检测轴时，可以适当地获取操作信息。此外，根据铜锣烧式形状，当越接近起点和终点时，检测余量减小，并且当越远离起点和终点时，检测余量越大。这与操作者的特定部位的运动的方式的属性相符。在特定部位从一个目标(起点)移向另一目标(终点)的情况下，当连接目标的直线对操作者不可见时，在目标的每一个的附近，可能使特定部位设置到接近目标，但特定部位通常易于与直线分离，同时与目标的每一个分离。因此，对1D手势类型，设定铜锣烧型虚拟3D操作区域，由此，使操作者的操作感与虚拟3D操作区域匹配，并且可以实现易于由操作者使用的用户界面。在通过旋转椭圆获得的椭圆体中，也能获得这种效果，其中，将连接起点和终点的线设定为长直径(长轴的长度)以及在长轴周围，任意地设定短直径(短轴的长度)。然而，对1D手势类型设定的虚拟3D操作区域的形状不限于铜锣烧式形状或椭圆形状，并且可以是其他立体形状，诸如立方体、直方体、球体等等的形状。

[操作示例]

在下文中，将参考图10，描述根据第一示例性实施例的三维操作处理方法。图10是示例根据本发明的第一示例性实施例的系统1的操作示例的顺序图。在下文中，将传感器侧装置10或显示器侧装置20描述为每一方法的执行主题，并且执行主题可以是构成系统1的至少一个计算机。

传感器侧装置10从3D传感器8顺序地获取3D信息(S101)。3D信息包括有关作为公共真实对象的标志7和操作者的特定部位的信息。关于具有预定帧速率的3D信息，传感器侧装置10执行下述操作。

传感器侧装置10基于3D信息，检测公共真实对象(标志7)(S102)。接着，传感器侧装置10基于所检测的公共真实对象，设定3D坐标空间，并且计算该3D坐标空间中的3D传感器8的位置和方向(S103)。

此外，传感器侧装置10通过使用3D信息，计算操作信息的特定部位的3D位置信息(S104)。此外，在步骤(S103)中计算的3D传感器8的位置和方向，以及3D坐标空间的基础上，传感器侧装置10将在步骤(S104)中计算的3D位置信息变换成有关在步骤(S103)中设定的3D坐标空间的3D位置信息(S105)。

传感器侧装置10将在步骤(S105)中获得的有关操作者的特定部位的3D位置信息传送到显示器侧装置20(S106)。在图7中，为了方便描述，示出了以3D信息的预定帧速率执行步骤(S102)和(S103)的示例，并且可以仅在执行校正时，执行步骤(S102)和(S103)。

另一方面，不与获取3D信息(S101)同步地显示器侧装置20从HMD9顺序地获取视线图像(S111)。关于具有预定帧速率的视线图像，显示器侧装置20执行下述操作。

显示器侧装置20在视线图像的基础上，检测与由传感器侧装置10检测的相同的公共实际对象(标志7)(S112)。因此，显示器侧装置20在所检测的公共真实对象的基础上，设定3D坐标空间并且计算3D坐标空间中的HMD9的位置和方向(S113)。使用相同标志7(公共真实对象)，由此，在传感器侧装置10和显示器侧装置20之间共享3D坐标空间。

如上所述，显示器侧装置20生成3D区域数据(S114)。该3D区域数据包括有关虚拟3D操作区域的信息，诸如在(S113)中设定的3D坐标空间的位置、大小、形状和显示模式(在至少区域的边界可见的状态下的透明显示模式)。通过如上所述的任意方法，获取有关虚拟3D操作区域的这些设定信息。当设定多个虚拟3D操作区域时，显示器侧装置20生成表示虚拟3D操作区域的每一个的每一3D区域数据。

显示器侧装置20能在(S113)中设定的3D坐标空间的基础上，将在(S111)中获取的视线图像与基于在(S114)中生成的3D区域数据的虚拟3D操作区域合成(S115)。显示器侧装置20使HMD9显示由合成(S116)获得的图像。

当显示器侧装置20从传感器侧装置10接收有关操作者的特定部位的3D位置信息时(S117)，显示器侧装置20在3D坐标空间中的操作者的特定部位的位置和虚拟3D操作区域的位置的基础上，检测在虚拟3D操作区域中，由操作者利用特定部位执行的操作(S118)。在操作的检测中，显示器侧装置20指定检测操作的虚拟3D操作区域，并且获取对应于在虚拟3D操作区域中设定的操作类型的操作信息。操作信息是指示由操作者利用特定部位执行并且对应于操作类型的操作内容的信息。

系统1执行对应于在(S118)中检测的操作的控制。

在图10中，为便于描述，示例以视线图像的预定帧速率，执行(S112)至(S114)，以及可以仅在执行校正时执行(S112)和(S113)，并且在设定虚拟3D操作区域或激活系统1时，执行(S114)的示例。

[第一示例性实施例的动作和效果]

由此，在第一示例性实施例中，在由HMD9和3D传感器8的每一个获得的图像信息上所示的公共真实对象(标志7)的基础上，在传感器侧装置10和显示器侧装置20之间共享3D坐标空间。然后，在3D坐标空间的基础上，合成视线图像和虚拟3D操作区域，使得在至少区域边界可见的状态下，透明地显示虚拟3D操作区域，并且在安装在操作者的头部上的HMD9上，显示该合成图像。

因此，由操作者可见虚拟3D操作区域，就象该虚拟3D操作区域处于现实世界一样。此外，在至少区域的边界可见的状态下，透明地显示虚拟3D操作区域，由此现实世界中的对象和背景可见，而不受虚拟3D操作区域妨碍。即，根据第一示例性实施例，操作者能直观地掌握立体操作区域。

此外，在第一示例性实施例中，与获得视线图像的摄像单元(可佩戴式摄像机9a和可佩戴式摄像机9b)分离地设置用于测量操作者的特定部位的位置的传感器(3D传感器8)，比较如上所述公共3D坐标空间中的操作者的特定部位与虚拟3D操作区域之间的位置关系，由此检测虚拟3D操作区域中，由操作者利用特定部位执行的操作。

因此，根据第一示例性实施例，可以准确地检测在视线图像上所示的空间中的虚拟3D操作区域与操作者的特定部位之间的位置关系，因此，可以赋予操作者直观操作感，就象操作者与虚拟3D操作区域直接接触一样。

此外，在第一示例性实施例中，根据操作者等等，在用于设置通过使用任意方法设定的虚拟3D操作区域、大小、形状等等的位置的基础上，确定虚拟3D操作区域的显示模式。因此，根据第一示例性实施例，可以自由地设定用于检测操作者的手势操作的立体操作区域。

此外，根据第一示例性实施例，如图3所示，可以设定多个虚拟3D操作区域，并且可以设定对虚拟3D操作区域的每一个不同的操作类型。因此，可以允许设计者或用户(操作者)自由地设计三维用户界面。例如，当使用分别使用按具有少数维数，诸如1D手势类型的信息，指定操作内容的操作类型的多个虚拟3D操作区域时，根据3D传感器8的测量精度或操作者的特定部位的识别精度，即使当不能识别精细运动(手势)时，也可以辨别多个操作内容。

由此，根据第一示例性实施例，可以允许操作者易于识别操作区域和允许操作者自由地设置多个操作区域，由此可以提高用户界面的可用性。

[第二示例性实施例]

在第二示例性实施例的系统1中，相对于待显示的虚拟3D操作区域本身的运动、调整大小、旋转、变形等等是可用的。在下文中，将在不同于第一示例性实施例的内容的基础上，描述第二示例性实施例的系统1。在下述描述中，将不重复与第一示例性实施例相同的内容。

[处理结构]

<传感器侧装置>

图11是概念地示出根据第二示例性实施例的传感器侧装置10的处理结构示例的图。根据第二示例性实施例的传感器侧装置10除第一示例性实施例的结构外，进一步包括状态获取单元15。与其他单元一样，实现状态获取单元15。

状态获取单元15获取操作者的特定部位的状态信息。特定部位的状态信息是能指定与特定部位的形状的状态相关的信息，例如，指示握紧状态、打开状态、竖大拇指状态等等。该特定部位与作为位置计算单元14中的检测目标的特定部位相同。在该示例性实施例中，在可检测范围内，不限定能由状态信息指示的状态的数量。此外，当使用多个特定部位时，状态获取单元15获取与特定部位的每一个有关的每一状态信息。

状态获取单元15例如保持对应于用于预先辨别特定部位的状态的每一个的图像特征信息，并且通过将从包括在由3D信息获取单元11获取的3D信息中的2D图像提取的特征信息与预先保持的图像特征信息的每一个比较，获取特定部位的状态信息。此外，状态获取单元15可以在从特定部位中安装的应变传感器(未示出)获得的信息的基础上，获取特定部位的状态信息。另外，状态获取单元15可以在来自由操作者的手操作的输入鼠标(未示出)的信息的基础上，获取状态信息。此外，状态获取单元15可以通过识别从麦克风(未示出)获得的声音，获取状态信息。

传输单元16将由状态获取单元15获取的、有关操作者的特定部位的状态信息与有关操作的特定部位的3D位置信息一起，传送到显示器侧装置20。

<显示器侧装置>

图12是概念地示出根据第二示例性实施例的显示器侧装置20的处理结构示例的图。根据第二示例性实施例的显示器侧装置20除第一示例性的结构外，进一步包括区域处理单元26。与其他单元一样，实现区域处理单元26。

操作检测单元25接收从传感器侧装置10传送的有关操作者的特定部位的3D位置信息和状态信息，并且在这些信息的基础上，检测虚拟3D操作区域本身的特定操作。操作检测单元25可以在除虚拟3D操作区域外，在绕虚拟3D操作区域的预定范围中，相对于虚拟3D操作区域本身，设置用于检测特定部位的余量。在下文中，用于检测对虚拟3D操作区域本身的具体操作的区域将称为特定操作检测区域。

操作检测单元25在操作者的特定部位在特定操作检测区域中的滞留期或特定部位的状态的基础上，确定是否检测对虚拟3D操作区域本身的特定操作，或是否检测在第一示例性实施例中所述的虚拟3D操作区域中的操作。例如，当操作检测单元25检测操作者的特定部位保持在特定操作检测区域中大于或等于预定时间周期时，操作检测单元25进行到虚拟3D操作区域本身的特定操作的检测模式。另外，当操作检测单元25检测到特定操作检测区域中的操作者的特定部位处于特定状态(握紧状态)时，操作检测单元25进行到虚拟3D操作区域本身的特定操作的检测模式。当操作检测单元25进行到虚拟3D操作区域本身的特定操作的检测模式时，具体地，操作检测单元25如下检测特定操作。然而，由操作检测单元25检测的虚拟3D操作区域本身的特定操作不限于下述内容。

当操作者的特定部位是一只手时，操作检测单元25检测下述特定操作。操作检测单元25检测在特定操作检测区域中移动该只手，同时保持特定状态(例如握紧状态)的操作(在下文中，称为第一特定操作)。在这种情况下，操作检测单元25将当检测到第一特定操作时的该只手的线性移动量和移动方向获取为操作信息。另外，操作检测单元25检测在移动该只手前后同时该只手保持特定状态时，不改变从虚拟3D操作区域中的特定点到该只手的距离的操作(在下文中，称为第二特定操作)。在此，虚拟3D操作区域中的特定点是例如中心点。在这种情况下，操作检测单元25在检测到第二特定操作时，将连接该只手与特定点的线的立体角变化量获取为操作信息。

当操作者的多个特定部位是双手时，操作检测单元25检测下述特定操作。操作检测单元25检测在双手保持特定状态(例如握紧状态)的同时，改变双手之间的距离的操作(在下文中，称为第三特定操作)。在这种情况下，操作检测单元25在检测到第三特定操作的同时，将双手之间的距离的变化量获取为操作信息。另外，操作检测单元25检测在双手保持特定状态(例如握紧状态)的同时，改变连接两手的线的角度的操作(在下文中，称为第四特定操作)。在这种情况下，操作检测单元25在检测到第四特定操作的同时，将连接双手的线的立体角变化量获取为操作信息。

另外，当在虚拟3D操作区域中显示多个操作指针时，操作检测单元25检测在保持特定状态(例如握紧状态)的同时，在操作指针的区域中移动操作者的特定部位的操作(在下文中，称为第五特定操作)。在这种情况下，操作检测单元25将在检测到第五特定操作时的特定部位的线性移动量和移动方向获取为操作信息。

区域处理单元26将对应于由操作检测单元25检测的调整大小处理、旋转处理、变形处理和移动处理的至少一个应用于由虚拟数据生成单元24生成的3D区域数据。具体地，区域处理单元26相对于3D区域数据，执行下述处理。然而，区域处理单元26的处理内容不限于下述具体示例。

当由操作检测单元25检测到第一特定操作时，区域处理单元26在由操作信息指示的线性移动量和移动方向的基础上，使用其移动方法，使作为目标的虚拟3D操作区域移动线性移动量。此外，当检测到第二特定操作时，区域处理单元26将特定点用作基准，使作为目标的虚拟3D操作区域旋转由操作信息指示的立体角变化量。当检测到第三特定操作时，区域处理单元26以由操作信息指示的、对应于双手之间的距离的变化量的放大率或缩小率，改变作为目标的虚拟3D操作区域的大小。此外，当检测到第四特定操作时，区域处理单元26将一只手的位置用作基准点，使作为目标的虚拟3D操作区域旋转连接双手的线的立体角变化量。

此外，当相对于虚拟3D操作区域本身，移动到特定操作的检测模式时，区域处理单元26在虚拟3D操作区域的预定位置中，设定预定多个操作指针。例如，如以图7B的参考数字OP1和OP2，显示操作指针。当以直方体或立方体的形状设定虚拟3D操作区域时，区域处理单元26可以在每一顶点设定操作指针。此外，当以铜锣烧式形状设定虚拟3D操作区域时，如图9所示，区域处理单元26可以在起点和终点设定操作指针。

当检测到第五特定操作时，区域处理单元26按线性移动量并且在由操作信息指示的移动方向中，移动所操作的操作指针，由此改变虚拟3D操作区域。例如，根据由于操作指针的移动，起点和终点之间的距离的变化，将铜锣烧型虚拟3D操作区域改变成以图9所示的原理生成的铜锣烧式形状。此外，在保持操作指针之间的距离关系的情况下，改变以立方体或直方体形状的虚拟3D操作区域。

[操作示例]

在下文中，将参考图13，描述根据第二示例性实施例的三维操作处理方法。图13是根据第二示例性实施例的系统1的操作示例的时序图。在图13中，将与图10相同的参考数字应用于与图10相同的内容的步骤。在下文中，将传感器侧装置10或显示器侧装置20描述为每一方法的执行主题，并且执行主题可以是构成系统1的至少一个计算机。

与第一示例性实施例一样，传感器侧装置10执行(S101)至(S105)，并且在第二示例性实施例中，进一步获取操作者的特定部位的状态信息(S131)。传感器侧装置10将有关操作者的特定部位的3D位置信息和状态信息传送到显示器侧装置20(S132)。此外，(S131)的执行定时不限于图13所示的定时。

与第一示例性实施例一样，显示器侧装置20执行(S111)至(S116)，由此使HMD9显示视线图像和虚拟3D操作区域的合成图像。当显示器侧装置20从传感器侧装置10接收有关操作者的特定部位的3D位置信息和状态信息时(S133)，显示器侧装置20在这些信息的基础上，确定待检测的操作是否是相对于虚拟3D操作区域本身的特定操作(S134)。如上所述，在特定操作检测区域中的操作者的特定部位的滞留期或特定部位的状态的基础上，执行该确定。

当显示器侧装置20确定待检测的操作不是相对于虚拟3D操作区域本身的特定操作时(S134：否)，与第一示例性实施例一样，检测虚拟3D操作区域中的操作(S118)。

相反，当显示器侧装置20确定待检测的操作是相对于虚拟3D操作区域本身的特定操作时(S134：是)，在有关操作者的特定部位的3D位置信息和状态信息的基础上，检测相对于虚拟3D操作区域本身的特定操作(S135)。显示器侧装置20将对应于所检测的特定操作的调整大小处理、旋转处理、变形处理和移动处理的至少一个应用于3D区域数据(S136)。因此，在应用调整大小、旋转、变形和移动的至少一个后，显示器侧装置20使HMD9显示可见图像和虚拟3D操作区域的合成图像。

[第二示例性实施例的动作和效果]

如上所述，在第二示例性实施例中，与操作者的特定部位的3D位置信息一起，获取特定部位的状态信息，并且在特定部位的3D位置和状态的基础上，确定相对于虚拟3D操作区域本身，是否执行特定操作。然后，当检测到特定操作时，将对应于特定操作的调整大小处理、旋转处理、变形处理和移动处理的至少一个应用于3D区域数据，因此，操作3D坐标空间中的虚拟3D操作区域本身。

由此，根据第二示例性实施例，可以设计虚拟3D操作区域的形状和位置，使得操作者易于管理虚拟3D操作区域并且用户界面提供者期望设计虚拟3D操作区域。此外，根据第二示例性实施例，可以实现关于就象通过与处理实际对象相同的感觉，虚拟3D操作区域处于现实世界中一样显示的虚拟3D操作区域本身的操作。

[第三示例性实施例]

根据第三示例性实施例的系统1能更新虚拟3D操作区域的设定。在下文中，将在不同于第一示例性实施例和第二示例性实施例的内容的基础上，描述根据第三示例性实施例的系统1。在下述描述中，将不重复与第一示例性实施例和第二示例性实施例相同的内容。

在第三示例性实施例中，传感器侧装置10和显示器侧装置20具有与第一示例性实施例或第二示例性实施例相同的处理结构。在下文中，将仅描述不同于第一示例性实施例的处理内容的每一单元。

虚拟数据生成单元24进一步生成在3D坐标空间中设置的功能菜单的显示数据并且指示将由虚拟3D操作区域采用的各种形状。作为呈现在功能菜单中的形状，例如，如图7A和7B所示，包括球体、立方体、直方体、铜锣烧等等的形状。然而，在该示例性实施例中，不限定呈现在功能菜单中的特定形状本身。

当由操作检测单元25检测到呈现在功能菜单中的任何一个形状的选择操作时，虚拟数据生成单元24生成3D区域数据，其中，在根据功能菜单的操作的检测位置确定的3D坐标空间中的位置中设置虚拟3D操作区域。当选择图7B中所示的铜锣烧式形状时，具体地，如下生成3D区域数据。虚拟数据生成单元24将起点(操作点OP1)和终点(操作点OP2)设定在根据功能菜单的操作的检测位置确定的3D坐标空间的位置中，并且设定具有区域的形状(铜锣烧式)的新虚拟3D操作区域，其中，两个球体相交，两个球体以起点和终点作为每一个的中心点，并且分别具有包括离中心点的距离是连接起点和终点的直线的一半的点的球面。

图像合成单元27在功能菜单的显示数据的基础上，合成功能菜单和视线图像。显示处理单元28进一步使HMD9在由图像合成单元27生成的合成图像的基础上，显示功能菜单。图14是示出功能菜单的显示示例的图。如图14所示，功能菜单示出待选择的每一形状。

操作检测单元25检测由操作者利用特定部位对功能菜单执行的操作，使虚拟数据生成单元24生成表示设置在根据操作的检测位置确定的3D空间的位置中并且具有由操作选择的形状的虚拟3D操作区域的新三维区域数据。另外，操作检测单元25检测在3D坐标空间中的任意位置的预定操作来使虚拟数据生成单元24生成功能菜单的显示数据。虚拟数据生成单元24可以通过使用操作者的特定部位的3D位置信息，检测显示功能菜单的操作和功能菜单的选择操作，或可以如在第二示例性实施例中，检测特定部位的3D位置信息和状态信息。

[操作示例]

在下文中，将参考图15，描述根据第三示例性实施例的三维操作处理方法。图15是示例根据第三示例性实施例的显示器侧装置20的操作示例的流程图。在图15中，仅示例与第三示例性实施例有关的步骤，而除图15所示的步骤外，显示器侧装置20实际上还执行第一示例性实施例和第二示例性实施例中所述的步骤。在下文中，将显示器侧装置20描述为每一方法的执行主题，并且执行主题可以是构成系统1的至少一个计算机。

显示器侧装置20从传感器侧装置10接收有关操作者的3D位置信息(S151)。此时，假定在HMD9中，仅显示视线图像，并且不显示虚拟3D操作区域。

当显示器侧装置20在(S151)中所接收的3D位置信息的基础上，检测到预定操作时，显示器侧装置20生成功能菜单的显示数据(S152)。然后，在显示数据的基础上，显示器侧装置20将视线图像和功能菜单合成(S153)，并且使HMD9显示合成图像(S154)。

操作者通过使用特定部位，操作如图14所示的显示的功能菜单。根据图14的示例，操作者通过特定部位，指向表明期望的形状(例如铜锣烧式形状)的区域。因此，显示器侧装置20从传感器侧装置10接收有关对应于功能菜单的操作的操作者的特定部位的3D位置信息(S155)。

显示器侧装置20在3D位置信息的基础上，指定功能菜单的选择操作，并且生成表示具有所选择的形状的虚拟3D操作区域的3D区域数据(S156)。根据上述示例，显示器侧装置20生成表示铜锣烧型虚拟3D操作区域的3D区域数据。

显示器侧装置20将由所生成的3D区域数据表示的虚拟3D操作区域与视线图像合成(S157)，并且使HMD9显示合成图像(S158)。因此，具有由操作者选择的形状的虚拟3D操作区域由操作者可见。

[第三示例性实施例的动作和效果]

如上所述，在第三示例性实施例中，在功能菜单的显示数据的基础上，在HMD9上显示功能菜单与视线图像合成的图像，新生成表示具有在功能菜单中选择的形状的虚拟3D操作区域的3D区域数据。在该3D区域数据中，虚拟3D操作区域设置在根据对功能菜单的操作的检测位置确定的3D坐标空间的位置中。其结果是，在HMD9上显示新虚拟3D操作区域与视线图像合成的图像。

由此，根据第三示例性实施例，操作者能在期望的位置中设定具有期望的形状的虚拟3D操作区域。此外，根据第三示例性实施例，对操作者来说，可以使用操作显示为虚拟真实性的功能菜单的简单操作，设定虚拟3D操作区域。

[变形示例]

在上述每一示例性实施例中，如图3所示，HMD9包括对应于操作者(用户)的双眼的可佩戴式摄像机9a和9b以及显示器9c和9d，但可以包括一个可佩戴式摄像机和一个显示器。在这种情况下，可以设置一个显示器来覆盖操作者的一只眼睛的视野，或可以设置成覆盖操作者的双眼的视野。在这种情况下，显示器侧装置20的虚拟数据生成单元24可以使用3DCG技术，生成虚拟3D对象数据，使得包括在虚拟3D空间中的显示对象能由3DCG显示。

另外，在上述示例性实施例的每一个中，使用视频透视型HMD9，以便获得视线图像，并且可以使用光学透视型HMD9。在这种情况下，具有半反射镜的显示器9c和9d可以设置在HMD9中，以及可以在这些显示器9c和9d上，显示虚拟3D对象。然而，在这种情况下，在不遮挡HMD9的操作者的视野的位置中，设置用于获得用于检测操作者的视线方向中的公共真实对象的图像的摄像机。

此外，在上述示例性实施例的每一个中，如图2所示，单独地设置传感器侧装置10和显示器侧装置20，但可以由一个计算机(装置)构成。在这种情况下，HMD9和3D传感器8连接到该计算机的输入输出I/F5，由此，不需要传输单元16。

此外，在上述第二示例性实施例中，通过使用有关操作者的特定部位的3D位置信息和状态信息，确定对虚拟3D操作区域本身的特定操作移向检测模式，并且检测特定操作，但可以仅使用3D位置信息。在这种情况下，传感器侧装置10的状态获取单元15是不必要的。

此外，在上述第三示例性实施例中，显示更新虚拟3D操作区域的设定的功能菜单，但可以显示功能菜单以便相对于预先设定的虚拟3D操作区域，改变形状。在这种情况下，操作检测单元25检测预先存在的虚拟3D操作区域的预定操作，并且虚拟数据生成单元24根据检测的预定操作，生成功能菜单的显示数据。因此，区域处理单元26处理3D区域数据，使得改变作为目标的虚拟3D操作区域来具有在功能菜单中选择的形状。

此外，可以显示功能菜单以便指示相对于虚拟3D操作区域的操作类型。在这种情况下，虚拟数据生成单元24生成表示能在虚拟3D操作区域中设定的多个操作类型的功能菜单的显示数据，如图16所示。图16是示出功能菜单的另一显示示例的图。根据图16的示例，显示功能菜单，以便选择3D手势类型、2D手势类型、1D手势类型和0D手势类型的任何一个。在这种情况下，操作检测单元25可以指定从功能菜单选择的任何一个操作类型，并且虚拟数据生成单元24或区域处理单元26可以设定作为目标的虚拟3D操作区域中的特定操作类型。

此外，在用在上述描述的流程图中，顺序地描述多个步骤(处理)，但在示例性实施例的每一个中执行的步骤的执行顺序不限于上述顺序。在示例性实施例的每一个中，所示步骤的顺序能在不中断内容的范围内改变。另外，上述示例性实施例和变形示例的每一个能在不与内容冲突的范围内相结合。

示例性实施例和变形示例的每一个的一部分或全部均能如在下述附录中具体化。然而，示例性实施例和变形示例的每一个不限于下述描述。

(附注1)

一种三维用户界面装置，包括：视线图像获取单元，从操作者获取由操作者的头部上安装的摄像单元拍摄的视线图像；坐标设定单元，在由视线图像获取单元获取的视线图像的基础上，设定三维坐标空间；虚拟数据生成单元，在至少区域的边界可见的状态下，生成表示设置在三维坐标空间的任意位置中的透明虚拟三维操作区域的三维区域数据；显示处理单元，通过将对应于在视线图像上所示的空间的三维坐标空间中的可见空间用作显示基准，使安装在操作者的头部上的显示单元显示由虚拟数据生成单元生成的三维区域数据表示的虚拟三维操作区域；位置获取单元，获取三维坐标空间中的操作者的特定部位的三维位置；以及操作检测单元，在由位置获取单元获取的三维位置和三维坐标空间中的虚拟三维操作区域的位置的基础上，检测在虚拟三维操作区域中，由操作者利用特定部位执行的操作。

(附注2)

根据附注1所述的三维用户界面装置，进一步包括：区域处理单元，当操作检测单元检测到虚拟三维操作区域本身的特定操作时，区域处理单元将对应于由操作检测单元检测的特定操作的调整大小处理、旋转处理、变形处理和移动处理的至少一个应用于三维区域数据。

(附注3)

根据附注1或2所述的三维用户界面装置，其中，虚拟数据生成单元生成分别表示三维坐标空间中的位置和相对于多个虚拟三维操作区域的每一个的操作类型的多个三维区域数据，以及操作检测单元在多个虚拟三维操作区域中，指定所操作的虚拟三维操作区域，并且获取对应于在特定虚拟三维操作区域中设定的操作类型的操作信息。

(附注4)

根据附注1至3的任何一个所述的三维用户界面装置，其中，虚拟数据生成单元进一步生成设置在三维坐标空间中的功能菜单的显示数据，功能菜单表示由虚拟三维操作区域采用的多个形状，显示处理单元使显示单元进一步显示功能菜单；以及操作检测单元检测由操作者利用特定部位对功能菜单执行的操作，以便使虚拟数据生成单元生成表示设置在三维空间的位置中的且具有由操作选择的形状的虚拟三维操作区域的三维区域数据，该位置根据所检测的操作的位置确定。

(附注5)

根据附注4所述的三维用户界面装置，其中，虚拟数据生成单元在根据所检测的功能菜单的操作位置确定的三维坐标空间的位置中，设定起点和终点并且将两个球体相交的区域的形状设定到由新三维区域数据指示的虚拟三维操作区域，两个球体以起点和终点作为每一个的中心点并且分别具有包括离中心点的距离为连接起点和终点的直线的一半的点的球面。

(附注6)

根据附注1至5的任何一个所述的三维用户界面装置，进一步包括：图像合成单元，在三维坐标空间的基础上，将由三维区域数据表示的虚拟三维操作区域与表示作为显示基准的空间的视线图像合成，其中，显示处理单元使显示单元显示由图像合成单元获得的图像。

(附注7)

根据附注6所述的三维用户界面装置，进一步包括：三维信息获取单元，从三维传感器获取三维信息；第一对象检测单元，从三维信息检测已知公共真实对象；第二对象检测单元，从由视线图像获取单元获取的视线图像，检测公共真实对象；以及基准设定单元，在由第一对象检测单元检测的公共真实对象的基础上，设定三维坐标空间，并且计算三维传感器的位置和方向，其中，坐标设定单元在由第二对象检测单元检测的公共真实对象的基础上，共享三维坐标空间并且计算摄像单元的位置和方向，位置获取单元在由基准设定单元计算的三维传感器的位置和方向和三维坐标空间的基础上，转换从由三维信息获取单元获取的三维信息获得的操作者的特定部位的三维位置信息来计算三维坐标空间中的操作者的特定部位的三维位置信息，以及图像合成单元在由坐标设定单元计算的摄像单元的位置和方向以及三维坐标空间的基础上，执行合成。

(附注8)

一种由至少一个计算机执行的三维操作处理方法，包括：从操作者获取视线图像，视线图像由操作者的头部上安装的摄像单元拍摄；在所获取的视线图像的基础上，设定三维坐标空间；在至少虚拟三维操作区域的边界可见的状态下，生成表示设置在三维坐标空间的任意位置中的透明虚拟三维操作区域的三维区域数据；通过将对应于在视线图像上所示的空间的三维坐标空间中的可见空间用作显示基准，使安装在操作者的头部上的显示单元显示由所生成的三维区域数据表示的虚拟三维操作区域；获取三维坐标空间中的操作者的特定部位的三维位置；以及在所获取的三维位置和三维坐标空间中的虚拟三维操作区域的位置的基础上，检测在虚拟三维操作区域中，由操作者利用特定部位执行的操作。

(附注9)

根据附注8所述的三维操作处理方法，进一步包括：检测虚拟三维操作区域本身的操作者的特定部位；以及将对应于所检测的特定操作的调整大小处理、旋转处理、变形处理和移动处理的至少一个应用于三维区域数据。

(附注10)

根据附注8或9所述的三维操作处理方法，其中，生成三维区域数据包括生成分别表示三维坐标空间中的位置和相对于多个虚拟三维操作区域的每一个的操作类型的多个三维区域数据，以及检测操作包括在多个虚拟三维操作区域中，指定所操作的虚拟三维操作区域，并且获取对应于在特定虚拟三维操作区域中设定的操作类型的操作信息。

(附注11)

根据附注8至10的任何一个所述的三维操作处理方法，进一步包括：生成设置在三维坐标空间中的功能菜单的显示数据，功能菜单表示由虚拟三维操作区域采用的多个形状，使显示单元显示功能菜单；以及检测由操作者利用特定部位对功能菜单执行的操作，其中，生成三维区域数据包括生成表示设置在三维空间的位置中的且具有由操作选择的形状的虚拟三维操作区域的三维区域数据，该位置根据所检测的对功能菜单的操作的位置确定。

(附注12)

根据附注11所述的三维操作处理方法，其中，生成三维区域数据包括在根据所检测的功能菜单的操作位置确定的三维坐标空间的位置中，设定起点和终点并且生成表示具有区域的形状的虚拟三维操作区域的三维区域数据，其中，两个球体相交，两个球体以起点和终点作为每一个的中心点并且分别具有包括离中心点的距离为连接起点和终点的直线的一半的点的球面。

(附注13)

根据附注8至12的任何一个所述的三维操作处理方法，进一步包括：在三维坐标空间的基础上，将由三维区域数据表示的虚拟三维操作区域与表示作为显示基准的空间的视线图像合成，其中，使显示虚拟三维操作区域包括使显示单元显示通过合成获得的图像。

(附注14)

根据附注13所述的三维操作处理方法，进一步包括：从三维传感器获取三维信息；从三维信息检测已知公共真实对象；从所获取的视线图像，检测公共真实对象；以及在所检测的公共真实对象的基础上，设定三维坐标空间；计算三维传感器的位置和方向，并且通过在三维传感器的位置和方向和三维坐标空间的基础上，变换从三维信息获得的操作者的特定部位的三维位置信息，计算三维坐标空间中的操作者的特定部位的三维位置信息，其中，设定三维坐标空间包括在从视线图像检测的公共真实对象的基础上，共享三维坐标空间并且计算摄像单元的位置和方向，以及通过使用摄像单元的位置和方向以及三维坐标空间，执行视线图像与虚拟三维操作区域的合成。

(附注15)

一种程序，使至少一个计算机执行根据附注8至14的任何一个所述的三维操作处理方法。

本申请要求基于2013年3月11日提交的日本专利申请No.2013-047849的优先权，其全部内容在此引入以供参考。

Claims (13)

1.一种三维用户界面装置，包括：

视线图像获取单元，所述视线图像获取单元从操作者获取视线图像，所述视线图像由在所述操作者的头部上安装的摄像单元拍摄；

坐标设定单元，所述坐标设定单元在由所述视线图像获取单元获取的所述视线图像的基础上，设定三维坐标空间；

虚拟数据生成单元，所述虚拟数据生成单元在至少虚拟三维操作区域的边界可见的状态下，生成表示设置在所述三维坐标空间的任意位置中的透明虚拟三维操作区域的三维区域数据；

显示处理单元，所述显示处理单元通过将对应于在所述视线图像上所示的空间的所述三维坐标空间中的可见空间用作显示基准，使安装在所述操作者的头部上的显示单元显示由所述虚拟数据生成单元生成的所述三维区域数据表示的所述虚拟三维操作区域；

位置获取单元，所述位置获取单元获取所述三维坐标空间中的所述操作者的特定部位的三维位置；以及

操作检测单元，所述操作检测单元在由所述位置获取单元获取的所述三维位置和所述三维坐标空间中的所述虚拟三维操作区域的位置的基础上，检测在所述虚拟三维操作区域中，由所述操作者利用所述特定部位执行的操作。

2.根据权利要求1所述的三维用户界面装置，进一步包括：

区域处理单元，当所述操作检测单元检测到对所述虚拟三维操作区域本身的特定操作时，所述区域处理单元将对应于由所述操作检测单元检测到的所述特定操作的调整大小处理、旋转处理、变形处理和移动处理的至少一个应用于所述三维区域数据。

3.根据权利要求1或2所述的三维用户界面装置，其中

所述虚拟数据生成单元生成分别表示所述三维坐标空间中的位置和相对于多个所述虚拟三维操作区域的每一个的操作类型的多个所述三维区域数据，以及

所述操作检测单元在所述多个虚拟三维操作区域中，指定所操作的虚拟三维操作区域，并且获取对应于在所指定的虚拟三维操作区域中设定的操作类型的操作信息。

4.根据权利要求1至3的任何一项所述的三维用户界面装置，其中

所述虚拟数据生成单元进一步生成设置在所述三维坐标空间中的功能菜单的显示数据，所述功能菜单表示由所述虚拟三维操作区域采用的多个形状，

所述显示处理单元使所述显示单元进一步显示所述功能菜单，以及

所述操作检测单元检测由所述操作者利用所述特定部位对所述功能菜单执行的操作，使所述虚拟数据生成单元生成表示设置在所述三维空间的位置中的且具有由所述操作选择的形状的所述虚拟三维操作区域的所述三维区域数据，所述位置根据所检测到的所述操作的位置确定。

5.根据权利要求4所述的三维用户界面装置，其中

所述虚拟数据生成单元在根据所检测到的对所述功能菜单的所述操作的位置确定的所述三维坐标空间的位置中，设定起点和终点并且将两个球体相交的区域的形状设定到由新三维区域数据指示的所述虚拟三维操作区域，所述两个球体以所述起点和所述终点作为每一个的中心点并且每一个具有包括离所述中心点的距离为连接所述起点和所述终点的直线的一半的点的球面。

6.根据权利要求1至5的任何一项所述的三维用户界面装置，进一步包括：

图像合成单元，所述图像合成单元在所述三维坐标空间的基础上，将由所述三维区域数据表示的所述虚拟三维操作区域与示出作为所述显示基准的空间的所述视线图像合成，其中

所述显示处理单元使所述显示单元显示由所述图像合成单元获得的图像。

7.一种由至少一个计算机执行的三维操作处理方法，包括：

从操作者获取视线图像，所述视线图像由在所述操作者的头部上安装的摄像单元拍摄；

在所获取的视线图像的基础上，设定三维坐标空间；

在至少虚拟三维操作区域的边界可见的状态下，生成表示设置在所述三维坐标空间的任意位置中的透明虚拟三维操作区域的三维区域数据；

通过将对应于在所述视线图像上所示的空间的所述三维坐标空间中的可见空间用作显示基准，使安装在所述操作者的头部上的显示单元显示由所生成的三维区域数据表示的所述虚拟三维操作区域；

获取所述三维坐标空间中的所述操作者的特定部位的三维位置；以及

在所获取的三维位置和所述三维坐标空间中的所述虚拟三维操作区域的位置的基础上，检测在所述虚拟三维操作区域中，由所述操作者利用所述特定部位执行的操作。

8.根据权利要求7所述的三维操作处理方法，进一步包括：

检测对所述虚拟三维操作区域本身的所述操作者的特定操作；以及

将对应于所检测到的特定操作的调整大小处理、旋转处理、变形处理和移动处理的至少一个应用于所述三维区域数据。

9.根据权利要求7或8所述的三维操作处理方法，其中

所述生成所述三维区域数据包括生成分别表示所述三维坐标空间中的位置和相对于多个所述虚拟三维操作区域的每一个的操作类型的多个所述三维区域数据，以及

所述检测所述操作包括在所述多个虚拟三维操作区域中，指定所操作的虚拟三维操作区域，并且获取对应于在所指定的虚拟三维操作区域中设定的操作类型的操作信息。

10.根据权利要求7至9的任何一项所述的三维操作处理方法，进一步包括：

生成设置在所述三维坐标空间中的功能菜单的显示数据，所述功能菜单表示由所述虚拟三维操作区域采用的多个形状；

使所述显示单元显示所述功能菜单；以及

检测由所述操作者利用所述特定部位对所述功能菜单执行的操作，其中

所述生成所述三维区域数据包括生成表示设置在所述三维空间的位置中的且具有由所述操作选择的形状的所述虚拟三维操作区域的所述三维区域数据，所述位置根据所检测到的对所述功能菜单的所述操作的位置确定。

11.根据权利要求10所述的三维操作处理方法，其中

所述生成所述三维区域数据包括在根据所检测到的对所述功能菜单的所述操作的位置确定的所述三维坐标空间的位置中，设定起点和终点并且生成表示具有两个球体相交的区域的形状的所述虚拟三维操作区域的所述三维区域数据，所述两个球体以所述起点和所述终点作为每一个的中心点并且每一个具有包括离所述中心点的距离为连接所述起点和所述终点的直线的一半的点的球面。

12.根据权利要求7至11的任何一项所述的三维操作处理方法，进一步包括：

在所述三维坐标空间的基础上，将由所述三维区域数据表示的所述虚拟三维操作区域与示出作为所述显示基准的空间的所述视线图像合成，其中

所述使显示所述虚拟三维操作区域包括使所述显示单元显示通过合成获得的图像。

13.一种程序，使至少一个计算机执行根据权利要求7至12的任何一项所述的三维操作处理方法。