CN110060614B - 头部佩戴型显示装置及其控制方法、显示系统 - Google Patents

Abstract

提供头部佩戴型显示装置及其控制方法、显示系统，在利用拍摄图像的系统或装置中，可适当利用有可能包含不应该拍摄的事物的图像的拍摄图像。HMD(1A)具有：图像显示部(20A)，其佩戴于使用者的头部，对图像进行显示；照相机(61)，其设置于图像显示部(20A)，拍摄相对于图像显示部(20A)的规定的方向上的图像；以及控制部，其确定照相机(61)的拍摄范围中的非显示区域，对照相机(61)的拍摄图像数据进行使非显示区域的清晰度下降的处理，并输出处理后的拍摄图像数据。

Description

头部佩戴型显示装置及其控制方法、显示系统

技术领域

本发明涉及头部佩戴型显示装置、显示系统以及头部佩戴型显示装置的控制方法。

背景技术

以往，公知有利用因特网等发送照相机的拍摄图像的装置或系统。作为一例，在专利文献1中公开了如下结构：利用对人进行监视的监视照相机将拍摄到的影像经由因特网发送到电视监视器或计算机。

专利文献1：日本特开2002-142214号公报

另外，在利用拍下了不应该拍摄的事物的拍摄图像、或有可能拍下了不应该拍摄的事物的拍摄图像的情况下，需要特别考虑。例如，在专利文献1中记载了为了隐私保护而利用马赛克处理等对人物部分的影像进行遮蔽。由于专利文献1所记载的系统使用了所谓的监视照相机，所以拍摄范围或被摄体是固定的。因此，能够确定在拍摄图像中要遮蔽的部分。与此相对，在拍摄范围、拍摄方向或拍摄的被摄体根据装置结构或环境而发生变化的情况下，难以适当利用有可能拍下了不应该拍摄的事物的图像。因此，例如，人需要通过目视来进行判断是否拍下了不应该拍摄的事物等、负担较大的作业。

发明内容

本发明是鉴于上述情况而完成的，其目的在于，在利用拍摄图像的系统或装置中，可适当利用有可能包含不应该拍摄的事物的图像的拍摄图像。

为了解决上述课题，本发明的头部佩戴型显示装置具有：显示部，其佩戴于使用者的头部，对图像进行显示；摄像部，其设置于所述显示部，拍摄相对于所述显示部的规定的方向上的图像；以及控制部，其确定所述摄像部的拍摄范围中的非显示区域，对所述摄像部的拍摄图像数据进行使所述非显示区域的清晰度下降的处理，并输出处理后的所述拍摄图像数据。

根据本发明，将在摄像部的拍摄图像数据中拍下了不应该拍摄的事物的区域设为非显示区域，从而进行使非显示区域的清晰度下降的处理。由此，能够获得使不应该拍摄的事物的图像的清晰度下降的拍摄图像数据。因此，能够适当利用有可能包含不应该拍摄的事物的图像的拍摄图像。

并且，本发明具有存储部，所述存储部存储对非显示对象进行确定的非显示信息，所述控制部根据所述非显示信息来确定所述非显示区域。

根据该结构，基于存储到存储部中的非显示信息来确定作为使清晰度下降的处理的对象的非显示区域。由此，能够适当地确定有可能包含不应该拍摄的事物的图像的非显示区域。

并且，本发明的所述控制部在所述摄像部的拍摄范围中，将在所述摄像部的拍摄图像数据中包含所述非显示对象的图像的区域确定为所述非显示区域。

根据该结构，由于将在拍摄图像数据中拍下非显示对象的区域设为使清晰度下降的处理的对象，所以适当地隐匿并保护不应该拍摄的事物的图像。

并且，本发明的所述存储部所存储的所述非显示信息包含表示所述非显示对象的位置和方向中的至少任意一方的信息。

根据该结构，能够基于表示非显示对象的位置和/或方向的信息，在拍摄图像数据中适当地确定非显示区域。

并且，本发明的所述存储部所存储的所述非显示信息包含指定所述非显示对象到所述摄像部的距离的信息。

根据该结构，能够以到摄像部的距离为基准适当地确定非显示区域。

并且，本发明的所述非显示对象是预先设定的物体，所述存储部所存储的所述非显示信息包含用于从所述摄像部的拍摄图像数据中检测所述非显示对象的外观的信息。

根据该结构，在预先被设定为非显示对象的物体的外观包含在拍摄图像数据中的情况下，使拍摄图像数据的非显示对象的清晰度下降，因此能够防止或抑制非显示对象被看到。例如，可以将印刷有应该隐匿的信息的印刷物、公告板、图书、计算机的显示器等设为非显示对象。作为应该隐匿的信息，可列举与人的隐私相关的信息或个人信息，具体来说，存在人脸、身体、服装、姓名牌、名片、登记有个人姓名的公告板等。并且，例如，作为被保护为机密信息的非显示对象，可列举机器、设备本身或设计图纸等。

并且，本发明具有通信部，所述控制部通过所述通信部从外部装置接收所述非显示信息，并存储到所述存储部中。

根据该结构，能够利用与拍摄图像数据的处理相适的非显示信息。

并且，本发明具有检测部，所述检测部检测所述显示部的位置，所述控制部根据所述检测部的检测结果来确定所述显示部的位置，并根据所述显示部的位置和所述非显示信息来检测所述拍摄图像数据中的所述非显示区域。

根据该结构，能够与显示部的位置对应地确定有可能包含不应该拍摄的事物的图像的非显示区域。因此，在摄像部能够移动的结构中，能够适当利用有可能包含不应该拍摄的事物的图像的拍摄图像。

并且，本发明的所述摄像部输出按照第1拍摄分辨率拍摄的第1拍摄图像数据、和按照比所述第1拍摄分辨率低的第2拍摄分辨率拍摄的第2拍摄图像数据，在使所述非显示区域的清晰度下降的处理中，所述控制部将所述第1拍摄图像数据中的所述非显示区域置换成所述第2拍摄图像数据中的对应区域的图像。

根据该结构，通过对图像进行局部置换的处理，能够使非显示区域的清晰度下降。

并且，本发明具有映射数据，所述映射数据包含所述显示部所能够移动的范围的至少一部分，所述控制部确定所述映射数据中的所述非显示区域。

根据该结构，能够利用映射数据来容易地确定非显示区域。

并且，本发明的所述控制部生成所述显示部所能够移动的范围的所述映射数据，并确定所生成的所述映射数据中的所述非显示区域。

根据该结构，能够根据需要来生成映射数据，并利用该映射数据来容易地确定非显示区域。

并且，本发明的所述摄像部输出按照第1拍摄分辨率拍摄的第1拍摄图像数据、和按照比所述第1拍摄分辨率低的第2拍摄分辨率拍摄的第2拍摄图像数据，在使所述非显示区域的清晰度下降的处理中，所述控制部将包含所述非显示对象的图像的所述第1拍摄图像数据置换成所述第2拍摄图像数据。

根据该结构，通过对图像进行置换的处理，能够使包含非显示区域的拍摄图像整体的清晰度下降。

并且，关于本发明，在使所述非显示区域的清晰度下降的处理中，所述控制部对所述摄像部的拍摄条件进行控制而使所述摄像部执行拍摄，生成具有清晰度不同的部分的拍摄图像数据。

根据该结构，通过对摄像部的拍摄条件进行控制而使拍摄图像数据的清晰度下降，因此能够简化或省略拍摄图像数据的图像处理。因此，能够减轻处理负荷。

并且，本发明具有受理操作的操作部，当通过所述操作部所受理的操作在所述摄像部的拍摄范围中指定了所述非显示对象的情况下，所述控制部根据所指定的所述非显示对象的位置和方向中的至少任意一方来生成所述非显示信息。

根据该结构，由于根据操作来生成非显示信息，所以能够在拍摄图像数据中适当地设定使清晰度下降的处理的对象。

并且，为了解决上述课题，本发明的显示系统具有头部佩戴型显示装置和服务器，所述服务器具有：服务器存储部，其存储对非显示对象进行确定的非显示信息；以及发送部，其将存储于所述服务器存储部的所述非显示信息发送到所述头部佩戴型显示装置，所述头部佩戴型显示装置具有：显示部，其佩戴于使用者的头部，对图像进行显示；摄像部，其设置于所述显示部，拍摄相对于所述显示部的规定的方向上的图像；通信部；存储部，其存储通过所述通信部而从所述服务器接收的所述非显示信息；以及控制部，其根据存储于所述存储部的所述非显示信息，确定所述摄像部的拍摄范围中的非显示区域，对所述摄像部的拍摄图像数据进行使所述非显示区域的清晰度下降的处理，并输出处理后的所述拍摄图像数据。

根据该结构，将在摄像部的拍摄图像数据中拍下了不应该拍摄的事物的区域设为非显示区域，由此，通过头部佩戴型显示装置来进行使非显示区域的清晰度下降的处理。因此，能够获得使不应该拍摄的事物的图像的清晰度下降的拍摄图像数据。并且，由于头部佩戴型显示装置能够从服务器接收非显示信息，所以能够利用与拍摄图像数据的处理相适的非显示信息。由此，能够适当利用有可能包含不应该拍摄的事物的图像的拍摄图像。

并且，为了解决上述课题，本发明的头部佩戴型显示装置的控制方法是具有佩戴于使用者的头部并对图像进行显示的显示部的头部佩戴型显示装置的控制方法，在该头部佩戴型显示装置的控制方法中，通过设置于所述显示部的摄像部来拍摄相对于所述显示部的规定的方向上的图像，确定所述摄像部的拍摄范围中的非显示区域，对所述摄像部的拍摄图像数据进行使所述非显示区域的清晰度下降的处理，并输出处理后的所述拍摄图像数据。

根据本发明，将在摄像部的拍摄图像数据中拍下了不应该拍摄的事物的区域设为非显示区域，从而进行使非显示区域的清晰度下降的处理。由此，能够获得使不应该拍摄的事物的图像的清晰度下降的拍摄图像数据。因此，能够适当利用有可能包含不应该拍摄的事物的图像的拍摄图像。

本发明也可以通过上述头部佩戴型显示装置、显示系统以及头部佩戴型显示装置的控制方法以外的各种方式来实现。例如，能够通过用于使计算机执行上述控制方法的程序、记录了上述程序的记录介质、发布上述程序的服务器装置、传送上述程序的传送介质、在载波内将上述程序具体化的数据信号等方式来实现。

附图说明

图1是第1实施方式的显示系统的结构图。

图2是示出HMD的外观结构的说明图。

图3是示出图像显示部与拍摄范围之间的对应的示意图。

图4是HMD的框图。

图5是HMD的控制部和存储部的功能框图。

图6是示出HMD的动作的流程图。

图7是示出HMD的动作的流程图。

图8是对拍摄图像数据的处理的说明图。

图9是示出HMD的动作的流程图。

图10是示出第2实施方式的HMD的动作的流程图。

图11是第2实施方式的HMD的动作的说明图。

标号说明

1、1A、1B、1C：HMD(头部佩戴型显示装置)；10、10A、10B、10C：控制器；11：主体；12：轮式操作部；13：中央键；14：操作板；15：上下键；17：LED显示部；18：电源开关；19：USB连接器；20、20A、20B、20C：图像显示部(显示部)；21：右保持部；22：右显示单元；23：左保持部；24：左显示单元；26：右导光板；27：前部框架；28：左导光板；30：头戴式耳机；32：右耳机；34：左耳机；40：连接线缆；42：连接器；46：音频连接器；61：照相机(摄像部)；63：麦克风；64：距离传感器；65：照度传感器；67：LED指示器；68：内侧照相机；69：温度传感器；100：显示系统；111：6轴传感器；113：磁传感器；115：GPS；117：通信部；118：存储器；120：控制器基板；121：非易失性存储部；125：主处理器；140：存储部；146：映射数据；150：控制部；152：通信控制部；153：图像处理部；155：拍摄控制部；156：检测控制部；157：位置检测部；158：非显示信息处理部；170：操作部；172：触摸传感器；174：开关；176：振动器；180：声音编解码器；182：声音接口；186：外部存储器接口；192：传感器集线器；194：FPGA；200：服务器；210：服务器存储部；220：服务器通信部(发送部)；221：OLED单元；235：6轴传感器；237：磁传感器；239：温度传感器；241：OLED单元；301：拍摄图像数据；311：处理后图像数据；313、315：区域；351：拍摄图像数据；353、355：区域；C：视场角；U、U1、U2、U3：使用者。

具体实施方式

[1.第1实施方式]

[1-1.显示系统的结构]

图1是应用了本发明的实施方式的显示系统100的概略结构图。

显示系统100具有多个HMD(Head Mounted Display：头戴显示器)1和服务器200，HMD 1与服务器200以能够通过通信网络2进行通信的方式连接。

显示系统100所包含的HMD 1的数量没有限制，作为一例，在图1中示出了3个HMD1A、1B、1C。显示系统100的HMD 1A、1B、1C均具有共同的结构。在不需要区分HMD 1A、1B、1C的情况下记作HMD 1。

HMD 1A、1B、1C是如图1所示的那样供使用者佩戴于头部的头部佩戴型显示装置，是在使用者看到虚像的同时也能够直接看到外景的光学透射型。在以下的说明中，为了方便说明，将使用者通过HMD 1A、1B、1C看到的虚像称为“显示图像”。并且，将射出基于图像数据的图像光称为“对图像进行显示”。这里，图像并不限于静态图像，还包含动态图像(影像)。

在典型的显示系统100的使用方式中，多个使用者U分别佩戴HMD 1。在图1中示出了3个使用者U1、U2、U3佩戴3台HMD 1A、1B、1C的例子，但使用者U的数量并不限定于与HMD 1的数量相同。并且，多个使用者U当然也可以交替使用1台HMD 1。以下，在不区分各个使用者U1、U2、U3的情况下记作使用者U。

作为显示系统100的使用例，在本实施方式中，使用者U1所佩戴的HMD 1A对使用者U1的视野进行拍摄，经由通信网络2来发送拍摄图像。HMD 1A所发送的拍摄图像被临时存储到服务器200中，从服务器200向HMD 1B、1C发布。HMD 1B、1C接收由服务器200发布的拍摄图像数据并进行显示。这样，显示系统100作为如下的共享系统来发挥功能：使用者U2、U3与使用者U1一起共享HMD 1A拍摄到的图像。

在显示系统100中，HMD 1A、1B、1C分别相互执行无线通信，能够收发包含图像数据、声音数据、控制数据等的各种数据。在本实施方式中，对收发HMD 1A的拍摄图像数据的例子进行说明。

服务器200以所谓的云服务器的方式构成，具体的硬件结构是任意的。即，并不限定于由1台服务器装置构成服务器200的例子，也可以构成为将服务器200的功能分散给多个服务器装置来执行。

服务器200相对于HMD 1相当于外部装置。服务器200具有服务器存储部210和服务器通信部220(发送部)。服务器存储部210对与HMD 1A、1B、1C等之间进行收发的各种数据进行存储。例如，服务器200将后述的非显示信息、映射数据存储于服务器存储部210，在从HMD1A接收到请求的情况下，将所请求的非显示信息、映射数据发送到HMD 1A。服务器通信部220是经由通信网络2与HMD 1A、1B、1C等进行数据通信的装置，例如，由网络接口基板等构成。

通信网络2由包含公共线路网、专用线、移动电话线路在内的无线通信线路以及这些线路的主干通信线路等各种通信线路或各种通信线路的组合来实现，具体的结构没有限定。通信网络2可以是能够连接到远程位置的广域通信线路网，也可以是铺设在特定的设施或建筑物内的LAN(Local Area Network：局域网)。并且，通信网络也可以包含与上述各种通信线路连接的服务器装置、网关装置、路由器装置等网络设备。并且，通信网络也可以由多个通信线路构成。

无线接入点2A、2B、2C连接到通信网络2。无线接入点2A、2B、2C均执行依据无线LAN等标准的无线通信，将HMD 1A、1B、1C分别连接到通信网络2。

如果使用者U1所处的场所与使用者U2、U3所处的场所能够连接到通信网络，则没有地理上的制约，可以是远程位置，也可以是附近的场所。因此，HMD 1A、1B、1C可以在相距较近的位置使用，也可以在相距较远的状态下使用。

HMD 1如后述那样利用图像显示部20(显示部)来显示图像，以使得使用者U能够看到真实空间的景色(外景)，因此使用者U能够重叠看到外景和图像显示部20所显示的图像。图像显示部20的具体结构是任意的，但在本实施方式中，例示了使从外部入射的光(外部光)透过的透射型的图像显示部20。

HMD 1A具有供使用者U1佩戴于头部的图像显示部20A(显示部)和对图像显示部20进行控制的控制器10A。图像显示部20A在佩戴于使用者U1的头部的状态下令使用者看到虚像。控制器10A也可以作为使用者U1对HMD 1A进行操作的控制装置来发挥功能。

HMD 1B、1C具有与图像显示部20A同样构成的图像显示部20B、20C以及与控制器10A同样构成的控制器10B、10C。以下，在不区分图像显示部20A、20B、20C的情况下记作图像显示部20，在不区分控制器10A、10B、10C的情况下记作控制器10。

[1-2.HMD的结构]

这里，以HMD 1A为例对HMD 1的结构进行说明。对HMD 1B、1C省略了图示和说明。

图2是示出HMD 1A的外观结构的图。

控制器10A在箱形的主体11上具有受理使用者U1的操作的各种开关和操作板14等。图像显示部20A在本实施方式中具有眼镜形状，在具有右保持部21、左保持部23和前部框架27的主体上具有右显示单元22、左显示单元24、右导光板26和左导光板28。

右保持部21和左保持部23分别从前部框架27的两端部朝后方延伸，将图像显示部20A保持于使用者U1的头部。将前部框架27的两端部中的、在佩戴图像显示部20A时位于使用者U1的右侧的端部设为端部ER，将位于左侧的端部设为端部EL。

右导光板26和左导光板28设置于前部框架27。在图像显示部20A的佩戴状态下，右导光板26位于使用者U1的右眼的眼前，左导光板28位于使用者U1的左眼的眼前。

右显示单元22和左显示单元24是对光学单元和外围电路进行单元化而得的模块，射出图像光。右显示单元22安装于右保持部21，左显示单元24安装于左保持部23。

右导光板26和左导光板28是由透光性的树脂等形成的光学部件。例如，右导光板26和左导光板28是棱镜。右导光板26将由右显示单元22输出的图像光朝向使用者U1的右眼进行引导，左导光板28将由左显示单元24输出的图像光朝向使用者的左眼进行引导。由此，图像光入射到使用者U1的双眼，使用者U1能够看到图像。

HMD 1A是透视型的显示装置，由右导光板26引导的图像光和透过了右导光板26的外部光入射到使用者U的右眼RE。同样，由左导光板28引导的图像光和透过了左导光板28的外部光入射到左眼LE。这样，HMD 1A使在内部处理后的图像所对应的图像光与外部光重叠地入射到使用者U的眼睛，对于使用者U而言，透过右导光板26和左导光板28观察到外景，与该外景重叠地看到由图像光形成的图像。

也可以在右导光板26和左导光板28的表面上设置具有调光功能的电子遮光件(省略图示)。电子遮光件是通过后述的控制部150(图5)的控制使光的透过率(透光率)发生变化的板状的电子器件，例如具有液晶面板。当在图像显示部20A中设置有电子遮光件的情况下，由于透过了电子遮光件的外部光入射到佩戴图像显示部20A的使用者的右眼RE和左眼LE，所以能够根据电子遮光件的透过率对入射到使用者的眼睛的外部光的光量进行调整。

在图像显示部20A的前部框架27上配置有照度传感器65。照度传感器65接受来自佩戴图像显示部20A的使用者U1的前方的外部光。

照相机61(摄像部)配设于图像显示部20A的前部框架27。在后面对照相机61的拍摄范围和拍摄方向进行叙述。照相机61被设置在不遮挡透过右导光板26和左导光板28的外部光的位置。在图2的例子中，照相机61配置在前部框架27的端部ER侧，但也可以配置在端部EL侧，还可以配置在右导光板26与左导光板28的连结部。

照相机61是具有CCD或CMOS等摄像元件和摄像镜头等的数字照相机，本实施方式的照相机61是单眼照相机，但也可以由立体照相机构成。照相机61根据控制部150的控制来执行拍摄，将拍摄图像数据输出到控制部150。

在前部框架27配置有LED指示器67。LED指示器67配置在端部ER中的照相机61的附近，在照相机61正在拍摄时点亮，通知处于拍摄中。

距离传感器64检测与位于预先设定的测量方向的测量对象物相距的距离。在本实施方式中，距离传感器64设置于前部框架27，检测与位于使用者U1的前方的测量对象物相距的距离。距离传感器64例如也可以是光反射式距离传感器，该光反射式距离传感器具有LED或激光二极管等光源、以及接受光源所发出的光被测量对象物反射后的反射光的受光部。并且，距离传感器64也可以是超声波式距离传感器，该超声波式距离传感器具有发出超声波的声源和接收被测量对象物反射的超声波的检测部。并且，距离传感器64可以使用激光测距扫描仪(测域传感器)，在该情况下，对包含图像显示部20A的前方在内的大范围区域进行测域。

控制器10A与图像显示部20A通过连接线缆40来连接。连接线缆40以能够拆装的方式与主体11的连接器42连接。

连接线缆40具有音频连接器46，音频连接器46与头戴式耳机30连接，该头戴式耳机30具有构成立体声耳机的右耳机32和左耳机34以及麦克风63。

麦克风63对声音进行收集而将声音信号输出到声音接口182(图4)。麦克风63例如可以是单声道麦克风，也可以是立体声麦克风，可以是具有定向性的麦克风，也可以是无定向性的麦克风。

作为由使用者U1操作的被操作部，控制器10A具有轮式操作部12、中央键13、操作板14、上下键15、LED显示部17以及电源开关18。这些被操作部配置在主体11的表面上。这些被操作部例如由使用者U1的手指来操作。

在主体11上配置有LED(Light Emitting Diode：发光二极管)显示部17。LED显示部17具有能够使光透过的透过部(省略图示)，通过将设置在透过部的正下方的LED点亮而成为能够看到形成于透过部的字符、符号、图形等的状态。利用触摸传感器172(图4)来检测使用者U1的手指对LED显示部17的接触操作。因此，LED显示部17与触摸传感器172的组合作为软件按键来发挥功能。

电源开关18是对HMD 1A的电源接通/断开进行切换的开关。并且，主体11具有USB(Universal Serial Bus：通用串行总线)连接器19来作为将控制器10A与外部装置连接的接口。

图3是示出图像显示部20A的主要部分结构的图，以俯视方式将照相机61的位置与使用者U1的右眼RE和左眼LE一起示意性地示出。

在图3中用C来表示照相机61的视场角(拍摄范围)。照相机61对使用者U1的双眼所朝的方向(即，对于使用者U1而言的前方)进行拍摄。另外，照相机61的实际视场角也与通常的数字照相机同样地在上下方向上扩展。

照相机61对佩戴着HMD 1A的状态下的使用者U1的视场方向的至少一部分外景(真实空间)进行拍摄，照相机61的视场角C朝向使用者U1的正面方向，与使用者U1透过图像显示部20A看到的外景重叠。更优选视场角C包含使用者U1透过图像显示部20看到的视场整体。

照相机61可以构成为对焦到无限远，但也可以通过控制部150的控制来进行对焦调整。

如图3所示，在使用者U1用双眼注视对象物OB时，如图中标记RD、LD所示，使用者U1的视线朝向对象物OB。在该情况下，从使用者U1到对象物OB的距离多数为30cm～10m左右，更多数为1m～4m左右。因此，可以针对HMD 1A确定通常使用时的从使用者U1到对象物OB的距离的上限和下限的标准。该标准可以通过调査或实验求出，也可以由使用者U1设定。照相机61的光轴和视场角C优选被设定为：在通常使用时的到对象物OB的距离相当于所设定的上限标准的情况和相当于下限标准的情况下，使得该对象物OB包含在视场角中。

并且，一般而言，人的视野角设为水平方向大概200度、垂直方向大概125度，其中的信息接受能力优异的有效视野为水平方向30度、垂直方向20度左右。此外，人能够迅速且稳定地看到注视的注视点的稳定注视视野设为水平方向60～90度、垂直方向45度～70度左右。在该情况下，在注视点为图3的对象物OB时，以视线RD、LD为中心，水平方向30度、垂直方向20度左右是有效视野。并且，水平方向60～90度、垂直方向45度～70度左右为稳定注视视野，水平方向大约200度、垂直方向大约125度为视野角。此外，能够将使用者U1透过图像显示部20A并透过右导光板26和左导光板28而看到的实际的视野称作实际视野(FOV：FieldOf View)。在图2所示的本实施方式的结构中，实际视野相当于使用者U1透过右导光板26和左导光板28而看到的实际的视野。实际视野比视野角和稳定注视视野窄，比有效视野宽。

因此，优选照相机61的视场角C比使用者U1的有效视野大。更优选视场角C比使用者U1的实际视野大，进一步优选视场角C比使用者U1的稳定注视视野大。最优选视场角C比使用者U1的双眼的视野角大。

照相机61也可以具有所谓的广角镜头作为摄像镜头，构成为能够拍摄较大的视场角。广角镜头中可以包含称作超广角镜头、准广角镜头的镜头，可以是单焦点镜头，也可以是变焦镜头，还可以是照相机61具备由多个镜头构成的镜头组的结构。

并且，如上述那样，照相机61可以配置在端部EL侧，也可以配置在右导光板26与左导光板28的连结部。在该情况下，照相机61的左右方向上的位置与图4的位置不同，照相机61的光轴和视场角C根据照相机61的设置位置来适当设定。

另外，在以下的说明中，将与视场角C对应的照相机61的拍摄范围简单地设为拍摄范围。

在图3中用标记PA表示使用者U1的会聚角。会聚角PA与到使用者U1所注视的对象物OB的距离对应。即，在使用者U1立体地看到图像或物体的情况下，与到所看到的对象的距离对应地确定右眼RE和左眼LE的会聚角。因此，通过检测会聚角，能够求出使用者U1所注视的距离。此外，通过以引导使用者U1的会聚角的方式显示图像，能够引导立体视觉。

使用者U1根据右显示单元22的图像在左右方向上的显示位置来调整右眼RE的视线方向RA，根据左显示单元24的图像在左右方向上的显示位置来调整左眼LE的视线方向LA。因此，通过对右显示单元22、左显示单元24的图像的显示位置进行控制来引导使用者U1的右眼RE和左眼LE的视线，能够对看到图像显示部20A的显示图像时的会聚角PA进行控制。

因此，使用者U1能够对图像显示部20A的显示图像进行识别，利用HMD 1A的功能来调整感知的距离。

作为照相机61所拍摄的拍摄方向(本发明的规定的方向)的具体例，可列举包含使用者U1的视线方向在内的方向，但也可以是佩戴着图像显示部20的使用者U1的前方。并且，也可以构成为将佩戴着图像显示部20的使用者U1的移动方向设为照相机61的拍摄方向。并且，也可以是使用者U1观察后述的非显示对象的方向。照相机61的视场角如上述那样是任意的，也可以是广角，例如可以如全方位照相机那样是能够360°拍摄的照相机，也可以是具有多个摄像元件或多个镜头等而能够进行广角拍摄的复合器件。

[1-3.HMD的控制系统]

图4是示出构成HMD 1A的各部分的结构的框图。

控制器10A具有主处理器125，该主处理器125执行程序而控制HMD 1A。存储器118和非易失性存储部121连接到主处理器125。作为输入装置的操作部170连接到主处理器125。

传感器类的6轴传感器111、磁传感器113以及GPS115连接到主处理器125。

通信部117、声音编解码器180、外部存储器接口186、USB连接器19、传感器集线器192以及FPGA194连接到主处理器125。这些部件作为与外部的接口来发挥功能。

主处理器125安装在控制器10A所内置的控制器基板120上。在本实施方式中，在控制器基板120上安装有6轴传感器111、磁传感器113、GPS115、通信部117、存储器118、非易失性存储部121以及声音编解码器180等。并且，也可以在控制器基板120上安装外部存储器接口186、USB连接器19、传感器集线器192、FPGA194以及接口196。并且，还可以在控制器基板120上安装连接器42和USB连接器19。

存储器118构成对由主处理器125执行的程序和由主处理器125处理的数据等进行临时存储的工作区。非易失性存储部121由闪存或eMMC(embedded Multi Media Card：嵌入式多媒体卡)构成。非易失性存储部121存储由主处理器125执行的程序、由主处理器125处理的数据。

操作部170包含LED显示部17、触摸传感器172以及开关174。触摸传感器172检测使用者U1的触摸操作，确定操作位置，对主处理器125输出操作信号。开关174对应于上下键15和电源开关18的操作，向主处理器125输出操作信号。LED显示部17根据主处理器125的控制，使LED点亮、闪烁、熄灭。操作部170例如是安装有LED显示部17、触摸传感器172、开关174以及对它们进行控制的电路的开关基板，该操作部170被收纳在主体11中。

6轴传感器111是检测控制器10A的动作的运动传感器(惯性传感器)的一例。6轴传感器111具有3轴加速度传感器和3轴陀螺仪(角速度)传感器。6轴传感器111也可以采用对上述传感器进行了模块化的IMU(Inertial Measurement Unit：惯性测量装置)。

磁传感器113例如是3轴地磁传感器。

GPS(Global Positioning System：全球定位系统)115具有未图示的GPS天线，是接收从GPS卫星发送的无线信号的接收器。GPS115根据GPS信号来检测或计算控制器10A的目前位置的坐标。

6轴传感器111、磁传感器113和GPS115依照预先指定的采样周期，将输出值输出到主处理器125。并且，6轴传感器111、磁传感器113和GPS115也可以构成为根据主处理器125的请求，在由主处理器125指定的时刻将检测值输出到主处理器125。

通信部117是与外部设备之间执行无线通信的通信装置。通信部117可以具有未图示的天线、RF电路、基带电路、通信控制电路等，该通信部117是将这些部件合并而成的器件。并且，也可以是安装有各种电路的通信模块基板。通信部117例如进行依据Bluetooth(注册商标)、无线LAN(包含Wi-Fi(注册商标))等标准的无线通信。通信部117与无线接入点2A(图1)进行无线数据通信。

输入输出声音信号的声音接口182与音频连接器46(图2)连接，进行声音信号的输入输出和声音信号的编码/解码。声音编解码器180也可以具有进行从模拟声音信号向数字声音数据的转换的A/D转换器、以及进行其反向转换的D/A转换器。

外部存储器接口186是能够连接可移动型的存储器件的接口，例如，包含存储卡插槽和接口电路，能够在该存储卡插槽中安装卡型记录介质来进行数据的读取。

控制器10A搭载有振动器176。振动器176具有电机(省略图示)、偏心的转子(省略图示)等，根据主处理器125的控制来产生振动。例如，根据针对操作部170的操作、HMD 1A的电源的接通/断开，振动器176按照规定的振动模式产生振动。

接口(I/F)196将传感器集线器192以及FPGA(Field Programmable Gate Array：现场可编程门阵列)194与图像显示部20A连接。

传感器集线器192取得图像显示部20A所具有的各种传感器的检测值而输出到主处理器125。FPGA 194执行在主处理器125与图像显示部20A的各部分之间收发的数据的处理、以及经由接口196的传送。

通过连接线缆40和未图示的图像显示部20A的内部的布线，将右显示单元22和左显示单元24单独与控制器10A连接。

右显示单元22具有发出图像光的OLED(Organic Light Emitting Diode：有机发光二极管)单元221。OLED单元221发出的图像光通过包含透镜组等的光学系统被引导至右导光板26。左显示单元24具有发出图像光的OLED单元241。OLED单元241发出的图像光被包含透镜组等的光学系统引导至左导光板28。

OLED单元221、241具有OLED面板和驱动OLED面板的驱动电路。OLED面板是矩阵状地配置通过有机电致发光而进行发光并分别发出R(红)、G(绿)、B(蓝)的色光的发光元件而构成的自发光型显示面板。OLED面板以各包含1个R、G、B的元件的单位为1个像素而具有多个像素，由配置成矩阵状的像素形成图像。驱动电路根据控制部150的控制，执行OLED面板的发光元件的选择和对发光元件的通电，使OLED面板的发光元件发光。由此，形成于OLED单元221、241的图像的图像光被引导至右导光板26和左导光板28，并入射到右眼RE和左眼LE。

右显示单元22具有显示单元基板210。在显示单元基板210上安装有与接口196连接的接口(I/F)211、接收经由接口211从控制器10A输入的数据的接收部(Rx)213以及EEPROM 215。接口211将接收部213、EEPROM 215、温度传感器69、照相机61、照度传感器65以及LED指示器67与控制器10A连接。

EEPROM(Electrically Erasable Programmable Read-Only Memory：电可擦可编程只读存储器)215以能够供主处理器125读取的方式存储数据。EEPROM 215例如存储与图像显示部20A所具有的OLED单元221、241的发光特性或显示特性相关的数据、与右显示单元22或左显示单元24所具有的传感器的特性相关的数据等。具体来说，存储与OLED单元221、241的伽马校正相关的参数、对温度传感器69、239的检测值进行补偿的数据等。这些数据通过HMD 1A的工厂出货时的检查而生成，并被写入到EEPROM 215中，在出货后，主处理器125可利用EEPROM 215的数据进行处理。

照相机61依照经由接口211输入的信号来执行拍摄，将拍摄图像数据或表示拍摄结果的信号输出到接口211。

照度传感器65将与受光量(受光强度)对应的检测值输出到接口211。LED指示器67根据经由接口211输入的信号来进行点亮和熄灭。

温度传感器69检测温度，将与检测温度对应的电压值或电阻值作为检测值输出到接口211。温度传感器69安装在OLED单元221所具有的OLED面板的背面侧，或者安装在与驱动OLED面板的驱动电路相同的基板上，对OLED面板的温度进行检测。并且，在将OLED面板作为Si-OLED与驱动电路等一起安装为集成半导体芯片上的集成电路的情况下，可以在该半导体芯片上安装温度传感器69。

接收部213经由接口211接收由主处理器125发送的数据。接收部213在从接口211接收到图像数据的情况下，将接收到的图像数据输出到OLED单元221。

左显示单元24具有显示单元基板230。在显示单元基板230上安装有与接口196连接的接口(I/F)231、以及经由接口231从控制器10A输入的数据的接收部(Rx)233。并且，在显示单元基板230上安装有6轴传感器235和磁传感器237。接口231将接收部233、6轴传感器235、磁传感器237以及温度传感器239与控制器10A连接。

6轴传感器235是检测图像显示部20A的动作的运动传感器的一例。6轴传感器235具有3轴加速度传感器和3轴陀螺仪传感器。6轴传感器235也可以是上述传感器被模块化后的IMU。

磁传感器237例如是3轴地磁传感器。

温度传感器239检测温度，将与检测温度对应的电压值或电阻值作为检测值输出到接口231。温度传感器239安装在OLED单元241所具有的OLED面板的背面侧、或者与驱动OLED面板的驱动电路相同的基板上，对OLED面板的温度进行检测。并且，在将OLED面板作为Si-OLED与驱动电路等一起安装为集成半导体芯片上的集成电路的情况下，可以在该半导体芯片上安装温度传感器239。

照相机61、照度传感器65、温度传感器69、6轴传感器235、磁传感器237、温度传感器239与控制器10A的传感器集线器192连接。

传感器集线器192根据主处理器125的控制来进行各传感器的采样周期的设定和初始化。传感器集线器192按照各传感器的采样周期来执行对各传感器的通电、控制数据的发送、检测值的取得等。并且，传感器集线器192在预先设定的时刻将各传感器的检测值输出到主处理器125。传感器集线器192也可以具有如下功能：按照针对主处理器125的输出的时刻，临时保持各传感器的检测值。并且，传感器集线器192也可以具有如下的功能：与各传感器的输出值的信号形式或数据形式的差异对应地，转换为数据形式统一的数据，并输出到主处理器125。

并且，传感器集线器192根据主处理器125的控制，使对LED指示器67的通电开始和停止，与照相机61开始和结束拍摄的时刻一致地，使LED指示器67点亮或闪烁。

控制器10A具有电源部130，利用从电源部130供给的电力来进行动作。电源部130具有可充电的电池132和电源控制电路134，该电源控制电路134进行电池132的剩余量的检测和对电池132充电的控制。

USB控制器198作为USB器件控制器来发挥功能，与连接于USB连接器19的USB主机装置之间建立通信，并进行数据通信。并且，除了作为USB器件控制器的功能之外，USB控制器198还可以具有作为USB主控制器的功能。

图5是构成HMD 1A的控制器10A的控制系统的存储部140和控制部150的功能框图。图5所示的存储部140是由非易失性存储部121(图4)构成的逻辑上的存储部，也可以包含EEPROM 215。控制部150和控制部150所具有的各种功能部是通过由主处理器125执行程序而利用软件与硬件的协作来形成的。控制部150和构成控制部150的各功能部例如由主处理器125、存储器118以及非易失性存储部121构成。

存储部140对由主处理器125执行的各种程序以及被这些程序处理的数据进行存储。存储部140对操作系统(OS)141、应用程序142、设定数据143、应用设定数据144、内容数据145、映射数据146以及非显示信息147进行存储。

控制部150通过执行存储部140所存储的程序而对存储部140所存储的数据进行处理，从而对HMD 1A进行控制。

操作系统141是由主处理器125执行的HMD 1A的基本控制程序。当通过电源开关18的操作将HMD 1A的电源切换为接通时，主处理器125下载并执行操作系统141。主处理器125执行操作系统141，从而实现控制部150的各种功能。控制部150的功能包含基本控制部151、通信控制部152、图像处理部153、显示控制部154、拍摄控制部155、检测控制部156、位置检测部157以及非显示信息处理部158。并且，操作系统141所实现的功能包含应用执行部159。

应用程序142是在主处理器125执行了操作系统141的状态下由主处理器125执行的程序。应用程序142利用控制部150的各种功能。存储部140所存储的应用程序142可以不是1个，也可以是多个。例如，应用程序142实现图像内容再现、声音内容再现、游戏、照相机拍摄、文档生成、网络浏览(Web browsing)、时间表管理、电话(包含声音通信)、图像通信、路径导航等功能。

设定数据143包含与HMD 1A的动作相关的各种设定值。并且，在控制部150控制HMD1A时使用参数、矩阵式、运算式、LUT(LookUp Table：查找表)等的情况下，可以将它们包含在设定数据143中。

应用设定数据144是在HMD 1A中执行应用程序142的情况下使用的数据。详细来说，包含执行应用程序142所包含的各种程序的情况下的执行条件等数据。例如，包含表示执行应用程序142时的图像显示大小、画面的朝向、应用程序142所使用的控制部150的功能部或HMD 1A的传感器类等的数据。

在HMD 1A中，在导入应用程序142时，通过控制部150的功能来执行安装处理。安装处理是如下的处理：不仅将应用程序142存储于存储部140，还包含应用程序142的执行条件的设定等。当通过安装处理在存储部140中生成或存储与应用程序142对应的应用设定数据144时，应用执行部159能够启动应用程序142。

内容数据145是包含通过控制部150的控制而由图像显示部20A显示的图像或影像的内容的数据。内容数据145包含静态图像数据、影像(动态图像)数据、声音数据等。内容数据145也可以包含多个内容的数据。内容数据145也可以是双向型的内容的数据。例如，在图像显示部20A显示出内容的情况下，根据使用者U对控制器10A的操作，对内容的显示方式或内容自身进行切换。在该情况下，内容数据145也可以包含内容的数据，并且包含在受理操作的情况下显示的菜单画面的图像数据、确定与菜单画面所包含的项目对应的处理等的数据等。

映射数据146是包含使用HMD 1A的范围的位置信息的数据。映射数据146是用于将后述的非显示对象等物体的位置与位置信息对应起来的数据。映射数据146可以是2D(二维)数据，也可以是3D(三维)数据。表示非显示对象的位置的信息是与映射数据146一致的信息即可，可以是2D的位置信息，也可以是3D的位置信息。并且，映射数据146也可以是能够使用指定的HMD 1A的、封闭区域的数据。在该情况下，映射数据146所包含的位置信息只要是表示封闭区域中的位置的信息即可，可以是不具有通用性的信息。并且，映射数据146也可以是使用纬度、经度、海拔(高度)来作为位置信息的通用的映射数据146。

控制部150也可以利用映射数据146来执行SLAM(Simultaneous Localizationand Mapping：同时定位和映射)。在该情况下，映射数据146可以是用于对使用HMD 1A的区域的位置信息进行记录的模板或平台。

在执行SLAM的情况下，当佩戴着图像显示部20的使用者U1发生移动时，控制部150进行在图像显示部20的移动范围内生成映射图的处理。SLAM是如下的技术：从照相机61的拍摄图像数据中检测物体，根据检测出的物体的形状来进行位置检测。在生成映射图的处理中，控制部150在图像显示部20的移动中利用照相机61来执行多次拍摄，在从拍摄图像数据中检测到同一形状的情况下，进行将同一形状的位置设为同一位置的对应。通过持续执行该处理，控制部150生成将图像显示部20周围的闭合的映射图。所生成的映射图例如可以与控制部150根据磁传感器113、GPS115、通信部117、6轴传感器235、磁传感器237等的检测值检测出的位置的坐标相对应、或者与HMD 1的移动范围的坐标相对应而成为映射数据146。并且，映射数据146也可以是不与坐标相对应的状态。由于公知的SLAM技术能够生成空间地图，所以映射数据146可以是三维映射图。并且，控制部150也可以利用公知的MonteCarlo法来生成映射数据146。

非显示信息147包含有在HMD 1A利用照相机61拍摄到的拍摄图像数据中表示不应该显示的对象物(以下，称为非显示对象)的数据。非显示对象是指不希望包含在从HMD 1A向服务器200发送的图像中的事物。非显示对象是从隐私保护的观点或机密信息保护的观点来确定的。具体来说，作为可确认个人身份的非显示对象，可列举人脸、身体、服装、姓名牌、名片、登记有个人名字的公告板等。并且，作为被保护为机密信息的非显示对象，可列举机器或设备、设计图纸、计算机的显示器所显示的信息等。在其他表现中，非显示对象也可以是包含应该隐匿的信息的印刷物、公告板、图书、计算机的显示器等。关于应该隐匿额信息，可列举与人的隐私相关的信息或个人信息，具体来说，存在人脸、身体、服装、姓名牌、名片、登记有个人姓名的公告板等。并且，应该隐匿的信息也可以是机密信息，可列举机器或设备的设计图纸、程序代码或其他著作物等。

非显示信息147是用于判定非显示对象是否包含在照相机61的拍摄图像数据中的信息。例如，非显示信息147是确定使用者U1的活动范围(即，使用HMD 1A的地理范围)中的非显示对象的位置的数据。在该情况下，非显示信息147可以是包含映射数据146和表示映射图上的非显示对象的位置信息在内的信息，也可以是与映射数据146相对应的信息。例如，非显示信息147也可以是与特定的映射数据146组合而使用的信息。

在非显示信息147包含与非显示对象的位置相关的信息的情况下，根据HMD 1A(特别是图像显示部20A)与非显示对象的相对位置以及非显示信息147，能够判定在照相机61的拍摄范围中是否包含非显示对象。此外，优选非显示信息147是能够确定照相机61的拍摄范围中的非显示对象的位置的信息。

在控制部150利用上述的SLAM技术等生成映射数据146的情况下，非显示信息147也可以是表示控制部150所生成的映射数据146中的非显示对象的位置的信息。

并且，控制部150也可以生成在映射数据146中确定非显示对象的位置的信息。例如，在将用于从照相机61的拍摄图像数据中检测非显示对象的外观图像的信息作为非显示信息147存储到存储部140中的情况下，在利用生成映射数据146的处理从照相机61的拍摄图像数据中检测形状时，控制部150检测非显示对象的外观。或者，控制部150从根据照相机61的拍摄图像数据生成的映射数据146中检测非显示对象的外观的图像。由此，控制部150利用从拍摄图像数据的图像检测技术，进行映射数据146中的非显示对象的确定。控制部150只要根据非显示对象的位置来设定非显示区域即可。

并且，非显示信息147也可以包含有在从映射数据146上确定的位置观察到非显示对象的情况下、与妨碍看到非显示对象的障碍物相关的信息。关于障碍物，可列举设置在映射数据146的范围内的建筑物、建造物、墙壁、设备、机器、山、树木等自然物等，只要是妨碍看到的物体，则没有限定。在该情况下，能够根据HMD 1A与非显示对象的相对位置以及非显示信息147，判定是否能够看到照相机61所包含的非显示对象。

并且，非显示信息147也可以不包含与非显示对象的位置相关的信息。例如，非显示信息147是用于从照相机61的拍摄图像数据中检测非显示对象的信息即可，也可以包含非显示对象的图像(非显示对象的外观的图像)的特征量。在该情况下，能够对照相机61的拍摄图像数据进行分析，例如通过图案匹配从拍摄图像数据中检测非显示对象的图像，确定拍摄图像数据中的非显示对象的图像的位置。在该情况下，由于非显示信息147不需要与映射数据146相对应，所以存储部140也可以不存储映射数据146。并且，非显示信息147也可以包含表示与映射数据146组合在一起的非显示对象的位置的信息、和非显示对象的图像的图像特征量的双方。并且，在非显示对象包含文本(字符)的情况下，非显示信息147也可以包含表示该文本的信息。在该情况下，对非显示信息147的包含在照相机61的拍摄图像数据中的字符进行识别，在所识别的字符或字符串包含与非显示信息147所包含的字符相同或类似的字符或字符串的情况下，将这些字符或字符串检测为非显示信息。

基本控制部151执行对HMD 1A的各部分进行控制的基本功能。基本控制部151在HMD 1A的电源接通时执行启动处理，使HMD 1A的各部分初始化，成为应用执行部159能够执行应用程序的状态。基本控制部151执行使控制器10A的电源断开时的断电处理，结束应用执行部159，对存储部140所存储的各种数据进行更新，使HMD 1A停止。在断电处理中，对图像显示部20A的电源供给也停止，整个HMD 1A被断电。

基本控制部151具有对基于电源部130的电源供给进行控制的功能。基本控制部151在断电处理中将电源部130对HMD 1A的各部分的电源供给单独切换为断开。

通信控制部152执行基于通信部117的数据通信。通信控制部152对通信部117所具有的通信功能进行控制，从而与所指定的通信目的地设备之间执行数据通信。基本控制部151和应用执行部159通过通信控制部152的功能而与其他装置之间收发数据，从而例如能够利用接收到的数据。

图像处理部153根据图像显示部20A所显示的图像或影像的图像数据，生成发送给右显示单元22和左显示单元24的信号。由图像处理部153生成的信号也可以是垂直同步信号、水平同步信号、时钟信号、模拟图像信号等。图像处理部153也可以根据需要进行如下的分辨率转换处理：将图像数据的分辨率转换成与右显示单元22和左显示单元24相适的分辨率。并且，图像处理部153也可以执行对图像数据的亮度或饱和度进行调整的图像调整处理、从3D图像数据生成2D图像数据或者从2D图像数据生成3D图像数据的2D/3D转换处理等。图像处理部153在执行了这些图像处理的情况下，根据处理后的图像数据来生成用于显示图像的信号，并发送到图像显示部20A。

图像处理部153除了采用由主处理器125执行操作系统141而实现的结构之外，还可以由独立于主处理器125的硬件构成。作为该硬件，例如，可列举DSP(Digital SignalProcessor：数字信号处理器)。

显示控制部154生成对右显示单元22和左显示单元24进行控制的控制信号，对分别基于右显示单元22和左显示单元24的图像光的生成和射出进行控制。例如，显示控制部154使OLED面板执行图像的显示，进行OLED面板的描绘时刻的控制、亮度的控制等。

拍摄控制部155对照相机61进行控制而执行拍摄，生成拍摄图像数据，并临时存储到存储部140中。并且，在照相机61作为包含生成拍摄图像数据的电路的照相机单元而构成的情况下，拍摄控制部155从照相机61取得拍摄图像数据并临时存储到存储部140中。

检测控制部156根据操作部170所输出的操作信号，检测使用者U1对HMD 1A的操作。并且，检测控制部156对HMD 1A所搭载的各种传感器的检测进行控制。检测控制部156取得从FPGA 194输入的各种传感器的检测值。检测控制部156也可以根据各种传感器的检测值来进行与HMD 1A的周边环境相关的检测。例如，检测控制部156根据照相机61的拍摄图像或照度传感器65的检测值，对HMD 1A的周边的明亮度进行检测。

检测控制部156检测使用者U的视线方向。例如，检测控制部156从内侧照相机68的拍摄图像中检测使用者U的右眼RE和左眼LE各自的图像。具体来说，从拍摄图像中检测反射在右眼RE、左眼LE的瞳孔或眼球表面上的反射光，从而能够利用公知的技术来检测视线方向。检测控制部156也可以从照相机61的拍摄图像中检测使用者U的头部的朝向，从而检测使用者U的视线方向。并且，也可以根据从照相机61的拍摄图像中检测出的视线方向、和从内侧照相机68的拍摄图像中检测出的视线方向的双方来检测视线方向。检测控制部156所检测的视线方向可以是右眼RE和左眼LE各自的朝向，也可以是使用者U使右眼RE与左眼LE一致而注视的方向。

并且，检测控制部156检测基于使用者U1的姿势操作的操作。姿势操作也被称为动作UI(用户界面)，是使用者U1使指示体移动的操作或将指示体的形状设为特定的形状的操作，HMD 1A对这些操作进行光学检测。指示体是使用者U1的手、手指、脚等身体的一部分，但也可以是棒状或球状的器件。当在照相机61的拍摄范围内进行了姿势操作的情况下，能够利用照相机61对所操作的指示体进行拍摄。检测控制部156通过图案识别处理等从照相机61的拍摄图像数据中提取指示体的图像，根据提取出的图像来求出指示体的形状、指示体的形状或位置的变化。在所求出的指示体的形状、指示体的形状或位置的变化与预先设定的姿势操作的方式相适的情况下，检测控制部156对操作进行检测。

位置检测部157(检测部)根据GPS115的检测值来确定HMD 1A的目前位置，生成表示目前位置的位置信息。并且，位置检测部157也可以通过通信部117从配置在预先设定的位置的无线接入点(省略图示)或无线信标(省略图示)接收无线信号，根据接收信号中所包含的ID和接收强度，确定HMD 1A的位置。并且，位置检测部157也可以使用照相机61的拍摄图像数据来确定HMD 1A的位置。例如，位置检测部157也可以从照相机61的拍摄图像数据中检测设置在HMD 1A的活动范围内的位置检测用的标记的图像，根据所检测出的标记的图像的位置，求出标记与图像显示部20A的相对位置。在该情况下，能够根据1个或多个标记与图像显示部20A的相对位置以及标记的设置位置，确定图像显示部20A的位置。

并且，位置检测部157也可以根据利用距离传感器64进行了距离检测或区域检测的处理结果来检测位置。并且，在HMD 1A是能够利用位置检测用的编码器的结构的情况下，也可以利用基于编码器的检测结果来检测自身位置。并且，位置检测部157也可以进行基于麦克风63所收集的声音的位置检测。

位置检测部157确定图像显示部20A的方向。位置检测部157根据6轴传感器235、磁传感器237、6轴传感器111、磁传感器113中的至少任意一个的检测值，计算图像显示部20A所朝向的方向。位置检测部157根据计算出的方向、以及图像显示部20A与照相机61的拍摄范围的已知的位置关系，计算照相机61的拍摄范围的方向。

当在照相机61的拍摄图像数据中可包含非显示对象的图像的情况下，非显示信息处理部158对拍摄图像数据进行加工。非显示信息处理部158确定拍摄图像数据中的非显示对象的图像的位置，设定包含非显示对象的图像的非显示区域。非显示信息处理部158进行使非显示区域的清晰度降低的处理。通过该处理，照相机61的拍摄图像数据中所包含的非显示对象的外观的图像被处理成无法看到或者不容易看到。照相机61的拍摄图像数据在被非显示信息处理部158处理之后，被发送到服务器200。因此，清晰地拍下了非显示对象的拍摄图像数据不会被发送到服务器200或HMD1B、1C，能够对非显示对象进行保护。

并且，在非显示信息处理部158对拍摄图像数据进行了处理的情况下，图像显示部20也可以根据处理后的拍摄图像数据来进行显示。例如，只要图像显示部20能够对基于照相机61的拍摄图像数据的图像进行实时(也可以不是完全实时，可以包含延迟)显示，便能够使图像显示部20成为虚拟透视型的显示装置。在该结构中，只要图像显示部20对基于非显示信息处理部158所处理后的拍摄图像数据的图像进行显示，则佩戴图像显示部20的使用者U便看不到非显示信息。例如，在适合不允许使用者U看到非显示对象的情况下，能够保持非显示信息的机密性。

非显示区域是在非显示信息处理部158对照相机61的拍摄图像数据进行处理的情况下作为处理对象的区域。在照相机61的拍摄图像数据是平面(2D)图像的情况下，非显示区域是拍摄图像数据中的区域，能够用拍摄图像数据中的坐标来表示。并且，也可以将非显示区域指定为相对于照相机61的拍摄范围的位置或范围。在该情况下，表示非显示区域的信息可以是相对于照相机61的光轴或视场角的方向、与照相机61的拍摄面相距的距离或者相对位置。并且，非显示区域也可以是相对于图像显示部20或佩戴图像显示部20的使用者U的头部中心的相对位置或范围。在该情况下，只要使用由相对于图像显示部20或佩戴图像显示部20的使用者U的头部中心的相对位置或范围来表示照相机61的拍摄范围或使用者U的视场的数据，便能够确定照相机61的拍摄范围与非显示区域的位置关系。

非显示区域并不限定于平面区域。例如，也可以将包含深度的3D空间设定为非显示区域。在该情况下，规定非显示区域的信息可以采用以图像显示部20为基准的距离和/或以图像显示部20的正面方向为基准的方向(角度)等。

应用执行部159对应于在主处理器125执行操作系统141的状态下执行应用程序142的功能。应用执行部159通过执行应用程序142来实现应用程序142的各种功能。应用程序142的功能例如上述例示的那样。在执行应用程序142的期间，应用执行部159使用控制部150的各部分的功能。

并且，非显示信息处理部158利用通信控制部152的功能来请求服务器200发送非显示信息，从而接收从服务器200发送的非显示信息并作为非显示信息147存储到存储部140中。例如，在与位置检测部157所检测出的HMD 1A的位置对应的非显示信息147未存储在存储部140中的情况下，非显示信息处理部158请求服务器200发送与HMD 1A的位置对应的非显示信息。并且，非显示信息处理部158为了将非显示信息147维持为适当的状态，也可以按照预先设定的周期、或者在被通知了存储于服务器存储部210的非显示信息的更新的情况下请求服务器200发送非显示信息。

并且，非显示信息处理部158请求服务器200发送作为生成非显示信息147的基础的映射数据，接收从服务器200发送的映射数据并作为映射数据146存储到存储部140中。

非显示信息处理部158具有生成非显示信息147的功能。通过该功能，非显示信息处理部158将与非显示对象相关的信息追加到存储于存储部140的非显示信息147中，从而能够对非显示信息147进行更新。并且，非显示信息处理部158也可以将与非显示对象的位置相关的信息追加到从服务器200取得的映射数据中，从而生成非显示信息147并存储到存储部140中。

[1-4.HMD的动作]

图6是示出HMD 1A的动作的流程图。示出了利用HMD 1A来生成非显示信息147的处理。

控制部150利用非显示信息处理部158来开始非显示信息147的生成处理(步骤S11)，取得映射数据146(步骤S12)。在步骤S12中，非显示信息处理部158可以从存储部140读出映射数据146，也可以从服务器200接收映射数据。例如，非显示信息处理部158也可以在步骤S11之前向服务器200请求与位置检测部157所检测出的HMD 1A的位置对应的映射数据而从服务器200接收该映射数据。并且，在控制部150执行SLAM处理的情况下，如上述那样，可以使用用于记录HMD 1A所检测出的自身位置的模板等来作为映射数据146。

控制部150利用位置检测部157来开始位置检测(步骤S13)。位置检测部157对HMD1A的位置和/或图像显示部20A的位置进行检测，但为了进行与照相机61的拍摄范围相关的处理，在步骤S13中检测图像显示部20A的位置。

这里，由使用者U1来进行指定非显示对象的操作，检测控制部156检测该操作(步骤S14)。

指定非显示对象的操作例如是使用者U1对透过图像显示部20A的视野中的非显示对象的位置进行指示的操作。在HMD 1A提供使指示器与操作板14的操作对应地移动的GUI的情况下，使用者U1移动指示器以指定非显示对象。并且，使用者U1也可以通过姿势操作来指定非显示对象。关于非显示对象的指定方法，可以适当设定为对与非显示对象的事物重叠的位置进行指定的位置指定操作、对非显示对象的外缘进行指定的区域指定操作等。例如，使用者U1在透过图像显示部20A的视野中进行描绘出作为非显示对象的物体的周缘的姿势操作，检测控制部156将姿势操作的操作位置检测为相对于图像显示部20A的相对位置。

并且，在步骤S14中，非显示信息处理部158也可以通过从照相机61的拍摄图像数据中检测赋予给非显示对象的标记来确定非显示对象的位置。并且，非显示信息处理部158也可以根据从进行位置检测的外部的电子器件(例如，陀螺仪遥控器)发送的位置信息，确定非显示对象的位置。

并且，在步骤S14中，检测控制部156也可以检测使用者U1的视线方向，将位于视线方向的物体或以视线方向为中心的规定的范围检测为非显示对象。

非显示信息处理部158对在步骤S14中指定的非显示对象相对于HMD 1A的相对位置进行检测(步骤S15)。非显示信息处理部158也可以对非显示对象相对于图像显示部20A的相对位置进行检测。

非显示信息处理部158根据在步骤S15中检测出的位置，确定映射数据146中的非显示对象的位置(步骤S16)。在步骤S16中，非显示信息处理部158可以确定非显示对象的位置和非显示对象的大小，也可以确定非显示对象的外缘的位置。非显示信息处理部158根据在步骤S16中确定的位置来生成非显示信息，并作为非显示信息147存储到存储部140中(步骤S17)。

并且，非显示信息处理部158也可以将在步骤S17中生成的非显示信息发送到服务器200(步骤S18)。步骤S18的处理不是必需的，但例如具有如下的优点：多个HMD 1可以共享非显示信息。例如，只要HMD 1B或HMD 1C从服务器200下载非显示信息，便能够利用与HMD1A所使用的非显示信息147相同的非显示信息。只要服务器200具有在HMD 1B、1C请求非显示信息的情况下发送非显示信息的功能，便能够实现该功能。

图6的例子是如下的处理：在使用者U指定了非显示对象的情况下(步骤S14)，对非显示对象的位置进行检测并将非显示对象的位置反映在映射数据146中。本发明并不限定于此，也可以生成用于从照相机61的拍摄图像数据中检测非显示对象的外观的信息来作为非显示信息147。

在该情况下，代替步骤S16的处理，非显示信息处理部158根据在步骤S15中检测出的位置，从照相机61的拍摄图像数据中提取非显示对象的外观的图像。非显示信息处理部158根据所提取的图像，生成用于检测非显示对象的外观的图像的非显示信息。例如，非显示信息处理部158也可以求出从照相机61的拍摄图像数据中提取出的图像的图像特征量来作为非显示信息。并且，在所提取的图像包含文本(字符)的情况下，非显示信息处理部158也可以对文本进行识别并生成包含所识别出的文本数据的非显示信息。

并且，作为另一个动作例，也可以代替步骤S15的处理，非显示信息处理部158从照相机61的拍摄图像数据中提取在步骤S14中指定的非显示对象的外观的图像。即，也可以省略非显示对象的位置的检测，而生成用于检测非显示对象的外观的图像的非显示信息。该情况下的非显示信息可以是与上述例子同样的信息。

图7是示出HMD 1A的动作的流程图，示出了HMD 1A利用照相机61来进行拍摄并将拍摄图像数据发送到服务器200的一系列动作。

控制部150利用非显示信息处理部158来取得映射数据146(步骤S31)，然后取得非显示信息147(步骤S32)。这里，非显示信息处理部158也可以从服务器200取得非显示信息和映射数据。

控制部150通过拍摄控制部155对照相机61进行控制而开始拍摄(步骤S33)。在拍摄开始之后，从照相机61向控制部150输出拍摄图像数据。

控制部150利用位置检测部157来检测HMD 1A的图像显示部20A的位置(步骤S34)。控制部150根据位置检测部157所检测出的位置和非显示信息147，利用非显示信息处理部158来判定在照相机61的拍摄范围中是否包含非显示对象(步骤S35)。

在判定为在照相机61的拍摄范围中包含非显示对象的情况下(步骤S35；是)，非显示信息处理部158确定拍摄范围中的非显示对象的位置(步骤S36)。然后，非显示信息处理部158在照相机61的拍摄图像数据中确定包含非显示对象的图像的非显示区域(步骤S37)。

非显示信息处理部158取得照相机61的拍摄图像数据(步骤S38)，对所取得的拍摄图像数据执行使在步骤S37中确定的非显示区域的清晰度下降的遮蔽处理(步骤S39)。在照相机61输出动态图像数据的情况下，非显示信息处理部158对构成动态图像数据的各帧实施遮蔽处理。

非显示信息处理部158将在步骤S39中处理后的拍摄图像数据临时存储到存储部140中(步骤S40)。

控制部150利用通信控制部152，将在步骤S40中临时存储的拍摄图像数据发送到服务器200(步骤S41)。照相机61所输出的拍摄图像数据是动态图像数据，并且在连续输出的情况下，控制部150也可以每隔规定的时间对动态图像数据进行划分而执行步骤S41的处理。并且，控制部150也可以在存储部140的存储区域的一部分或存储器118中形成缓冲存储器，在步骤S40中将动态图像数据临时存储到缓冲存储器中。在该情况下，控制部150也可以在步骤S41中对临时存储的动态图像数据进行流发送。

并且，在判定为在照相机61的拍摄范围中没有非显示对象的情况下(步骤S35；否)，非显示信息处理部158取得拍摄图像数据(步骤S43)，并转移到步骤S40。

控制部150判定是否通过对操作部170的操作指示了停止(步骤S42)，在指示了停止的情况下(步骤S42；是)，结束本处理。并且，在没有指示停止的情况下(步骤S42；否)，返回到步骤S34。

在步骤S35中，控制部150判定在照相机61的拍摄范围中是否包含非显示对象，但即使非显示对象处于照相机61的拍摄范围之外，也可以转移到步骤S36。例如，在照相机61的拍摄范围与非显示对象接近到规定的范围内的情况下，或者在照相机61的拍摄范围接近非显示对象的情况下，也可以转移到步骤S36。在这些情况下，由于在照相机61的拍摄图像数据中不包含非显示对象的图像，所以作为非显示区域，非显示信息处理部158也可以将拍摄图像数据中接近非显示对象的一侧的端部确定为非显示区域。

图8是针对照相机61的拍摄图像数据的处理的说明图。

在图8中，作为照相机61的拍摄图像数据的一例，标记A表示拍摄图像数据301，标记B表示对拍摄图像数据301实施了遮蔽处理的处理后图像数据311。

作为一例，拍摄图像数据301是在工厂中对作业用车辆进行拍摄后的数据。在该例中，将人脸和通过作业用车辆搬运的货物设定为非显示对象。控制部150从拍摄图像数据301中检测人脸的图像，从而确定所对应的非显示区域303。并且，控制部150从拍摄图像数据301中检测作业用车辆的图像，确定与作业用车辆的货架台对应的非显示区域305。

控制部150利用非显示信息处理部158对非显示区域303、305进行遮蔽处理。遮蔽处理是使清晰度下降至无法判别在非显示区域303、305中拍下的被摄体的程度的处理。

作为在遮蔽处理中使清晰度下降的具体方法，可列举以下的(1)～(3)。

(1)对非显示区域实施马赛克处理的方法。非显示信息处理部158进行对非显示区域的图像进行马赛克化的图像处理，生成包含马赛克的拍摄图像数据。

(2)涂布非显示区域的方法。非显示信息处理部158进行用预先设定的单色来涂布非显示区域的处理或者重叠所设定的几何图形等的图像处理。

(3)对非显示区域进行低分辨率化的方法。控制部150利用拍摄控制部155对照相机61进行控制，从而通过照相机61来按照两种分辨率执行拍摄。作为一例，照相机61按照第1分辨率(1920×1080)和第2分辨率(320×240)进行拍摄。分辨率的具体数值和纵横比是任意的，只要第1分辨率是比第2分辨率高的分辨率即可。

在该方法中，照相机61交替或组合地执行基于第1分辨率的拍摄和基于第2分辨率的拍摄。因此，在照相机61输出动态图像数据的情况下，构成该动态图像数据的帧包含第1分辨率的帧和第2分辨率的帧。优选交替或每隔规定的张数对第1分辨率的帧和第2分辨率的帧进行切换。作为典型的例子，30fps的动态图像数据包含每1秒15张第1分辨率的帧和15张第2分辨率的帧。

拍摄控制部155输出照相机61所拍摄到的拍摄图像数据中的、仅包含第1分辨率的帧的动态图像数据。在对拍摄图像数据确定了非显示区域之后，非显示信息处理部158从第2分辨率的帧中切出非显示区域的图像，将所切出的图像在第1分辨率的帧中与非显示区域的位置重叠合成。这里，由于从第2分辨率的帧中切出的非显示区域的图像的像素数比第1分辨率的非显示区域的像素数少，所以非显示信息处理部158对所切出的图像的分辨率进行转换而合成图像。在该情况下，非显示信息处理部158通过单纯地进行使像素数为规定的倍数的处理，能够以较小的处理负荷来实现非显示区域的低分辨率化。非显示信息处理部158将由所合成的帧构成的动态图像数据临时存储为拍摄图像数据。

根据(3)的方法，在将照相机61所拍摄到的拍摄图像数据大致实时地发送到服务器200的处理中，能够抑制图像处理的负荷，不会产生较大的延迟便能够输出动态图像数据。在该方法中，其结果是，动态图像数据的数据量被压缩，因此能够实时发布与进行通常的实时数据发送相比数据量较少、且可实现隐私保护和机密信息保护的动态图像数据。在发布拍摄图像数据的服务器200、HMD 1B、1C等设备中，能够高分辨率地再现非显示区域以外的区域。并且，由于非显示区域的信息量较少，所以实现了隐私保护和机密信息保护。此外，与(1)和(2)的方法相比，还具有如下优点：拍摄图像数据整体中的非显示区域不明显，不易令使用者U2、U3感到不适。

并且，在上述(3)的方法中，当在拍摄图像数据(动态图像数据的帧)中包含非显示对象的图像的情况下，非显示信息处理部158也可以将高分辨率的帧整体置换为低分辨率的帧。将该方法设为(4)。根据方法(4)，帧整体的分辨率下降，但由于再现动态图像数据的装置能够进行转换分辨率的处理，所以能够进一步减轻非显示信息处理部158的处理负荷。并且，与方法(3)同样，能够使非显示对象的图像成为不会令人感到不适的、清晰度较低的图像。

使清晰度下降的处理中的“清晰度”是指图像被使用者U1或其他人看到时的清晰度，但并不限定于此。例如，清晰度的变化可以是利用计算机对图像进行处理时的引起处理结果变化的变化。使清晰度下降的处理例如可以是使图像的分辨率、亮度、明度、饱和度、马赛克度等任意1个以上发生变化的处理。并且，也可以是使图像所包含的轮廓不清晰的处理(相当于与所谓的边缘强调处理相反的处理)、使图像的灰度减少的处理、使对比度下降的处理、使锐度下降的处理等。并且，在使清晰度下降的处理中，也可以在拍摄图像数据的全部或一部分中使特定的亮度或频率范围的信号增大或减小，从而使拍摄图像数据中所包含的图像的可视性、图像轮廓的可视性或清晰度下降。也可以对这些处理中的两个以上进行组合而成为使清晰度下降的处理。

并且，控制部150也可以通过照度传感器65或照相机61来测量(检测)HMD 1的使用环境的明亮度，根据所测量出的明亮度使照相机61的拍摄条件、针对照相机61的拍摄图像数据的处理的参数发生变化。照相机61的拍摄条件是白平衡、快门速度、快门打开时间、自动对焦、光圈值等。也可以通过对照相机61的拍摄条件进行变更或调整以使拍摄图像数据变得不清晰，从而使清晰度下降。并且，也可以在对照相机61的拍摄条件进行变更或调整以使拍摄图像数据变得清晰之后，进行使拍摄图像数据的清晰度下降的处理。

在图8中，在处理后图像数据311中，用阴影来表示被遮蔽处理的部分，但实际上是实施了(1)～(3)的处理的状态。

在实施了遮蔽处理的处理后图像数据311中，与非显示区域303对应的区域313、和与非显示区域305对应的区域315处于通过遮蔽处理而使清晰度下降的状态。因此，能够在确保了隐私保护和机密信息保护的基础上，将照相机61的拍摄图像数据从HMD 1A发送到服务器200或HMD 1B、1C。

图9是示出HMD 1A的动作的流程图，示出了上述(3)的处理。

拍摄控制部155对照相机61进行控制，由此，照相机61按照第1分辨率来进行拍摄(步骤S61)，将拍摄图像数据存储到缓冲器中(步骤S62)。缓冲器可以形成在存储器118或非易失性存储部121的存储区域中。照相机61利用拍摄控制部155的控制，按照第2分辨率来执行拍摄(步骤S63)，将拍摄图像数据存储到缓冲器中(步骤S64)。

非显示信息处理部158判定是否对拍摄图像数据进行遮蔽处理(步骤S65)。在进行遮蔽处理的情况下(步骤S65)，非显示信息处理部158取得非显示区域的位置和大小的信息(步骤S66)，从按照第2分辨率拍摄到的帧中切出非显示区域的图像(步骤S67)。非显示信息处理部158将切出的图像与按照第1分辨率拍摄到的帧合成(步骤S68)，并将合成后的帧存储到缓冲器中(步骤S69)。非显示信息处理部158输出存储于缓冲器的动态图像数据(步骤S70)。

并且，在非显示信息处理部158判定为不进行遮蔽处理的情况下(步骤S65；否)，转移到步骤S70。

控制部150判定是否通过对操作部170的操作指示了停止(步骤S71)，在指示了停止的情况下(步骤S71；是)，结束本处理。并且，在没有指示停止的情况下(步骤S71；否)，返回到步骤S61。

如以上说明的那样，应用了本发明的HMD 1具有：图像显示部20，其佩戴于使用者的头部，对图像进行显示；以及照相机61，其设置于图像显示部20，拍摄相对于图像显示部20的规定的方向上的图像。HMD 1具有控制部150，该控制部150确定照相机61的拍摄范围中的非显示区域，对照相机61的拍摄图像数据进行使非显示区域的清晰度下降的处理，并输出处理后的拍摄图像数据。

由此，将在照相机61的拍摄图像数据中拍下了不应该拍摄的事物的区域设为非显示区域，从而进行使非显示区域的清晰度下降的处理。由此，能够获得使不应该拍摄的事物的图像的清晰度下降的拍摄图像数据。因此，能够适当利用可能包含有不应该拍摄的事物的图像的拍摄图像。

并且，HMD 1具有存储部140，该存储部140存储对非显示对象进行确定的非显示信息147。控制部150根据非显示信息147来确定非显示区域。由此，根据存储于存储部140的非显示信息147来确定作为使清晰度下降的处理的对象的非显示区域。由此，能够适当地确定可能包含有不应该拍摄的事物的图像的非显示区域。

并且，控制部150在照相机61的拍摄范围内，将在照相机61的拍摄图像数据中包含非显示对象的图像的区域确定为非显示区域。因此，将在拍摄图像数据中拍下非显示对象的区域设为使清晰度下降的处理的对象，能够适当地隐匿并保护不应该拍摄的事物的图像。

并且，存储部140所存储的非显示信息147包含表示非显示对象的位置和方向中的至少任意一方的信息。由此，能够根据表示非显示对象的位置和/或方向的信息，在照相机61的拍摄图像数据中适当地确定非显示区域。

并且，非显示对象是预先设定的物体，非显示信息147包含用于从照相机61的拍摄图像数据中检测非显示对象的外观的信息。在该情况下，在预先设定为非显示对象的物体的外观包含在拍摄图像数据中的情况下，由于使拍摄图像数据的非显示对象的清晰度下降，所以能够防止或抑制非显示对象被看到。

并且，HMD 1具有通信部117，控制部150通过通信部117从作为外部装置的服务器200接收非显示信息，并存储于存储部140。由此，能够利用与拍摄图像数据的处理相适的非显示信息147。

并且，HMD 1具有位置检测部157，该位置检测部157检测图像显示部20的位置。控制部150根据位置检测部157的检测结果来确定图像显示部20的位置，根据图像显示部20的位置和非显示信息147来检测拍摄图像数据中的非显示区域。由此，能够与图像显示部20的位置对应地确定有可能包含不应该拍摄的事物的图像的非显示区域。因此，在照相机61能够移动的结构中，能够适当利用有可能包含不应该拍摄的事物的图像的拍摄图像。

并且，HMD 1具有映射数据146，该映射数据146包含图像显示部20所能够移动的范围的至少一部分，控制部150也可以确定映射数据146中的非显示区域，在该情况下，能够利用映射数据146容易地确定非显示区域。

并且，控制部150也可以生成图像显示部20所能够移动的范围的映射数据146，确定所生成的映射数据146中的非显示区域。在该情况下，根据需要来生成映射数据146，能够利用该映射数据146容易地确定非显示区域。

并且，照相机61输出按照第1拍摄分辨率拍摄的第1拍摄图像数据、和按照比第1拍摄分辨率低的第2拍摄分辨率拍摄的第2拍摄图像数据。控制部150通过上述的使清晰度下降的处理(3)将第1拍摄图像数据中的非显示区域置换成第2拍摄图像数据中的对应区域的图像而进行合成。由此，通过对图像进行局部置换的处理，能够使非显示区域的清晰度下降。

并且，照相机61输出按照第1拍摄分辨率拍摄的第1拍摄图像数据、和按照比第1拍摄分辨率低的第2拍摄分辨率拍摄的第2拍摄图像数据。控制部150通过上述的使清晰度下降的处理(4)，将包含非显示对象的图像的第1拍摄图像数据置换为第2拍摄图像数据。由此，通过对图像进行置换的处理，能够使包含非显示区域的拍摄图像整体的清晰度下降。

并且，HMD 1具有受理操作的操作部170。在通过操作部170所受理的操作在照相机61的拍摄范围内指定了非显示对象的情况下，控制部150根据所指定的非显示对象的位置和方向中的至少任意一方，生成非显示信息147。由此，由于根据操作来生成非显示信息147，所以能够在拍摄图像数据中适当地设定使清晰度下降的处理的对象。

并且，非显示区域并不限定于平面区域。例如，也可以将包含深度的3D空间设定为非显示区域。在该情况下，关于在映射数据146中规定非显示区域的信息，可列举以图像显示部20为基准的距离、和/或以图像显示部20的正面方向为基准的方向(角度)等。在该情况下，HMD 1也可以根据在佩戴着图像显示部20的使用者U1移动的期间由照相机61拍摄到的拍摄图像数据，在使用者U1移动的期间，对应着与拍摄对象相距的距离和/或使用者U1的移动速度来进行使清晰度变化的处理。由此，具有如下优点：可以省略进一步使照相机61的拍摄图像数据所包含的图像中的、位于距图像显示部20较远的位置的物体或人的图像(即，拍摄图像数据中的可视性较低的图像)的清晰度下降的处理。

并且，显示系统100具有HMD 1和服务器200。服务器200具有：服务器存储部210，其存储用于确定非显示对象的非显示信息147；以及服务器通信部220，其将存储于服务器存储部210的非显示信息147发送到HMD 1。HMD 1具有：图像显示部20，其佩戴于使用者的头部，对图像进行显示；照相机61，其设置于图像显示部20，拍摄相对于图像显示部20的规定的方向上的图像；以及通信部117。并且，HMD 1具有存储部140，该存储部140存储通过通信部117从服务器200接收的非显示信息147。并且，HMD 1具有控制部150。控制部150根据存储于存储部140的非显示信息147，确定照相机61的拍摄范围中的非显示区域，对照相机61的拍摄图像数据进行使非显示区域的清晰度下降的处理，并输出处理后的拍摄图像数据。由此，将在照相机61的拍摄图像数据中拍下了不应该拍摄的事物的区域设为非显示区域，从而通过HMD 1来进行使非显示区域的清晰度下降的处理。因此，能够获得使不应该拍摄的事物的图像的清晰度下降的拍摄图像数据。并且，由于HMD 1能够从服务器200接收非显示信息147，所以能够利用与拍摄图像数据的处理相适的非显示信息147。由此，能够适当利用有可能包含不应该拍摄的事物的图像的拍摄图像。

[第2实施方式]

图10是示出第2实施方式的HMD 1A的动作的流程图，示出了HMD 1A通过照相机61来进行拍摄并将拍摄图像数据发送到服务器200的一系列动作。

由于第2实施方式的显示系统100和HMD 1A的结构与上述第1实施方式同样，所以省略了结构的图示和说明。

在第2实施方式中，非显示信息147包含表示从图像显示部20A到非显示对象的距离的信息。

控制部150通过非显示信息处理部158来取得映射数据146(步骤S91)，然后取得非显示信息147(步骤S92)。这里，非显示信息处理部158也可以从服务器200取得非显示信息和映射数据。

控制部150通过拍摄控制部155对照相机61进行控制而开始拍摄(步骤S93)。在拍摄开始之后，从照相机61向控制部150输出拍摄图像数据。

控制部150通过位置检测部157来检测HMD 1A的图像显示部20A的位置(步骤S94)。控制部150根据位置检测部157所检测出的位置和非显示信息147，利用非显示信息处理部158来判定在照相机61的拍摄范围中是否包含非显示对象(步骤S95)。

在判定为在照相机61的拍摄范围中包含非显示对象的情况下(步骤S95；是)，非显示信息处理部158根据非显示信息147中所包含的距离的信息，确定非显示区域(步骤S96)。具体来说，非显示信息处理部158从图像显示部20A取得与包含在照相机61的拍摄范围中的非显示对象相距的距离，将拍摄比该距离远的区域的区域设为非显示区域。在步骤S96中，对非显示对象和位于比非显示对象远的位置的事物、与比它们更靠近图像显示部20A的事物进行区分。

拍摄控制部155对与在步骤S96中确定的非显示区域对应的照相机61的拍摄条件进行设定(步骤S97)。在步骤S97中设定的拍摄条件是使非显示区域为不清晰的图像的拍摄条件，在后面进行详述。

非显示信息处理部158取得照相机61的拍摄图像数据并临时存储到存储部140中(步骤S98)。

控制部150通过通信控制部152将在步骤S98中临时存储的拍摄图像数据发送到服务器200(步骤S99)。在照相机61所输出的拍摄图像数据是动态图像数据并且连续输出的情况下，控制部150也可以每隔规定的时间对动态图像数据进行划分而执行步骤S99的处理。并且，控制部150也可以在存储部140的存储区域的一部分或存储器118中形成缓冲存储器，在步骤S100中将动态图像数据临时存储到缓冲存储器中。在该情况下，控制部150也可以利用步骤S101对临时存储的动态图像数据进行流发送。

并且，在判定为在照相机61的拍摄范围中没有非显示对象的情况下(步骤S95；否)，非显示信息处理部158转移到步骤S98。

控制部150判定是否通过对操作部170的操作指示了停止(步骤S100)，在指示了停止的情况下(步骤S100；是)，结束本处理。并且，在没有指示停止的情况下(步骤S100；否)，返回到步骤S94。

在步骤S95中，控制部150判定在照相机61的拍摄范围中是否包含非显示对象，但即使非显示对象处于照相机61的拍摄范围之外，也可以转移到步骤S96。例如，在照相机61的拍摄范围与非显示对象接近到规定的范围内的情况下，或者在照相机61的拍摄范围接近非显示对象的情况下，也可以转移到步骤S96。在这些情况下，由于在照相机61的拍摄图像数据中不包含非显示对象的图像，所以作为非显示区域，非显示信息处理部158也可以将拍摄图像数据中接近非显示对象的一侧的端部确定为非显示区域。

在步骤S97中设定的拍摄条件被设定为：使用照相机61的调焦功能(自动对焦：AF)来使比非显示信息147所示的距离远的区域的对焦模糊。

图11是针对照相机61的拍摄图像数据的处理的说明图。

关于图11所示的拍摄图像数据351，到图像显示部20A的距离比所设定的规定的距离近的区域353被清晰地拍摄，另一方面，比规定的距离远的区域355成为焦点不匹配的图像。这样，也将远处的焦点状态不匹配的状态称为背景模糊。

如图11所示，由于产生了背景模糊的拍摄图像数据351是靠近图像显示部20A侧较清晰的图像，所以例如在使用者U1进行作业的情况下，在将拍摄了作业对象物的拍摄图像数据发送到HMD 1B、1C时有用。并且，由于区域355不清晰，所以与非显示对象相关的信息缺失，能够维持非显示对象的隐匿性。

除了基于AF功能的调整之外，产生背景模糊的结构还可以通过设定照相机61的光圈值(所谓的F值)的光圈调整来实现。并且，作为搭载多个照相机61并对该多个照相机61的拍摄图像数据进行合成而获得1个照相机的拍摄图像数据的结构，也可以对各照相机61的拍摄图像数据的合成状态进行调整，从而实现与光圈值对应的背景模糊。

并且，作为其他例子，也可以构成为非显示信息处理部158通过图像处理而使非显示区域的图像变得不清晰。

非显示信息147可以不包含从图像显示部20A到非显示对象的准确的距离，例如，也可以按照50cm、1m、2m等容易理解的单位来进行划分，使用者U1还可以通过操作部170的操作来指定。

这样，根据第2实施方式的HMD 1，存储部140所存储的非显示信息147包含指定非显示对象到照相机61的距离的信息。由此，能够以与照相机61相距的距离为基准适当地确定非显示区域。

并且，在使非显示区域的清晰度下降的处理中，控制部150对照相机61的拍摄条件进行控制而使照相机61执行拍摄，生成具有清晰度不同的部分的拍摄图像数据。由此，通过对照相机61拍摄的条件进行控制而使拍摄图像数据的清晰度下降，因此能够简化或省略拍摄图像数据的图像处理。因此，能够减轻处理负荷。

另外，该发明并不限于上述各实施方式的结构，只要在不脱离其主旨的范围内便能够以各种方式实施。

例如，也可以代替图像显示部20而采用例如像帽子那样佩戴的图像显示部等其他方式的图像显示部，只要具有与使用者U的左眼对应地显示图像的显示部、和与使用者U的右眼对应地显示图像的显示部即可。并且，本发明的显示装置例如也可以构成为搭载于汽车或飞机等交通工具的头戴显示器。并且，例如，也可以构成为内置于头盔等身体防护用具的头戴显示器。在该情况下，可以将确定相对于使用者U的身体的位置的部分、以及相对于该部分定位的部分设为佩戴部。

此外，控制器10和图像显示部20也可以构成为一体，采用佩戴于使用者U的头部的结构。并且，作为控制器10，可以使用笔记本型电脑、平板电脑、包含游戏机、移动电话、智能手机、便携式媒体播放器的便携式电子设备、其他专用设备等。

并且，在上述实施方式中，以图像显示部20和控制器10分离并经由连接线缆40连接的结构为例进行说明，但也可以构成为控制器10和图像显示部20通过无线通信线路来连接。

并且，作为将图像光引导至使用者U1的眼睛的光学系统，右导光板26和左导光板28可以使用半反射镜，也可以使用衍射光栅、棱镜等。并且，图像显示部20也可以使用全息显示部。

并且，在上述各实施方式中，对图像显示部20通过OLED单元221、241来生成图像光的结构进行了说明，但本发明并不限定于此。例示了OLED单元221、241具有OLED面板和对OLED面板进行驱动的OLED驱动电路的结构。这里，OLED面板是由通过有机电致发光来分别进行发光的发光元件构成的自发光型的显示面板。作为更具体的例子，可列举OLED面板将以各包含1个R、G、B元件的单位为1个像素的多个像素配置成矩阵状的结构。作为变形例，右显示单元22和左显示单元24分别构成为影像元件，该影像元件具有作为光源部的OLED面板和对光源部发出的光进行调制而输出包含多种色光的图像光的调制元件。这样，右显示单元22、左显示单元24利用投射光学系统和导光板等将被调制元件调制后的图像光引导至用户的眼睛，从而构成为能够使用户识别虚像。在该变形例的图像显示部中，对OLED面板发出的光进行调制的调制装置可以使用透射型液晶面板，也可以代替透射型液晶面板而使用反射型液晶面板，还可以使用数字微镜器件。光源可以是激光光源，也可以是LED。并且，图像显示部20例如也可以是激光扫描方式的激光视网膜投影型的HMD。

并且，框图所示的各功能块中的至少一部分可以由硬件实现，也可以构成为通过硬件和软件的协作来实现，并不限定于如图示那样配置独立的硬件资源的结构。并且，控制部150所执行的程序也可以存储在非易失性存储部121或控制器10内的其他存储装置(省略图示)中。并且，也可以构成为经由USB连接器19、通信部117、外部存储器接口186等取得存储于外部装置的程序并执行。并且，也可以将形成于控制器10的结构重复形成于图像显示部20。例如，可以在图像显示部20中配置与主处理器125同样的处理器，也可以构成为控制器10所具有的主处理器125和图像显示部20的处理器分别执行分开的功能。

Claims (14)

1.一种头部佩戴型显示装置，其具有：

显示部，其佩戴于使用者的头部，对图像进行显示；

摄像部，其设置于所述显示部，拍摄相对于所述显示部的规定的方向上的拍摄图像；

控制部，其确定所述摄像部的拍摄范围中的非显示区域，对所述摄像部的拍摄图像数据进行使所述非显示区域的清晰度下降的处理，并输出处理后的所述拍摄图像数据；

检测部，其检测所述拍摄图像中的非显示对象的形状；以及

存储部，其存储对预先设定的非显示对象进行确定的非显示信息，

所述非显示信息包含所述预先设定的非显示对象的形状，

所述控制部判定检测到的所述非显示对象的形状是否是所述预先设定的非显示对象的形状，

所述控制部根据所述非显示信息和检测到的所述非显示对象的形状是否是所述预先设定的非显示对象的形状来确定所述非显示区域，

所述控制部设定具有包含深度的3D空间的所述非显示区域，

所述存储部所存储的所述非显示信息包含表示所述非显示对象相对于所述显示部的方向和所述非显示对象与所述显示部之间的距离的信息。

2.根据权利要求1所述的头部佩戴型显示装置，其中，

所述控制部在所述摄像部的拍摄范围中，将在所述摄像部的拍摄图像数据中包含所述非显示对象的图像的区域确定为所述非显示区域。

3.根据权利要求1或2所述的头部佩戴型显示装置，其中，

所述存储部所存储的所述非显示信息包含指定所述非显示对象到所述摄像部的距离的信息。

4.根据权利要求1或2所述的头部佩戴型显示装置，其中，

所述存储部所存储的所述非显示信息包含用于从所述摄像部的拍摄图像数据中检测所述非显示对象的外观的信息。

5.根据权利要求1或2所述的头部佩戴型显示装置，其中，

该头部佩戴型显示装置具有通信部，

所述控制部通过所述通信部从外部装置接收所述非显示信息，并存储到所述存储部中。

6.根据权利要求1或2所述的头部佩戴型显示装置，其中，

该头部佩戴型显示装置具有位置检测部，所述位置检测部检测所述显示部的位置，

所述控制部根据所述位置检测部的检测结果来确定所述显示部的位置，并根据所述显示部的位置和所述非显示信息来检测所述拍摄图像数据中的所述非显示区域。

7.根据权利要求1或2所述的头部佩戴型显示装置，其中，

该头部佩戴型显示装置具有映射数据，所述映射数据包含所述显示部所能够移动的范围的至少一部分，

所述控制部确定所述映射数据中的所述非显示区域。

8.根据权利要求7所述的头部佩戴型显示装置，其中，

所述控制部生成所述显示部所能够移动的范围的所述映射数据，并确定所生成的所述映射数据中的所述非显示区域。

9.根据权利要求1或2所述的头部佩戴型显示装置，其中，

所述摄像部输出按照第1拍摄分辨率拍摄的第1拍摄图像数据、和按照比所述第1拍摄分辨率低的第2拍摄分辨率拍摄的第2拍摄图像数据，

在使所述非显示区域的清晰度下降的处理中，所述控制部将所述第1拍摄图像数据中的所述非显示区域置换成所述第2拍摄图像数据中的对应区域的图像。

10.根据权利要求1或2所述的头部佩戴型显示装置，其中，

所述摄像部输出按照第1拍摄分辨率拍摄的第1拍摄图像数据、和按照比所述第1拍摄分辨率低的第2拍摄分辨率拍摄的第2拍摄图像数据，

在使所述非显示区域的清晰度下降的处理中，所述控制部将包含所述非显示对象的图像的所述第1拍摄图像数据置换成所述第2拍摄图像数据。

11.根据权利要求1或2所述的头部佩戴型显示装置，其中，

在使所述非显示区域的清晰度下降的处理中，所述控制部对所述摄像部的拍摄条件进行控制而使所述摄像部执行拍摄，生成具有清晰度不同的部分的拍摄图像数据。

12.根据权利要求1或2所述的头部佩戴型显示装置，其中，

该头部佩戴型显示装置具有受理操作的操作部，

当通过所述操作部所受理的操作在所述摄像部的拍摄范围中指定了所述非显示对象的情况下，所述控制部根据所指定的所述非显示对象的位置和方向中的至少任意一方来生成所述非显示信息。

13.一种显示系统，其具有头部佩戴型显示装置和服务器，

所述服务器具有：

服务器存储部，其存储对预先设定的非显示对象进行确定的非显示信息；以及

发送部，其将存储于所述服务器存储部的所述非显示信息发送到所述头部佩戴型显示装置，

所述头部佩戴型显示装置具有：

显示部，其佩戴于使用者的头部，对图像进行显示；

摄像部，其设置于所述显示部，拍摄相对于所述显示部的规定的方向上的拍摄图像；

通信部；

检测部，其检测所述拍摄图像中的非显示对象的形状；

存储部，其存储通过所述通信部而从所述服务器接收的所述非显示信息；以及

控制部，其根据存储于所述存储部的所述非显示信息，确定所述摄像部的拍摄范围中的非显示区域，对所述摄像部的拍摄图像数据进行使所述非显示区域的清晰度下降的处理，并输出处理后的所述拍摄图像数据，

所述非显示信息包含所述预先设定的非显示对象的形状，

所述控制部判定检测到的所述非显示对象的形状是否是所述预先设定的非显示对象的形状，

所述控制部根据所述非显示信息和检测到的所述非显示对象的形状是否是所述预先设定的非显示对象的形状来确定所述非显示区域，

所述控制部设定具有包含深度的3D空间的所述非显示区域，

所述存储部所存储的所述非显示信息包含表示所述非显示对象相对于所述显示部的方向和所述非显示对象与所述显示部之间的距离的信息。

14.一种头部佩戴型显示装置的控制方法，该头部佩戴型显示装置具有显示部，所述显示部佩戴于使用者的头部，对图像进行显示，在该头部佩戴型显示装置的控制方法中，

通过设置于所述显示部的摄像部来拍摄相对于所述显示部的规定的方向上的拍摄图像，

确定所述摄像部的拍摄范围中的具有包含深度的3D空间的非显示区域，对所述摄像部的拍摄图像数据进行使所述非显示区域的清晰度下降的处理，并输出处理后的所述拍摄图像数据，

检测所述拍摄图像中的非显示对象的形状，

存储用于确定预先设定的非显示对象的非显示信息，所述非显示信息包含所述预先设定的非显示对象的形状，

判定检测到的所述非显示对象的形状是否是所述预先设定的非显示对象的形状，

根据所述非显示信息和检测到的所述非显示对象的形状是否是所述预先设定的非显示对象的形状来确定所述非显示区域，

所存储的所述非显示信息包含表示所述非显示对象相对于所述显示部的方向和所述非显示对象与所述显示部之间的距离的信息。

Images