CN102196220B

CN102196220B - 信息处理设备和信息处理方法

Info

Publication number: CN102196220B
Application number: CN201110049117.5A
Authority: CN
Inventors: 笠原俊一; 高冈绫; 松谷笃志; 簗奏子
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2010-03-04
Filing date: 2011-02-25
Publication date: 2016-05-18
Anticipated expiration: 2031-02-25
Also published as: JP2011188024A; US20180278838A1; TW201205182A; US20190253612A1; US10015392B2; US20150244909A1; EP2364013B1; EP2364013A2; JP5740822B2; RU2011106920A; US9049376B2; EP3996361A1; BRPI1100158A2; US9516206B2; KR20110100582A; US20110216236A1; CN102196220A; US11190678B2; EP2364013A3; US10659681B2

Abstract

提供了信息处理设备、信息处理方法和程序。该信息处理设备包括：照射单元，用于将投影图像照射至要拍摄的被摄体上，该投影图像用于允许被摄体进行预定操作；识别单元，用于识别所述被摄体进行的操作；以及执行单元，用于执行与由所述识别单元识别出的所述被摄体的操作相对应的预定处理。

Description

信息处理设备和信息处理方法

技术领域

本发明涉及信息处理设备、信息处理方法和程序。

背景技术

过去，在利用照相机捕获图像时，通常使用闪光灯作为照明。然而，过去常常难以仅利用闪光灯进行闪光灯之外的特殊照明。利用图像处理可以将期望的图案、纹理等应用于通过照相机捕获的图像。然而，尽管使用照相机的摄影者可以看到图像处理的结果，但是第三人和被摄体可能不能看到图像处理的结果。

例如，日本特表2006-523067号公报和日本特开2009-76983号公报公开了用于使得投影仪将图形图像投影到被拍摄的被摄体上的技术。例如，日本特开2008-152622号公报和2009-70245号公报公开了如下技术：该技术用于将图形图像投影到桌子等上、检测手指的方向和手的形状、以及使得信息处理设备进行预定的处理。

发明内容

然而，期望不仅根据手指的方向和手的形状进行处理，而且还检测被摄体相对于投影的图形图像的一定的移动并执行与所检测到的移动相关联的处理。

鉴于上述，期望提供一种新颖的且改进的信息处理设备、信息处理方法和程序，其中，可以根据被摄体与投影图像的交互而执行处理。

根据本发明的实施例，提供了一种信息处理设备，该信息处理设备包括：照射单元，用于将投影图像照射到被拍摄的被摄体上，该投影图像用于允许被摄体进行预定操作；识别单元，用于识别被摄体进行的操作；以及执行单元，用于根据由识别单元识别出的被摄体的操作执行预定处理。

识别单元可以基于由图像捕获装置捕获的被摄体图像而识别被摄体的操作。

照射单元可以将投影图像照射至被摄体上，并且图像捕获装置和照射单元可以被布置在信息处理设备的固定位置处。

照射单元可以照射用于允许被摄体进行选择操作的投影图像，识别单元可以识别被摄体所进行的选择操作，并且执行单元可以执行被摄体所选择的操作。

照射单元可以将通过用户的操作所选择的投影图像照射至被摄体上。

识别单元可以识别被摄体中包括的物体和人，并且照射单元可以将投影图像照射至由识别单元识别出的、被摄体中包括的物体和人的区域上。

识别单元可以识别投影图像被照射到其上的照射范围内的被摄体的移动。

执行单元可以执行与由识别单元识别出的照射范围内的被摄体的移动相对应的预定处理。

执行单元可以使得照射单元根据由识别单元识别出的被摄体的操作照射投影图像。

根据本发明的另一实施例，提供了一种信息处理方法，该信息处理方法包括以下步骤：将投影图像照射至被拍摄的被摄体上，该投影图像用于允许被摄体进行预定的操作；识别被摄体进行的操作；以及根据由识别单元识别出的被摄体的操作执行预定处理。

根据本发明的另一实施例，提供了一种使得计算机用作信息处理设备的程序，该信息处理设备包括：照射单元，用于将投影图像照射至被拍摄的被摄体上，该投影图像用于允许被摄体进行预定操作；识别单元，用于识别被摄体进行的操作；以及执行单元，用于根据由识别单元识别出的被摄体的操作执行预定处理。

如上所述，根据本发明，可以根据被摄体与投影图像之间的交互执行处理。

附图说明

图1是示出本发明的实施例的概要的说明图；

图2是示出本发明的实施例的概要的说明图；

图3是示出根据本发明的第一实施例的信息处理设备的硬件配置的框图；

图4是示出根据该实施例的控制单元的功能配置的框图；

图5是示出根据该实施例的照射的投影图像的示例的说明图；

图6是示出根据该实施例的照射的投影图像的示例的说明图；

图7是示出根据该实施例的照射的投影图像的示例的说明图；

图8是示出根据该实施例的照射的投影图像的示例的说明图；

图9是示出根据该实施例的照射的投影图像的示例的说明图；

图10是示出根据该实施例的照射的投影图像的示例的说明图；

图11是示出根据该实施例的照射的投影图像的示例的说明图；

图12是示出根据该实施例的照射的投影图像的示例的说明图；

图13是示出根据该实施例的照射的投影图像的示例的说明图；

图14是示出根据该实施例的照射的投影图像的示例的说明图；

图15是示出根据该实施例的照射的投影图像的示例的说明图；

图16是示出根据该实施例的照射的投影图像的示例的说明图；

图17是详细示出根据该实施例的信息处理设备的操作的流程图；

图18是详细示出根据该实施例的信息处理设备的操作的流程图；

图19是示出根据本发明的第二实施例的信息处理设备的硬件配置的框图；

图20是示出根据该实施例的控制单元的功能配置的框图；

图21是示出根据该实施例的照射的投影图像的示例的说明图；

图22是示出根据该实施例的照射的投影图像的示例的说明图；

图23是示出根据该实施例的照射的投影图像的示例的说明图；

图24是示出根据该实施例的照射的投影图像的示例的说明图；

图25是示出根据该实施例的照射的投影图像的示例的说明图；

图26是示出根据该实施例的照射的投影图像的示例的说明图；

图27是示出根据该实施例的照射的投影图像的示例的说明图；

图28是示出根据该实施例的照射的投影图像的示例的说明图；

图29是示出根据该实施例的照射的投影图像的示例的说明图；

图30是示出根据该实施例的照射的投影图像的示例的说明图；

图31是示出根据该实施例的照射的投影图像的示例的说明图；

图32是详细示出根据该实施例的信息处理设备的操作的流程图；

图33是详细示出根据该实施例的信息处理设备的操作的流程图；

图34是详细示出根据该实施例的信息处理设备的操作的流程图；

图35是示出本发明的第三实施例的概要的说明图；

图36是示出该实施例的概要的说明图；

图37是示出根据该实施例的控制单元的功能配置的框图；

图38是示出根据该实施例的照射的投影图像的示例的说明图；

图39是示出根据该实施例的照射的投影图像的示例的说明图；

图40是示出根据该实施例的照射的投影图像的示例的说明图；

图41是示出根据该实施例的照射的投影图像的示例的说明图；

图42是示出根据该实施例的照射的投影图像的示例的说明图；

图43是示出根据该实施例的照射的投影图像的示例的说明图；

图44是示出根据该实施例的照射的投影图像的示例的说明图；

图45是示出根据该实施例的照射的投影图像的示例的说明图；

图46是示出根据该实施例的照射的投影图像的示例的说明图；

图47是示出根据该实施例的照射的投影图像的示例的说明图；

图48是示出根据该实施例的照射的投影图像的示例的说明图；

图49是示出根据该实施例的照射的投影图像的示例的说明图；以及

图50是详细示出根据该实施例的信息处理设备的操作的流程图。

具体实施方式

在下文中，将参考附图详细描述本发明的优选实施例。注意，在该说明书和附图中，以相同的附图标记表示具有基本上相同的功能和结构的构成要素，并且省略对于这些构成要素的重复说明。

<1.本实施例的概要>

<2.第一实施例>

<2-1.信息处理设备的硬件配置>

<2-2.信息处理设备的功能配置>

<2-3.信息处理设备的详细操作>

<3.第二实施例>

<3-1.信息处理设备的硬件配置>

<3-2.信息处理设备的功能配置>

<3-3.信息处理设备的详细操作>

<4.第三实施例>

<4-1.信息处理设备的硬件配置>

<4-2.信息处理设备的功能配置>

<4-3.信息处理设备的详细操作>

<1.本实施例的概要>

首先，将参考图1和图2说明本实施例的概要。根据本实施例的信息处理设备10主要包括用于捕获被摄体的图像的图像捕获装置(照相机)、用于将视频图像投影到被摄体上的照射装置(投影仪)、用于显示由照相机所拍摄的捕获图像的显示装置(显示器)等。如图1所示，信息处理设备10的一个面(表面)布置有显示器11。信息处理设备10的另一面(里面)布置有照相机镜头12和投影仪镜头13。在下面的说明中，包括照相机镜头12的照相机被称为图像捕获装置12或照相机12。包括投影仪镜头13的投影仪被称为照射装置13或投影仪13。

在信息处理设备10中，照相机12和投影仪13被布置在信息处理设备10的壳体的固定位置处。将由照相机12捕获的被摄体图像显示在显示器11上。投影仪13将投影图像投影到被摄体上。然后，显示器11显示投影图像被投影到其上的被摄体。

如图2所示，摄像区域51是可被照相机捕获的区域。投影区域52是投影仪可以将光照射到其上的区域。在关于以下实施例的说明中，认为摄像区域51与投影区域52相同步。在这种情况下，“同步”意为由照相机镜头12捕获的摄像区域51(即，显示在显示器11上的显示区域)与由投影仪镜头13将光照射到其上的投影区域52相同。当摄像区域51与投影区域52不同步时，显示器11可以指示投影区域。上文已说明了本实施例的概要。

<2.第一实施例>

随后将说明第一实施例。过去，在利用照相机捕获图像时，通常使用闪光灯作为照明。然而，过去常常难以仅利用闪光灯进行闪光灯之外的特殊照明。利用图像处理可以将期望的图案、纹理等应用于通过照相机所捕获的图像。然而，尽管使用照相机的摄影者可以看到图像处理的结果，但是第三人和被摄体可能不能看到图像处理的结果。

因此，公开了如下技术：该技术用于使得投影仪将图形图像投影到被拍摄的被摄体上。在这些技术中，使用标记等预先识别图形图像将被投影至的位置，并将图形图像投影到该标记上。然而，在以上技术中，图形图像被投影到使用标记等预先识别的位置上。因此，以上技术的问题在于：可能不能以使得照明表现具有高度灵活性的方式来投影图形图像，例如，使用被投影到全体摄像对象的图形图像作为照明，以及仅将图形图像投影到指定位置上。

因此，鉴于作为考虑的问题之一的以上情况，创建了根据本发明实施例的信息处理设备10。利用根据本实施例的信息处理设备10，可以投影适合于所拍摄的图像的图形图像。

<2-1.信息处理设备的硬件配置>

随后将参考图3说明信息处理设备10的硬件配置。图3是示出信息处理设备10的硬件配置的框图。如图3所示，信息处理设备10包括显示装置(显示器)11、图像捕获装置(照相机)12、照射装置(投影仪)13、中央处理单元(CPU)14、输入装置15、RAM(随机存取存储器)16和非易失性存储器17等。

CPU14用作计算处理单元和控制装置，以根据各种程序控制信息处理设备10中的全部操作。CPU14可以是微处理器。RAM16临时存储在CPU14的执行期间使用的程序以及在执行期间必要时改变的参数等。这些部件通过由CPU总线等构成的主机总线相互连接。非易失性存储器17存储由CPU14使用的程序、计算参数等。例如，非易失性存储器17可以是ROM(只读存储器)、闪速存储器等。

显示装置11是用于输出信息的输出装置的示例。例如，显示装置11可以是液晶显示(LCD)装置和OLED(有机发光二极管)装置。

图像捕获装置12具有如下功能：使得CCD(电荷耦合器件)将通过摄像镜头获取的光转换成电信号以将模拟信号转换成数字信号，从而捕获被摄体的图像。由图像捕获装置12拍摄的图像被显示在显示装置11上。

照射装置13具有通过照射镜头将光照射到被摄体上的功能。照射装置13根据CPU14的控制将预定的投影图像投影到被摄体上。如上文所述，图像捕获装置12和照射装置13被布置在信息处理设备10中的固定位置处。下面的说明将在如下假设下给出：由图像捕获装置12捕获的摄像区域与照射装置13将光照射到其上的投影区域相同步，换言之，由图像捕获装置12捕获的摄像区域与照射装置13将光照射到其上的投影区域在相同区域中。

例如，输入装置15包括：诸如触摸面板、按钮、开关和操作杆之类的用于用户输入信息的输入部件；以及用于基于用户输入而生成输入信号并将输入信号输出至CPU14的输入控制电路。

<2-2.信息处理设备的功能配置>

上文已说明了信息处理设备10的硬件配置。随后将参考图4说明信息处理设备10的控制单元(CPU14)的功能配置。在说明图4的功能配置时，必要时参考图5至16。图5至16是各自示出照射的投影图像的示例的说明图。图4是示出信息处理设备10的控制单元的功能配置的框图。

如图4所示，信息处理设备10的控制单元包括分析单元102、照射单元104、生成单元106、存储单元108等。分析单元102具有对图像捕获装置12所捕获的被摄体图像进行分析的功能。分析单元102分析被摄体图像并识别被摄体中包括的物体的图像。另外，分析单元102通过分析被摄体图像来检测被摄体中包括的人的图像，并检测面部图像。另外，分析单元102分析被摄体图像，并检测被摄体的颜色。由分析单元102分析的被摄体图像的分析结果被提供至照射单元104和生成单元106。

照射单元104具有以下功能：使用照射装置13来根据由分析单元102分析的被摄体图像的分析结果照射投影图像。存储单元108存储与被摄体图像的分析结果相对应的投影图像。照射单元104从存储单元108获取与由分析单元102提供的图像分析结果相对应的投影图像，并使用照射装置13将投影图像照射至被摄体。

例如，如图5所示，图像捕获装置12捕获被摄体401的图像并识别被摄体图像402。然后，根据所识别的被摄体图像402选择投影图像403，并由照射装置13将投影图像403照射至被摄体上。在图5中，识别被摄体中包括的面部，并选择用于照亮面部的投影图像。然后，图像捕获装置12捕获投影图像403被投影到其上的被摄体图像405，并将显示图像404显示在显示装置11上。

返回参考图4继续说明。例如，当分析单元102识别出被摄体中包括的物体的图像时，从存储单元108获取用于该物体的图像的投影图像，并将该投影图像照射至被摄体上。或者，当检测到被摄体中包括的人的图像或面部的图像时，从存储单元108获取用于该人的图像或面部的图像的投影图像，并将该投影图像照射至被摄体上。另一方面，当分析了被摄体图像且检测到被摄体中包括的特定颜色时，从存储单元108获取用于该特定颜色的投影图像，并将该投影图像照射至被摄体上。

生成单元106具有以下功能：使得当存储单元108预先存储用于预测在照射投影图像之处的图像的预测图像时，生成单元106根据通过将预测图像与被照射单元104将投影图像投影到其上的照射图像相比较而获取的比较结果生成投影图像。由照射单元104照射生成单元106所生成的投影图像，并通过照射单元104将所生成的投影图像照射至被摄体上。

如上所述，存储单元108存储相互关联的被摄体图像的分析结果和投影图像。另外，存储单元108预先存储预测图像，该预测图像用于预测所存储的投影图像被照射到其上的图像。

以下将参考图6至16说明由照射装置13照射的投影图像的示例。图6示出如下情况：投影图像被投影至具有特定颜色的物体上，使得不同于该特定颜色的颜色被应用于该物体。例如，在图6中，被摄体包括多个白色花。首先，分析单元102检测被摄体405中包括的具有特定颜色的物体406。如说明图406中所示地，检测到多个“白色花”，在该“白色花”中白色区域具有一定尺寸或更大尺寸。根据物体406的形状和物体406的位置生成投影图像，并将生成的投影图像投影至被摄体上。如说明图408所示，生成具有诸如粉红色之类的不同于白色的颜色的投影图像，并将该投影图像照射至“白色花”的区域上。因此，不同于原始颜色的颜色被照射至被摄体上，并且投影图像被投影到其上的被摄体可以被捕获为图像。

如图7所示，当显示屏幕是触摸面板时，通过用户的输入可以选择投影图像被照射到其上的被摄体中所包括的物体。如说明图412中所示地，当通过用户的输入选择“白色花”时，选择其中白色区域具有一定尺寸或更大尺寸的物体。可以同时选择与通过用户的输入所选择的物体具有相同形状或相同颜色的物体。然后，根据物体412的形状和物体412的位置生成投影图像，并将生成的投影图像投影到被摄体上。如说明图413中所示地，生成具有诸如粉红色之类的不同于白色的颜色的投影图像，并将该投影图像照射到用户所选择的“白色花”的区域上。

图8是示出当图6和图7所示的投影图像被投影时的内部处理的说明图。如图8所示，首先，图像捕获装置12捕获被摄体的图像，并对诸如所捕获的图像中包括的物体和颜色之类的区域进行分析。然后，基于分析结果生成投影图像。在图8所示的示例中，从所捕获的图像中检测其中白色区域具有一定尺寸或更大尺寸的物体，并生成投影图像使得：投影颜色被布置以仅将效果施加于构成物体的像素，并且对于构成除了被讨论的物体之外的物体的像素布置黑色像素。然后，作为照射所生成的投影图像的结果，投影颜色被照射到被摄体的其中白色区域具有一定尺寸或更大尺寸的部分上。

图9示出如下示例：其中，检测特定区域，并将诸如图案和纹理之类的投影图像照射至检测到的区域上。如图9所示，分析由图像捕获装置12捕获的图像417，并检测被摄体中所包括的面部。然后，如说明图417中所示地，基于介于面部的尺寸与被摄体的尺寸之间的布置来检测身体和衣服的位置。然后，如说明图418中所示地，生成将被照射至位于身体和衣服的位置处的区域上的投影图像。在说明图418中，生成用于将花的图案照射至衣服的区域上的投影图像。然后，如说明图420中所示地，花的图案被照射至被摄体的衣服的区域上。

现在将参考图10说明用于照射图9所示的投影图像的内部处理。如图10的说明图421中所示地，首先，从由图像捕获装置12捕获的图像中识别被摄体中包括的面部。然后，如说明图422中所示地，根据面部识别结果估计身体。此外，如说明图423中所示地，根据所估计的身体区域估计可能的投影区域。在这种情况下，采用身体中的白色区域作为可能的投影区域。然后，生成投影图像以将预定的图案投影到说明图423中所估计的可能的投影区域上。然后，如说明图425中所示地，将所生成的投影图像照射至被摄体上。

随后将参考图11说明示例，在该示例中，检测特定的物体，并避开所检测到的物体而照射投影图像。如图11的说明图426中所示地，首先，从由图像捕获装置12捕获的图像中识别被摄体中包括的面部。然后，生成说明图427所示的投影图像，以将预定的图案投影到除了所识别出的面部区域之外的区域上。然后，如说明图428中所示地，将所生成的投影图像照射至被摄体上。

随后将参考图12说明使用预测图像生成投影图像的情况。如上所述，当存储单元108存储预测图像时，可以根据通过将预测图像与投影图像被投影到其上的照射图像相比较所获取的比较结果生成投影图像。如图12的说明图430中所示地，首先，图像捕获装置12捕获被摄体的图像，并分析被摄体的图像。然后，如说明图431中所示地，将具有预定颜色的投影图像照射至被摄体上。

然后，将存储在存储单元108中的预测图像与如说明图431所示的照射图像进行比较，并检测该预测图像与该照射图像之间的差别。根据该差别生成如说明图432所示的投影图像。例如，在说明图431中，将能够输出黄色效果的投影图像照射至被摄体上。将由预测图像所引起的黄色效果与照射图像的黄色效果进行比较。当施加于照射图像上的黄色效果强时，生成施加更淡的黄色效果的投影图像。然后，如说明图433中所示地，将所生成的投影图像照射至被摄体上。

随后将参考图13说明被摄体是面部的投影图像的照射。如图13所示，首先，分析由图像捕获装置12捕获的图像(说明图435)，并且如说明图436中所示地，检测嘴和眼睛在面部中的位置。然后，从存储单元108获取将被照射至面部上的投影图像，并生成如说明图437中所示的投影图像。在说明图437中，根据嘴和眼睛在面部中的位置识别颊部在面部中的位置，并生成投影图像以将诸如粉红色之类的胭脂色照射至面部中的颊部的位置上。然后，如说明图438中所示地，将所生成的投影图像投影至被摄体上。

随后将参考图14说明根据所捕获的图像的亮度照射投影图像。如图14所示，首先，分析图像捕获装置12所捕获的图像(说明图440)，并且如说明图441中所示地，检测高亮区域。然后，当检测到亮度等于或高于一定等级的区域时，根据亮度等级生成投影图像。在说明图441中，在蛋糕的蜡烛周围的区域被检测为亮度比其它区域高的区域。然后，如说明图442中所示地，将所生成的投影图像投影至被摄体上。在说明图442中，将星的图案照射至被检测为高亮区域的在蛋糕的蜡烛周围的区域。

随后将参考图15说明根据要拍摄的对象的移动照射投影图像。如图15所示，从由图像捕获装置12捕获的动画中检测被摄体的移动。例如，通过检测像素值的变化可以检测到被摄体的移动。然后，根据所检测的物体的移动生成投影图像。如说明图445中所示地，检测出被摄体向左走动，并且沿着被摄体走动的方向照射星的图案。当投影图像连同正沿着被摄体走动的方向走动的被摄体一起移动时，根据物体的移动照射投影图像。

如图16所示，分析单元102分析由图像捕获装置12捕获的图像。当判断被摄体不具有投影图像可被投影到其上的区域时，可以呈现用于告知不存在可能的投影区域的消息。被摄体不具有投影图像可被投影到其上的区域的情况的示例是：背景色是黑色等，并且即使当照射投影图像时，也不能在被摄体上形成投影图像。例如，如说明图450中所示地，当所捕获的图像的背景是黑色时，如说明图451所示，显示对话“不存在可能的投影区域”。

<2-3.信息处理设备的详细操作>

以上说明了信息处理设备10的控制单元的功能。随后，将参考图17至18详细说明信息处理设备10的操作。图17和18是每个均详细示出信息处理设备10的操作的流程图。

如图17所示，首先，信息处理设备10判断拍摄模式是否是投影图像可以被照射到其上的投影拍摄模式(S102)。当在步骤S102中判断拍摄模式是投影拍摄模式时，获取图像捕获装置12捕获的图像(S104)。

然后，图像分析单元102识别步骤S104中获取的图像中所包括的物体(S106)。然后，判断步骤S106中所识别的物体是否包括投影图像可以被照射到其上的任何对象物体(S108)。通过判断存储单元108是否存储有与步骤S106中识别的物体相对应的投影图像，可以进行步骤S108中的判断。此外，通过检测图像的背景颜色可以确定是否可以照射投影图像。

当在步骤S108中判断被摄体包括投影图像可以被照射到其上的对象物体时，从存储单元108获取与对象物体相对应的投影图像，并且生成投影图形图像(S110)。然后，将步骤S110中生成的投影图形图像照射至被摄体上(S112)。当在步骤S108中判断出被摄体不包括投影图像可以被照射到其上的对象物体时，在显示屏幕上显示用于告知不存在投影对象的对话(S114)。

然后，判断是否进行了摄像(S116)。当在步骤S116中判断进行了摄像时，保存所捕获的图像(S118)。当在步骤S116中判断未进行摄像时，重复步骤S102和后续步骤的处理。以上说明了图17的流程图所示的处理。随后，将说明图18的流程图所示的处理。

图18是详细示出信息处理设备10的操作的流程图，其中，存储单元108存储预测图像。如图18所示，首先，信息处理设备10判断拍摄模式是否是其中可照射投影图像的投影拍摄模式(S122)。当在步骤S122中判断拍摄模式是投影拍摄模式时，获取由图像捕获装置12捕获的图像(S124)。

然后，分析单元102识别步骤S124中获取的图像中所包括的物体(S126)。然后，判断步骤S126中所识别的物体是否包括投影图像可被照射到其上的任何对象物体(S128)。当在步骤S128中判断被摄体包括投影图像可以被照射到其上的对象物体时，从存储单元108获取与该对象物体相对应的投影图像，并且生成投影图形图像(S130)。然后，将步骤S130中生成的投影图形图像照射至被摄体上(S132)。在这种情况下，在步骤S136中，考虑存储单元108存储预测图像，该预测图像用于预测期望的投影图像被照射至步骤S126中识别的物体上之处的图像。

然后，获取在步骤S132中图形图像被投影到其上的被摄体的图像(S134)。然后，判断步骤S134中所获取的照射图像是否变得与存储单元108中存储的预测图像相类似(S136)。当在步骤S136中判断照射图像变得与预测图像相类似时，执行步骤S140的处理。当在步骤S136中判断照射图像尚未变得与预测图像相类似时，重复步骤S130和后续步骤的处理。

当在步骤S128中判断被摄体不包括投影图像可被照射到其上的对象物体时，在显示屏幕上显示用于告知不存在投影对象的对话(S138)。

然后，判断是否进行了摄像(S140)。当在步骤S140中判断进行了摄像时，保存所捕获的图像(S142)。当在步骤S140中判断未进行摄像时，重复步骤S122和后续步骤的处理。以上说明了图18的流程图所示的处理。

如上所述，根据第一实施例，分析由图像捕获装置12捕获的被摄体的图像，并且通过照射装置13将根据图像的分析结果的投影图像照射至被摄体上。因此，可以投影适合于所捕获的图像的图形图像。以上说明了第一实施例。

<3.第二实施例>

随后将说明第二实施例。如上所述，在相关领域的技术中，图形图像被投影至预先使用标记等标识的位置上。因此，存在如下问题：图形图像不能被投影至显示所捕获的图像的显示屏幕上的、用户直接指定的位置上。因此，鉴于作为考虑的问题之一的上述情况，创建了根据本发明实施例的信息处理设备20。根据该根据本实施例的信息处理设备20，利用用户进行的直观操作可以投影期望的图形图像。

<3-1.信息处理设备的硬件配置>

将参考图19说明信息处理设备20的硬件配置。图19是示出信息处理设备20的硬件配置的框图。如图19所示，信息处理设备20包括显示装置(显示器)11、图像捕获装置(照相机)12、照射装置(投影仪)13、CPU21、RAM(随机访问存储器)16、非易失性存储器17、触摸面板22、输入装置单元23等。在本实施例中，照相机12和投影仪13被布置在信息处理设备20的壳体的固定位置处。

在以下的说明中不说明与第一实施例的配置相同的配置。将详细地具体说明与第一实施例不同的配置。触摸面板22具有两个功能，即，显示和输入。根据本实施例的触摸面板22可以检测以用户的手指等给出的对触摸面板的输入，并获取指定的位置。该检测方法可以是任何方法，只要能够检测在显示器上操作体的位置信息即可。该检测方法的示例包括：使用薄金属膜构成透明电极的电阻膜方法、用于通过发现指尖与导电膜之间的电容变化来检测位置的电容方法、红外线遮光方法以及电磁感应方法。

在以下说明中，例如，将特别说明用于使用静电触摸面板检测操作体的操作的方法。静电触摸面板具有以矩阵形式布置的静电传感器。静电传感器的值保持根据电容的变化而变化。当手指(即，操作体)接近或接触静电传感器时，静电传感器检测到的电容增加。可以同时获取静电传感器的电容。静电触摸面板同时地对所有静电传感器的电容变化进行检测和插值，从而检测接近或接触静电触摸面板的手指所进行的操作。触摸面板22将所检测到的电容的值输出至CPU21。

CPU21将通过触摸面板22给出的各种信息与显示装置11上所显示的显示内容的显示位置相关联，并分析操作体的移动。然后，CPU21基于所分析的操作体的移动识别对信息处理设备10给出的输入信息，并且执行与该输入信息相对应的处理。如上所述，用户能够操作显示屏幕上显示的内容，并且能够输入该输入信息。

运动传感器23具有检测信息处理设备20的主体的转动角和倾斜的功能。例如，运动传感器23可以是加速度传感器和陀螺仪传感器。将运动传感器23所检测的与信息处理设备20的转动角和倾斜相关的信息输出至CPU21。CPU21基于从运动传感器23输出的转动角和倾斜而检测信息处理设备20的主体的移动。

<3-2.信息处理设备的功能配置>

以上说明了信息处理设备20的硬件配置。随后，将参考图20说明信息处理设备20的控制单元(CPU21)的功能配置。在说明图20的功能配置时，必要时参考图21至31。图20是示出信息处理设备20的控制单元的功能配置的框图。

如图20所示，信息处理设备20的控制单元包括图像捕获单元202、检测单元204、照射单元206、分析单元208、存储单元210、获取单元212等。图像捕获单元202具有使得图像捕获装置12捕获被摄体的图像的功能。此外，图像捕获单元202具有以下功能：捕获投影图像被照射单元206照射到其上的被摄体的图像。由图像捕获单元202捕获的图像被提供至照射单元206和分析单元208。

照射单元206具有如下功能：基于用户对被摄体的输入使得照射装置13照射投影图像。基于用户的输入的投影图像是用户利用触摸面板22等指定和选择的投影图像。可以基于用户的输入从存储单元210获取投影图像，并且可以将该投影图像照射至被摄体上。

如上所述，在本实施例中，图像捕获装置12可以捕获的摄像区域与照射装置13可以向其上照射投影图像的投影区域相同步。如图21所示，当摄像区域53和投影区域54不同步时，信息处理设备20的显示器11可以表示投影区域。例如，如图21所示，可以在显示器11上显示表示投影区域的框，并且可以向用户呈现可能的照射区域。在图21中，可能的投影区域是区域53，并且可能的照射区域是区域54。因此，在显示屏幕上显示表示可能的照射区域的框。

返回参考图20。获取单元212具有如下功能：获取通过用户在示出被摄体的显示屏幕上的输入所指定的指定位置。如上所述，从触摸面板22给出用户的输入，并且获取单元212获取用户在显示屏幕上的输入。获取单元212可以获取通过用户在示出被摄体的显示屏幕上的操作而绘制的投影图像，并且可以从显示屏幕上显示的投影图像中选择期望的投影图像。

例如，如图22所示，图像捕获单元202捕获被摄体501的图像，并且显示图像502被显示在显示屏幕上。用户触摸显示屏幕(触摸面板22)以在显示图像502上指定期望位置。在本实施例中，使用触摸面板22指定显示图像502内的期望位置。然而，本实施例并不限于该示例。或者，可以使用诸如按钮和操作杆之类的输入装置指定期望的位置，利用该输入装置可以在显示图像502内指定期望的位置。

然后，如说明图503所示，获取单元212获取用户指定的指定位置，生成投影图像，从而将投影图像照射至指定位置上。如说明图503所示，可以生成投影图像以将预定的颜色照射至用户指定的位置上。然后，如说明图505所示，将投影图像照射至被摄体上。如说明图504所示，图像捕获装置12捕获投影图像被照射到其上的被摄体的图像。如上所述，当存储单元108存储有要照射的投影图像时，基于用户的指令从存储单元108获取投影图像。

如图23所示，可以照射投影图像以对用户指定的指定位置施加照明效果。例如，如说明图516所示，图像捕获装置12捕获被摄体515的图像，并且该图像被显示在显示屏幕上。然后，当用户指定被摄体的面部时，生成投影图像以对如说明图517所示的指定部分施加照明效果。然后，如说明图519所示，将投影图像照射至被摄体上。如说明图518所示，图像捕获装置12捕获投影图像被照射到其上的被摄体的图像。在说明图518中，照射投影图像以照亮被摄体的面部。

如图24所示，可以将根据用户在示出被摄体的显示屏幕幕上所进行的操作而绘制的投影图像照射至被摄体上。例如，如说明图521所示，当用户在显示屏幕(触摸面板)上写文本“FRIENDS(朋友)”时，生成用于将文本“FRIENDS”照射至被摄体的投影图像。然后，如说明图522所示，将包括用户所写的文本“FRIENDS”的投影图像照射至被摄体上。

如图25所示，可以从显示屏幕上所显示的多个投影图像中选择根据用户的输入的期望的投影图像。例如，在说明图525中，在显示屏幕上显示多个图形图像的投影图像。用户在显示屏幕(触摸面板)上选择期望的图形图像。在这种情况下，用户可以通过触摸显示屏幕选择期望的图形图像，或者可以使用诸如按钮或操纵杆之类的输入装置选择期望的图形图像。

此外，如说明图526所示，通过用户的输入指定位置，以便将所选择的图形图像照射至指定的位置上。然后，如说明图527所示，生成投影图像，以便将所选择的图形图像照射至指定的位置，并且将投影图像照射至被摄体上。如上所述，用户可以利用诸如在显示屏幕上直接绘制和选择图形图像之类的直观操作将投影图像照射至被摄体上。

将返回参考图20继续关于信息处理设备20的功能配置进行说明。分析单元208具有对图像捕获单元202所捕获的被摄体图像进行分析的功能。分析单元208提取所捕获的被摄体图像的特征点，并且将与所提取的图像特征点相关的信息提供至照射单元206。照射单元206将根据分析单元208所提取的被摄体的特征点的投影图像照射至被摄体上。

现在，将参考图26说明被摄体的特征点提取。例如，在图26的说明图505中，在被摄体中的人物移动之前提取图像的特征点，并照射根据人物的位置的投影图像。例如，在说明图505中，投影图像被照射至靠近人物的头的区域。在这种情形下，如说明图507所示，记录了特征点与投影图像的相对位置。然后，如说明图506所示，在被摄体中的人物移动之后提取图像的特征点，并且照射根据图像的特征点的投影图像。换言之，即使当图像中的人物移动时，也基于人物的特征点与投影图像之间的相对位置对照射位置进行校正，以便将投影图像照射至靠近人物的头的区域。

返回参考图20继续关于信息处理设备20的功能配置进行说明。检测单元204使用运动传感器23来检测信息处理设备20主体的移动。如上所述，可以通过运动传感器23检测信息处理设备20的主体的转动速度和倾斜。因此，检测单元204基于从运动传感器23输出的转动角和倾斜而检测信息处理设备20的主体的移动。然后，照射单元206根据由检测单元204所检测的信息处理设备20的主体的移动将投影图像照射至被摄体上。

现在，将参考图27说明根据信息处理设备20的移动照射的投影图像。图27的说明图510是在信息处理设备20移动之前捕获的图像。例如，如说明图511所示，假定信息处理设备20在捕获说明图510中所示的图像之后向左移动。检测单元204使用运动传感器23检测到信息处理设备20的主体向左移动，并且将该检测结果提供至照射单元206。

如说明图512所示，照射单元206根据信息处理设备20的主体的移动对所照射的图形图像的位置进行校正。换言之，生成投影图像，其中，所照射的图形图像的位置根据信息处理设备20向左移动的距离而向左移位。然后，如说明图513所示，即使当信息处理设备20向左或向右移动时，图形图像也被照射至图像的特定位置。

如图28所示，多个信息处理设备20可以向一个被摄体上照射不同的投影图像。例如，如图28所示，用户A所持的信息处理设备20A和用户B所持的信息处理设备20B将各自的投影图像照射至被摄体530上。首先，假定信息处理设备20A照射如说明图531所示的投影图像，并且信息处理设备20B照射如说明图532所示的投影图像。在这种情况下，信息处理设备20A所照射的投影图像和信息处理设备20B所照射的投影图像均被投影至被摄体上。两个设备均捕获说明图530所示的投影图像的图像。

在这种情况下，为了依次地将不同的投影图像照射至一个被摄体上并捕获其图像，在每个设备中，摄像区域和投影区域需要同步。因此，进行如图26所示的图像处理以提取被摄体的特征点并检测设备主体的移动，以便校正投影区域的位置使得摄像区域与投影区域相互同步。或者，当不同设备照射投影图像时，从照射装置照射投影图像所依据的照射周期需要一致。例如，两个设备可以经由网络而连接，以共享关于照射周期的信息。或者，可以将关于照射周期的信息嵌入投影图像中，并通过拍摄投影图像的图像获取关于照射周期的信息。

或者，不同的设备可以具有不同周期的照射周期，并且可以对于每个周期捕获不同的投影图像。例如，信息处理设备20A和信息处理设备20B具有不同的照射周期。可以在与信息处理设备20A照射投影图像的照射周期相同的周期内捕获图像，并且可以在与信息处理设备20B照射投影图像的照射周期相同的周期内捕获图像，以便可以针对每个周期捕获不同的投影图像。

当以这种方式改变周期时，能够区分哪个设备照射投影图像。或者，将预定的图案嵌入投影图像中，可以捕获投影图像并在图像处理中分析以找到预定的图案，从而区分哪个设备照射投影图像。或者，可以将包括时序信息的图案嵌入投影图像中，并且可以通过捕获该图案的图像来分析诸如多个投影图像的投影次序之类的时序信息。

如图29所示，可以将根据时间改变的投影图像投影至被摄体上。例如，如说明图536所示，通过用户的手指等指定被照射投影图像的位置。然后，如说明图535所示，将圆形投影图像照射至被摄体上。如说明图537所示，圆形投影图像根据时间改变。例如，圆形投影图像如说明图537所示改变，并且将直到快门释放为止的剩余时间呈现给被摄体。

如图30所示，信息处理设备20可以与电视接收器和遥控器相关联，并且将在遥控器的触摸面板上指定的投影图像显示在电视接收器的显示屏幕上。例如，如说明图541所示，电视接收器具有图像捕获装置和照射装置，图像捕获装置和照射装置分别捕获观看电视接收器的用户的图像并且将投影图像照射至用户上。用户具有遥控器，并且如说明图540所示，遥控器的显示屏幕显示由电视接收器的图像捕获装置捕获的图像。然后，如说明图542所示，当用户在遥控器的触摸面板上写预定的文本等时，如说明图543所示，用户所绘制的投影图像被照射至被摄体上。然后，电视接收器的图像捕获装置捕获投影图像被照射到其上的被摄体的图像，并且将该图像显示在电视接收器的显示屏幕上。

如图31所示，在捕获了投影图像被照射到其上的被摄体的图像之后，可以通过图像处理来校正或重构所照射的投影图像。例如，如说明图545所示，将投影图像照射至被摄体上，并且捕获投影图像被照射到其上的被摄体的图像。然后，如说明图546所示，对投影图像被照射到其上的被摄体的图像进行处理以进行投影图像的颜色校正。因此，不仅摄影者而且被摄体都能发现向被摄体的哪个部分输出哪种图形图像，并且能够制作期望的合成图形图像。

<3-3.信息处理设备的详细操作>

以上说明了信息处理设备20的控制单元的功能。随后，将参考图32至34详细说明信息处理设备20的操作。图32至34是每个均详细示出信息处理设备20的操作的流程图。

如图32所示，首先，信息处理设备20判断投影仪(照射装置13)是否开启(S202)。当在步骤S202中判断投影仪开启时，获取由图像捕获装置12捕获的图像(S204)。将步骤S204中获取的图像显示在触摸面板上(S206)。然后，判断用户是否在示出该图像的触摸面板上指定了位置(S208)。在该实施例中，在步骤S208中判断用户是否在触摸面板上指定了位置。然而，该实施例不限于这种示例。例如，可以基于对信息处理设备20的操作按钮和操作杆的输入判断用户是否指定了位置。

当在步骤S208中判断用户指定了位置时，生成根据用户指定的位置的图形图像(S210)。当在步骤S208中判断用户没有指定位置时，判断用户是否进行了除了指定位置之外的与图形图像有关的任何操作(S212)。除了指定位置之外的操作的示例包括从多个图形图像中选择期望的图形图像。当在步骤S212中判断用户进行了与图形图像相关的另一操作时，生成根据该操作的图形图像(S214)。

然后，将包括步骤S210或步骤S214中所生成的图形图像的投影图像照射至被摄体上(S216)。然后，判断是否捕获了投影图像被照射到其上的被摄体的图像(S218)。当在步骤S218中判断进行了摄像时，保存所捕获的图像(S220)。

随后，将参考图33说明用于通过图像处理来固定所照射的投影图像的位置的处理。在以下的说明中，假定根据图32的处理已经生成了图形图像并将投影图像照射至被摄体上。如图33所示，首先，判断投影仪是否开启(S302)。当在步骤S302中判断投影仪开启时，获取由图像捕获装置12捕获的图像(S304)。在步骤S304中获取的图像是投影图像被照射到其上的被摄体的图像。

随后，检测在步骤S304中所获取的图像的特征点(S306)。然后，记录投影的图形位置与步骤S306中检测到的特征点之间的相对关系(S308)。然后，将该特征点与先前帧中的特征点相匹配(S310)。然后，使用在步骤S310中匹配后的特征点对已经绘制的图形图像的绘制位置进行校正(S312)。每当被摄体中所包括的物体和人移动时，可以重复步骤S306和后续步骤的处理。因此，总是能够将投影图像照射至相对于被摄体中所包括的物体和人的固定位置。

随后，将参考图34说明用于通过检测设备的移动来固定所照射的投影图像的位置的处理。在以下的说明中，假定根据图32的处理已经生成了图形图像并将投影图像照射至被摄体上。如图34所示，首先，判断投影仪是否开启(S322)。当在步骤S322中判断投影仪开启时，获取由图像捕获装置12捕获的图像(S324)。然后，获取从运动传感器(陀螺仪传感器)输出的输出值(S326)。

然后，基于在步骤S326中获取的输出值估计信息处理设备20的主体的移动(S328)。然后，基于在步骤S328中估计的信息处理设备20的主体的移动对照射至被摄体上的投影图像的位置进行校正(S330)。例如，当在步骤S328中判断信息处理设备20的主体左右移动时，左右移动投影图像的照射位置。另一方面，当信息处理设备20的主体转动时，根据设备主体的转动而转动照射的投影图像。因此，能够将投影图像照射至相对于被摄体中所包括的物体和人的固定位置。以上详细说明了信息处理设备20的操作。

如上所述，根据第二实施例，将基于用户的输入的投影图像照射至被摄体上，并且图像捕获装置12捕获投影图像被照射到其上的被摄体的图像。例如，用户操作触摸面板22以指定其上被照射投影图像的位置并选择要照射的投影图像。因此，用户可以利用直观操作来拍摄被投影至被摄体上的期望的图形图像。以上说明了第二实施例。

<4.第三实施例>

随后将说明第三实施例。如上所述，过去公开了使用投影仪将图形图像投影至待拍摄的被摄体上的技术。此外，公开了如下的另一技术：将图形图像投影在桌子等上，检测手指的方向和手的形状，并使得信息处理设备进行预定的处理。然而，期望不仅进行根据手指的方向和手的形状的处理，并且还检测被摄体相对于投影的图形图像的一定移动并执行与所检测到的移动相关联的处理。

因此，鉴于作为考虑的问题之一的以上情况而创建了根据本发明实施例的信息处理设备30。根据本实施例的信息处理设备30能够执行根据被摄体和投影图像的交互的处理。

将参考图35和36说明本实施例的概要。例如，图35和36是每个均示出本实施例的概要的说明图。如同第一实施例那样，通过信息处理设备30的照射装置13将投影图像照射至被摄体上，图像捕获装置12捕获投影图像被照射到其上的被摄体的图像。如图35所示，在本实施例中，摄像区域55和投影区域56相同步。将投影图像60照射至投影区域56上，其中投影图像60包括用于允许被摄体进行预定操作的图形图像。然后，图像捕获装置12捕获投影图像60被照射到其上的摄像区域55的图像。

如图36的说明图62所示，将包括图形图像“是”和“否”的投影图像61照射至投影区域上。然后，被摄体中所包括的人给出用于指向所照射的投影图像中的“是”的手势。然后，识别给出指向“是”的手势的被摄体的图像，并且判断被摄体指向“是”。在图36中，投影图像允许被摄体选择是否打开或关闭图像捕获装置12的闪光灯。因此，检测出被摄体指向“是”，并且在闪光灯打开的情况下执行图像捕获处理。

如上所述，根据本实施例的信息处理设备30，当被摄体与照射装置(投影仪)13照射的投影图像交互时，可以操作信息处理设备30的主体。

<4-1.信息处理设备的硬件配置>

根据本实施例的硬件配置具有与图3所示的第一实施例相同的硬件配置，并且省略其详细说明。

<4-2.信息处理设备的功能配置>

随后，将参考图37说明信息处理设备30的功能配置。在图37中，将特别说明信息处理设备30的控制单元(CPU34)的功能配置。在说明图37的功能配置时，必要时参考图38至49。如图37所示，信息处理设备30的控制单元包括识别单元302、照射单元304、执行单元306、存储单元308等。识别单元302具有识别待拍摄的被摄体的操作的功能。

识别单元302基于由图像捕获装置12捕获的被摄体的图像识别被摄体的操作。在以下的说明中，分析由图像捕获装置12捕获的被摄体的图像，并且识别利用被摄体给出的手势进行的操作。然而，本实施例不限于这种示例。例如，可以将红外线照射至被摄体上，并且可以使用红外线的反射结果识别被摄体给出的手势。

照射单元304具有如下功能：将用于允许待拍摄的被摄体进行一定操作的投影图像照射至被摄体上。照射单元304还可以照射用于允许被摄体进行一定的选择操作的投影图像。照射单元304还可以照射根据由识别单元302识别出的被摄体的操作的投影图像。照射单元304从存储单元308获取投影图像，并将投影图像照射至被摄体上。照射单元304可以从存储单元308获取根据用户操作的投影图像，并且可以从存储单元308中获取根据被摄体中所包括的人和物体的投影图像。

当识别单元302识别出被摄体中所包括的人和物体时，照射单元304可以将投影图像照射至被摄体中所包括的人和物体的区域上，或者可以将投影图像照射至除了人和物体之外的区域上。此外，当识别单元302识别出被摄体中所包括的特定的人的面部时，可以将投影图像照射至该特定的人周围的区域。

例如，如图38的说明图601所示，当检测到被摄体中所包括的人的面部时，可以将投影图像照射至除了这些人的面部区域之外的区域上。此外，如说明图602所示，当可以从这些人的面部中检测到信息处理设备30的所有者的面部时，可以将投影图像照射至该所有者的面部周围的区域上。因此，被摄体中所包括的人能够容易地对投影图像进行操作。

返回参考图37。执行单元306具有执行根据由识别单元302识别出的被摄体的操作的预定处理的功能。执行单元306执行根据由被摄体给出的手势的处理，该手势是由识别单元302识别出的。例如，当如上所述地识别出用于打开闪光灯的手势时，打开信息处理设备30的闪光灯，并且执行图像捕获处理。当识别单元302识别出被摄体在照射单元304将投影图像照射到被摄体上的范围内的移动时，可以执行与所照射范围内的被摄体的移动相对应的处理。

例如，如图39所示，将说明图606所示的投影图像照射至被摄体上。在这种情况下，如说明图605所示，将说明图606所示的投影图像照射至被摄体上。然后，如说明图607所示，图像捕获装置12捕获投影图像被照射到其上的被摄体的图像。在这种情形下，识别单元302仅识别投影图像被照射到其上的区域。因此，能够可靠地识别被摄体给出的手势。即，识别单元302不需要识别整个捕获图像内的预定操作。识别单元302仅需要识别区域608中所包括的预定操作。因此，能够减少处理负荷。

随后，将参考图39至48说明由所照射的投影图像上的被摄体所进行的操作(交互)的示例。例如，如图40所示，当识别单元302检测到一定移动时，识别单元302可以识别为对投影图像进行了操作。例如，在说明图610中，照射照相机的图形图像的图标，并且当检测到在投影图标图像上方的手的移动时，识别为对投影图像进行了操作。当检测到在投影图标的图像的上方的手的移动时，如说明图611所示，使得图标的投影图像的颜色更深或改变该颜色。

如图41所示，当检测到手进入被投影有图标的投影区域时，识别单元302可以识别为对投影图像进行了操作。例如，可以基于基本上为肤色的物体是否进入投影区域来判断手是否进入了投影区域。例如，在说明图615中，将照相机的图形图像的图标照射至被摄体上，并且判断手是否进入了图标的投影图像的投影区域且在一定的或更长的时段之内停留在该处。例如，如说明图616所示，在识别单元302识别出手进入了图标的投影图像的投影区域之后，随着时间的经过，分阶段地加深投影图像的颜色或改变该颜色。

图42示出照射用于允许被摄体从两个选项中进行选择的投影图像的情况。例如，如说明图620所示，当检测到手进入了投影有图标的投影区域时，将用于允许被摄体从两个选项中进行选择的投影图像照射至被摄体上。例如，如说明图621所示，照射包括左侧的“YES(是)”和右侧的“NO(否)”的投影图像。然后，如说明图622所示，当判断手从其上投影有图标的区域移动至左侧时，可以判断选择了“YES”。执行单元306执行根据该选择的处理。例如，当要选择闪光灯是否打开时，在闪光灯打开的情况下执行图像捕获处理。

图43示出照射用于允许被摄体从多个选项中进行选择的投影图像的情况。例如，如说明图625所示，当检测到手进入了投影有圆形图标的投影区域时，将用于允许被摄体从多个选项中进行选择的投影图像照射至被摄体上。例如，如说明图626所示，照射包括以从圆形图标辐射的形式示出的选项的投影图像。然后，如说明图627所示，当判断手从其上投影有图标的区域移动至任一选项的区域时，可以将放置手的区域中的选项识别为所选择的选项。执行单元306执行根据该选择的处理。例如，当分阶段地选择了用于摄像的诸如白平衡和快门速度之类的拍摄模式时，以所选择的拍摄模式执行图像捕获处理。

图44是与被摄体的移动相对应地改变投影图像的情况。例如，如说明图630所示，假定检测到手进入了投影有矩形图标的投影区域，并且随后检测到如说明图631所示的握住的拳头。当识别单元302检测到从手伸开至握拳的移动时，识别单元302判断进行了“握住”动作。然后，如说明图632所示，当手在进行“握住”动作的同时移动时，投影图像追踪该移动。然后，如说明图634所示，当检测到手的状态从握住状态改变为伸开状态时，终止对投影图像的追踪。

图45示出如下情况：检测到被摄体的手，并且投影图像被照射至所检测到的手上。例如，如说明图640所示，检测被摄体的手掌。然后，如说明图641所示，将圆形投影图像照射至所检测到的手的手掌区域上。在这种情况下，识别单元302继续检测手掌区域，并且照射单元304将投影图像照射至手掌区域以追踪手掌的移动。

然后，如说明图642所示，当手掌快速移动出其上照射有圆形投影图像的区域且远离该区域时，这可以被识别为对投影图像进行的用于取消特定处理的操作。如说明图643所示，当检测到用于握住手掌的移动时，这可以被识别为对投影图像进行的用于决定一定处理的操作。

图46示出如下情况：检测到两个手掌，并且投影图像被照射至所检测到的两只手上。例如，如说明图645所示，检测到被摄体的两只手的手掌。然后，如说明图646所示，照射投影图像以在两只手的手掌上分别示出不同的选项。然后，如说明图647所示，当检测到用于握住任意一只手的活动时，这被识别为用于选择任意一个选项的操作。

图47示出根据被摄体的大致移动改变投影图像的情况。例如，如说明图650所示，检测被摄体的两只手的位置和身体的方向，以便大致地检测被摄体的移动。在说明图650中，检测到左臂伸展，右臂弯曲。例如，当根据被摄体的移动执行用于改变照明光的处理时，如说明图651所示，可以根据所检测到的手的位置移动用于表示照明光的过滤器。

图48示出根据被摄体的彼此相反的移动改变摄影视角的情况。例如，如说明图655所示，检测被摄体的两只手的位置和手的移动，并且照射表示摄影视角的投影图像。如上所述，检测手掌的移动以检测用于“抓住”所照射的摄影视角的操作和用于“离开”该摄影视角的操作。然后，如说明图656所示，当被摄体抓住并移动投影图像的摄影视角时，拍摄范围移动。

因此，能够在摄像期间根据被摄体进行的操作进行放大和缩小。不仅可以响应于如图48所示的被摄体的大致操作而进行放大和缩小处理，而且可以响应于手的彼此相反的移动而进行放大和缩小处理。可以将作为放大或缩小的结果获取的图像投影至与被摄体所位于的区域不同的区域上。

图49示出如下情况：根据摄影者的操作照射用于允许被摄体进行预定操作的投影图像。例如，在信息处理设备30如同第二实施例那样地布置有触摸面板的情况下，可以根据摄影者对触摸面板的输入照射投影图像。如图49的说明图670所示，摄影者触摸信息处理设备30的触摸面板，以指定投影图像被照射至的位置。然后，如说明图671所示，投影图像被照射至摄影者指定的位置。

<4-3.信息处理设备的详细操作>

以上说明了信息处理设备30的控制单元的功能。随后将参考图50详细说明信息处理设备30的操作。图50是详细示出信息处理设备30的操作的流程图。

如图50所示，首先，判断投影仪(照射装置13)是否开启(S402)。当在步骤S402中判断投影仪开启时，判断投影仪是否照射GUI(图形用户界面)(S404)。步骤S404中照射的GUI是用于允许要被捕获其图像的被摄体进行预定操作的投影图像。

当在步骤S404中判断投影仪照射GUI时，获取由照相机(图像捕获装置12)捕获的图像(S406)。然后，仅在示出了步骤S404中所照射的GUI的区域内进行手势识别(S408)。如上所述，当投影仪照射用于允许被摄体进行预定操作的投影图像的GUI时，在所照射的GUI上进行一定的操作。这意味着仅在照射有GUI的区域内识别被摄体的操作就足够了。

当在步骤S404中判断投影仪未照射GUI时，获取由照相机(图像捕获装置12)捕获的图像(S410)。然后进行手势识别(S412)。在步骤S412中，识别由步骤S410中获取的全体图像上的被摄体进行的操作。

然后，在步骤S408或步骤S412中判断是否识别了手势(S414)。当在步骤S414中判断进行了手势识别时，执行根据所识别的手势的内容和给出该手势的位置的操作(S416)。例如，手势的内容可以是合上伸开的手掌且手指指向特定的方向。例如，当照射了包括文本“是”和“否”的投影图像且被摄体的手移动至区域“是”时，执行与“是”相对应的操作。例如，打开闪光灯。

然后，改变GUI或投影新的GUI以反映步骤S416中执行的操作的结果(S418)。然后判断是否进行摄像(S420)。当在步骤S420中判断进行摄像时，在进行摄像之前消除要由被摄体操作的投影图像(GUI)(S422)。在步骤S422中，消除GUI意味着照射装置13不再照射投影图像。然后，在步骤S422中消除GUI之后执行摄像(S424)。以上详细说明了信息处理设备30的操作。

如上所述，根据第三实施例，将用于允许要被拍摄的被摄体进行预定操作的投影图像照射至被摄体上，并且识别被摄体对所照射的投影图像进行的操作。然后，执行根据所识别出的被摄体进行的操作的预定处理。因此，根据被摄体与投影图像的交互，可以执行诸如摄像处理之类的对信息处理设备的操作。

本领域的技术人员应当理解：依据设计要求和其它因素，可以进行各种变型、组合、子组合和替换，只要在所附权利要求书或其等同范围内即可。

例如，可以不必按照根据流程图中所述的次序的时间序列来处理由本说明书的信息处理设备10、20、30执行的处理的各个步骤。例如，由信息处理设备10、20、30进行的处理的步骤可以被按照与流程图中所述的次序不同的次序执行，或者可以被并行地执行。

可以生成用于使得信息处理设备10、20、30中的诸如CPU、ROM和RAM之类的硬件实现与信息处理设备10、20、30的构成要素相同的功能的计算机程序。另外，还提供存储该计算机程序的存储介质。

本申请包含与2010年3月4日向日本专利局递交的日本在先专利申请JP2010-048098中公开的主题相关的主题，该在先申请的全部内容通过引用合并于此。

Claims

1.一种信息处理设备，包括：

照射控制单元，用于控制将投影图像照射至要被图像捕获装置拍摄的被摄体上，所述投影图像表示所述图像捕获装置对所述被摄体的摄影视角，并用于允许所述被摄体进行预定的操作；

识别单元，用于识别由所述被摄体进行的操作以及所述投影图像被照射到的照射范围内的所述被摄体的移动；以及

执行单元，用于根据由所述识别单元识别出的所述被摄体的操作和移动来执行预定的处理，其中，根据所识别出的所述被摄体的操作和移动来改变所述图像捕获装置对所述被摄体的摄影视角。

2.根据权利要求1所述的信息处理设备，

其中，所述识别单元基于由所述图像捕获装置捕获的所述被摄体的图像来识别所述被摄体的操作。

3.根据权利要求2所述的信息处理设备，

其中，所述图像捕获装置和所述照射控制单元被布置在所述信息处理设备的固定位置处。

4.根据权利要求1所述的信息处理设备，

其中，所述照射控制单元控制照射用于允许所述被摄体进行选择操作的投影图像，

所述识别单元识别所述被摄体进行的选择操作，以及

所述执行单元执行所述被摄体所选择的操作。

5.根据权利要求1所述的信息处理设备，

其中，所述照射控制单元控制将通过用户的操作而选择的投影图像照射至所述被摄体上。

6.根据权利要求1所述的信息处理设备，

其中，所述识别单元识别所述被摄体中包括的物体和人，以及

所述照射控制单元控制将所述投影图像照射至由所述识别单元识别出的、所述被摄体中包括的物体和人的区域上。

7.根据权利要求1所述的信息处理设备，

其中，所述执行单元使得所述照射控制单元根据由所述识别单元识别出的所述被摄体的操作来控制照射投影图像。

8.一种信息处理方法，包括以下步骤：

控制将投影图像照射至要被图像捕获装置拍摄的被摄体上，所述投影图像表示所述图像捕获装置对所述被摄体的摄影视角，并用于允许所述被摄体进行预定的操作；

识别所述被摄体进行的操作以及所述投影图像被照射到的照射范围内的所述被摄体的移动；以及

根据在所述识别的步骤中识别出的所述被摄体的操作和移动而执行预定的处理，其中，根据所识别出的所述被摄体的操作和移动来改变所述图像捕获装置对所述被摄体的摄影视角。