CN102124423A

CN102124423A - 摄像装置、在线游戏系统、操作物、输入方法、图像解析装置、图像解析方法以及记录媒体

Info

Publication number: CN102124423A
Application number: CN2009801100466A
Authority: CN
Inventors: 上岛拓
Original assignee: SSD Co Ltd
Current assignee: SSD Co Ltd
Priority date: 2008-01-22
Filing date: 2009-01-22
Publication date: 2011-07-13
Also published as: WO2009093461A1; US20110183751A1; JPWO2009093461A1

Abstract

红外发光二极管(11)间歇性发射红外光。红外光被操作物(3-N)的回归反射薄片(4)回归反射，输入到图像传感器(21)。图像传感器(21)生成点灯时的图像和熄灯时的图像的差分图像，MCU(23)分析该差分图像，检测操作物(3-N)的运动，对终端(5)发送该检测的结果(触发、位置、面积)。终端(5-N)将收到的检测结果反映到在线游戏的处理中的同时，发送到电脑主机(31)。电脑主机(31)，将接收的该检测结果反映到处理中的同时，发送到其他的终端(5-N)。该其他的终端(5-N)将接收的检测结果反映到在线游戏的处理中。

Description

摄像装置、在线游戏系统、操作物、输入方法、图像解析装置、图像解析方法以及记录媒体

技术领域

本发明涉及一种摄像装置及其相关技术，该摄像装置跟计算机另为一体，且，连接于计算机使用。

背景技术

专利文献1公开了以照相机为输入设备的通信对战型虚拟现实网球游戏系统。在这个系统中，用照相机拍摄玩家，计算机的主体分析得到的图像再检测出作为玩家输入的挥动。然后，计算机的主体按照检出的挥动，产生回传球数据。

专利文献1 ：日本特开2005-253871号。

发明内容

发明要解决的问题

如上所述，照相机对计算机主体发出的，不是玩家的输入信息，而是图像本身。因此，如果游戏程序员将照相机作为输入装置使用的话，他不但需要加载控制游戏进行的应用程序，而且也必须制作分析图像的程序，因此，作为计算机主体的输入设备，照相机非常难以使用。

由此，本发明的目的是提供一种摄像装置及其关联技术，其在计算机主体的程序编制员看来，作为输入设备易于使用。

发明的解决方案

根据本发明的第1方面，摄像装置是与计算机另为一体的摄像装置，其具有：摄像单元，其摄像用户操作的操作物；检测单元，其分析上述摄像单元发出的摄像图像，检测来自上述操作物的输入，产生输入信息；发送单元，其对上述计算机发送上述输入信息。

按照这种配置，与历来不同，摄像装置对计算机发出的，不是摄像图像，而是输入信息，其来自该摄像装置对操作物的分析结果，即用户的输入信息。因此，即使作为输入装置利用摄像装置，在游戏程序员看来，也不必编程分析摄像图像的程序，可以与键盘等一般的输入装置同样地使用该摄像装置。其结果,从游戏程序员看来，可以提供一种作为输入装置便于使用的摄像装置。进而，可以简易地实现在线游戏（体感型的在线游戏），其把在三维空间中移动操作物的高效能的动作作为输入。

在该摄像装置中，上述检测单元分析上述摄像图像，计算上述操作物的状态信息，作为上述输入信息给上述发送单元发送上述状态信息。

按照该配置，计算机可以依照操作物的状态信息执行处理。

在该摄像装置中，上述操作物的状态信息是，位置信息、速度信息、移动方向信息、移动距离信息、速度矢量信息、加速度信息、移动轨迹信息、面积信息、倾斜信息、运动信息、或形态信息中的任一个、或它们之中两个以上的组合。

在本说明书中，所谓“形态”包含形状、花样及色彩中的任一个、或它们之中两个以上的组合。另外，“形态”包含数字、记号及文字。

在上述摄像装置中，上述操作物的上述状态信息是，在上述操作物上安装的一个或是多个的标志的状态信息。

该情况下，多个的标识的状态信息，包含各自标识的状态信息之外、表示多个的标识的位置关系的信息(配置信息)及数信息、并且，包含由于多个的标识整体形成的形态信息及该形态的位置信息、速度信息、移动方向信息、移动距离信息、速度矢量信息、加速度信息、移动轨迹信息、面积信息、倾斜信息以及运动信息。

在上述摄像装置中，上述发送单元作为命令对上述计算机发送上述状态信息。

按照该配置，计算机可以对应摄像装置的命令执行处理，该摄像装置对应操作物的状态信息。

上述操作物还具有以预先决定的周期对上述操作物照射光的频闪观测器；上述摄像单元包含差分信号产生单元，其分别在上述频闪观测器点灯时以及熄灭时，摄像上述操作物，取得点灯时图像以及熄灭时图像，产生上述点灯时图像和上述熄灭时图像的差分信号。

按照该配置，仅通过产生发光时图像信号和熄灭时图像信号的差分信号的简单处理，就能够检测出极力抑制了噪声和干扰等影响的高精度的操作物。

在上述摄像装置中，上述操作物包含回归反射单元，对射来的光进行回归反射。

按照该配置，可以以更高精度检测操作物。

根据本发明的第2方面，在线游戏系统，其具有多个摄像装置，该摄像装置各连接对应的终端，与该终端另为一体，其中，上述摄像装置，还包含：摄像单元，其摄像用户操作的操作物；检测单元，其分析上述摄像单元发出的摄像图像，检测由于上述操作物的输入，产生输入信息；发送单元，其对上述计算机发送上述输入信息，其中，通过上述终端经网络互相连接，互相交换上述输入信息，从而进行游戏。

按照该配置，与历来不同，摄像装置对终端发出的不是摄像图像，而是输入信息,其来自该摄像装置对操作物的分析结果即用户的输入信息。因此，即使作为输入装置利用摄像装置，在游戏程序员看来,也不必编程分析摄像图像，可以与键盘等一般的输入装置同样地使用该摄像装置。其结果,在游戏程序员看来,可以提供一种作为输入装置便于使用的摄像装置。进而，可以简易地实现在线游戏(体感型在线游戏)，其把在三维空间中移动操作物的高效能的动作作为输入。例如，根据本发明的第3方面，操作物，其为摄像装置的拍照对象，并且其由用户持有并施于运动，其具有：多个反射单元；以及转换单元，其至少转换1个上述反射单元的曝光状态和非曝光状态，其中，维持至少1个上述反射单元在曝光状态。

按照该配置，因为具备随时维持曝光状态的反射单元，依据该反射单元的摄像图像,能够随时检测有无来自操作物的输入与/或输入的形态。另外，还具备可以转换曝光状态和非曝光状态的反射单元，在该反射单元被摄像时和不被摄像时可以发出不同的输入，因此可以增加反射单元的输入的种类。

根据本发明的第4方面，操作物，其为摄像装置的拍照对象，其为由用户持有并施于运动的操作物，其具有：第1反射单元；第2反射单元；以及转换单元，其在上述第1反射单元和上述第2反射单元间，使曝光及非曝光状态逆转，转换上述第1反射单元及上述第2反射单元的状态。

按照该配置，第1反射单元和第2反射单元的曝光及非曝光状态互相变得相反，因此，可以依据各自的摄像图像检测出有无来自操作物的输入与/或输入的形态。另外，也可以依据第1反射单元和第2反射单元间的曝光及非曝光的转换，检测出有无操作物的输入与/或输入的形态。

在上述第3及第4方面的操作物中，上述反射单元对射来的光进行回归反射。

根据本发明的第5方面，输入方法，其被与计算机另为一体的摄像装置执行，该输入方法包含以下步骤：用户操作的操作物的摄像步骤；分析在上述摄像步骤中取得的上述摄像图像，检测出来自上述操作物的输入，产生输入信息的步骤；以及对上述计算机发送上述输入信息的步骤。

按照该配置，与上述第1方面的摄像装置起到同样效果。

根据本发明的第6方面，计算机可读的记录媒体，其记录了电脑程序，其使安装了摄像装置的计算机执行权利要求13所述的输入方法。

按照该配置，与上述第1方面的摄像装置起到同样效果。

根据本发明的第7方面，图像分析装置，其具有：摄像单元，其摄像单个或多个拍照对象；第1候选领域决定单元，其通过由上述摄像单元取得的图像，决定包含上述拍照的对象的图像的、由比上述摄像图像的像素少的像素组成的一次候选领域；第1状态计算单元，其当上述拍照对象的数是1个或2个时，扫描上述一次候选领域，计算上述拍照对象的上述状态信息；第2候选领域决定单元，其当上述拍照对象的数至少是3个时，从上述一次候选领域中决定包含上述拍照对象的图像的、由比上述一次候选领域的像素少的像素组成的二次候选领域；第2状态计算单元，其当上述拍照对象的数至少是3个时，扫描上述二次候选领域，计算上述拍照对象的上述状态信息。

按照该配置，即使拍照对象超过3个，也可以计算它们的状态信息，并且如果拍照对象为1个或2个时，可以省略第2候选领域决定单元和第2状态计算单元的处理，因此可以减轻处理的负荷。

在此，所谓“包含”是指拍照对象的图像完全容纳在一次候选领域中、没有越出该领域，以及，拍照对象的图像完全容纳在二次候选领域中、没有越出该领域。

在该图像分析装置中，上述第1候选领域决定单元包含：第1数组单元，其产生第1数组，该第1数组是对上述图像中的像素值的水平轴的正投影；第2数组单元，其产生第2数组，该第2数组是对上述图像中的像素值的垂直轴的正投影；一次候选领域的决定单元,其依据上述第1数组及上述第2数组决定上述一次候选领域；其中，上述第2候选领域决定单元包含：第3数组单元，其产生第3数组，该第2数组是对上述一次候选领域的像素值的水平轴的正投影；第4数组单元，其产生第4数组，该第4数组是对上述一次候选领域中的像素值的垂直轴的正投影；二次候选领域的决定单元,其依据上述第3数组及上述第4数组决定上述二次候选领域。

上述图像分析装置还具有以预先决定的周期对上述操作物照射光的频闪观测器；其中，上述摄像单元包含差分信号产生单元，其分别在上述频闪观测器点灯时以及熄灭时，摄像上述操作物，取得点灯时图像以及熄灭时图像，产生上述点灯时图像和上述熄灭时图像的差分信号；其中,上述第1候选领域决定单元、上述第1状态计算单元、上述第2候选领域决定单元、以及上述第2状态计算单元，都依据上述差分信号进行处理。

按照这种配置，仅通过生成发光时图像信号和熄灭时图像信号的差分信号的简单处理，就能够检测出极力抑制了噪声和干扰等影响的高精度的操作物。

根据本发明的第8方面，图像分析方法，其依据由摄像单个或多个拍照对象的摄像装置取得的图像，该图像分析方法包含以下步骤：按照上述图像，决定包含上述拍照的对象的图像的、由比上述图像的像素少的像素组成的一次候选领域的步骤；扫描上述一次候选领域,计算上述拍照对象的状态信息的步骤,其在当上述拍照的对象的数是1个或2个时执行一次候选领域；决定二次候选领域的步骤,其为当上述拍照的对象的数至少是3个时，从上述一次候选领域中决定包含上述拍照的对象的图像的、由比上述一次候选领域的像素少的像素组成；扫描上述二次候选领域计算上述拍照对象的状态信息的步骤,其在当上述拍照的对象的数至少是3个时执行二次候选领域。

按照这种配置，与上述第7方面的摄像装置起到同样效果。

根据本发明的第9方面，计算机可读的记录媒体，其记录了电脑程序，其使安装了摄像装置的计算机实行权利要求18所述的图像分析方法。

按照该配置，与上述第7方面的摄像装置起到同样效果。

在本说明书及权利要求中，记录媒体包含，例如，软盘、硬盘、磁带、磁光盘、CD(含CD-ROM和Video-CD)、DVD(含DVD-Video、DVD-ROM和DVD-RAM)、ROM卡带、附着备用电池的RAM卡带、闪存卡带以及不挥发性RAM卡带等。

附图说明

本发明的新颖特征列于权利要求中。然而，通过结合附图阅读对具体实施例的详细说明，可以更好地理解本发明及其它特征和效果。

图1是表示根据本发明的实施方式的游戏系统的整体构成的外观侧视图。图2是表示图1的照相机单元1-N的电气构成的视图。

图3(a)表示图1的操作物3A-N的外观侧视图。图3(b)表示操作物的另一例的外观侧视图。图3(c)表示操作物的又一例的外观侧视图。

图4是表示基于图像传感器21输出了的差分图像DI的回归反射薄片4的检测处理的说明图。

图5是在玩家使用操作物3C-N时的回归反射薄片4的追加检测处理的说明图。

图6是操作物3A-N的倾斜度检测处理的说明图。

图7是操作物3A-N的挥动检测处理的说明图。

图8是操作物3A-N的挥动方向的说明图。

图9是操作物3A-N的挥动位置的说明图。

图10是操作物3A-N的特殊操作的说明图。

图11是基于操作物3B-N的特别触发的说明图。

图12是基于操作物3C-N的各种触发的说明图。

图13表示图3(c)的操作物3C-N的变形例。

图14是表示图2的MCU23的处理的整体过程的流程图。

图15是表示图14的步骤S3的摄像处理过程的流程图。

图16是表示图14的步骤S5的回归反射薄片检测过程的一部分的流程图。

图17是表示图14的步骤S5的回归反射薄片检测过程的另一部分的流程图。

图18是表示图14的步骤S5的回归反射薄片检测过程的又一部分的流程图。

图19是表示图14的步骤S5的回归反射薄片检测过程的又一部分的流程图。

图20是表示图14的步骤S5的回归反射薄片检测过程的又一部分的流程图。

图21是表示图14的步骤S5的回归反射薄片检测过程的又一部分的流程图。

图22是表示图14的步骤S5的回归反射薄片检测过程的又一部分的流程图。

图23是表示图21的步骤S349的4端点检测过程的流程图。

图24是表示图14的步骤S9的触发检测过程(剑)的流程图。

图25是表示图24的步骤S443的盾触发检测过程的流程图。

图26是表示图24的步骤S445的特别触发检测过程的一部分的流程图。

图27是表示图24的步骤S445的特别触发检测过程的另一部分的流程图。

图28是表示图24的步骤S447的挥动触发检测过程的流程图。

图29是表示图14的步骤S9的触发检测过程(魔杖)的一部分的流程图。

图30是表示图14的步骤S9的触发检测过程(魔杖)的另一部分的流程图。

图31是表示图14的步骤S9的触发检测过程(弩)的流程图。

图32是表示图31的步骤S765的蓄力触发检测过程的流程图。

图33是表示图31的步骤S769的盾触发检测过程的流程图。

图34是表示图31的步骤S771的开关触发检测过程的流程图。

图35是表示图31的步骤S777的射击触发检测过程的流程图。

符号说明

1-N(1-1~1-n)…照相机单元、

3-N(3-1~3-n),3A-N(3A-1~3A-n),3B-N(3B-1~3B-n),3C-N(3C-1~3C-n)…操作物、

5-N(5-1~5-n)…终端、

4,4A~4G…回归反射薄片、

11…红外发光二极管、

21…图像探测器、

23…MCU、

29…网络、

31…电脑主机。

具体实施方式

下面将结合附图对本发明的多个实施例进行说明。同时，各个附图中同样的元件标记表示相同的或功能上相似的元件，因此不再重复不必要的解释。

图1是表示根据本发明的实施例的游戏系统的整体构成的外观侧视图。参照图1，这个游戏系统包括玩家紧握并施于运动的剑型操作物(以下，称为“剑”。)3A-N、终端5-N、以及在终端5-N的显示器7上缘设置的照相机单元1-N。另外，N是1以上的整数。

照相机单元1-N通过USB(Universal Serial Bus)电缆9连接于终端5-N。照相机单元1-N包括只透过红外光的红外线过滤器13及在其周围配置的发射红外光的4个红外发光二极管(IRED)11。后述的图像传感器21安装在红外线滤光器13的反面。

如图3（a）所示，图1的剑3A-N在其刀身部33的两面安装有回归反射薄片4A。而且，在剑3A-N的护手部35的两面安装有半圆柱形部件37。在该半圆柱形部件37的曲面上安装有回归反射薄片4B。

在本实施例中，剑3A-N之外，准备了2个操作物。图3(b)表示魔杖(mace)型的操作物(以下，称为“魔杖”。)3B-N。魔杖3B-N包括玩家紧握的棒45及在棒45的另一侧端部固定了的球47。在球47的表面整体安装有回归反射薄片4C。

另外，图3(c)表示弩型操作物(以下，称为“弩”。)3C-N。在弩3C-N的左右的弓部39的侧面上，左右对称地安装有圆形的回归反射薄片4E和4F(未图示。)在左右的回归反射薄片4E和是4F之间，在台座41的前端部，安装有圆形的回归反射薄片4D。

另外，在台座41的前端部，安装有可开闭自如的盖49。在没有扣下扳机51的情况下，盖49关闭。因此，该情况下，回归反射薄片4D被盖49覆盖不露出。另一方面，扣下扳机51的情况下，如图所示，盖儿49开启。因此，该情况下，回归反射薄片4D露出。

并且，回归反射薄片4G也安装在台座41底部。安装回归反射薄片4G，使其反射面对着台座41的较长方向(从扳机51一侧来看)为锐角。因此，如果台座41的前端部朝向照相机单元1的情况下，回归反射薄片4G不被摄像，如果台座41的前端部朝向斜上方向的情况下，回归反射薄片4G被摄像。

另外，回归反射薄片4A至4G有时也可以概括性地称为“回归反射薄片4”。回归反射薄片4也可以称为“标识4”。另外，剑3A-N、魔杖3B-N和弩3C-N有时也可以概括性地称为“操作物3-N”。操作物3-N也可以称为“拍照的对象3-N”。

返回到图1，照相机单元1-N的红外发光二极管11，以预先决定的周期，间歇性地发射红外光。这样，红外发光二极管11作为频闪观测器工作。来自红外发光二极管11的红外光，由剑3A-N的回归反射薄片4A或4B而被回归反射，输入到在红外线滤光器13的反面上设置的图像传感器21中。这样，剑3A-N间歇性地被摄像。魔杖3B-N和弩3C-N也是同样。

但是，在红外光的熄灯时，也通过图像传感器21进行摄像处理。因此，照相机单元1求出红外光点灯时的图像信号和熄灯时的图像信号的差分，依据该差分信号DI(差分图像DI)，检测剑3A-N的运动，通过USB电缆9发送检测结果到终端5-N。然后，终端5-N将剑3A-N的运动反映到在线游戏的处理中。魔杖3B-N和弩3C-N也是同样。

另外，照相机单元1通过求出差分信号DI，可以尽量消除来自回归反射薄片4的反射光以外的光的干扰，可以高精度地检测回归反射薄片4。

在线游戏的参加者(玩家)各自拥有图1的游戏系统。

参照图2，在本实施例中，电脑主机31通过网络29对各终端5-1至5-n提供在线游戏。终端5-1至5-n与各自的照相机单元1-1至1-n连接。照相机单元1-1至1-n拍摄各自的操作物3-1至3-n的回归反射薄片4。图1终端5-N概括性地表示终端5-1至5-n。图1的照相机单元1-N概括性地表示照相机单元1-1至1-n。图3(a)至图3(c)的操作物3-N(3A-N、3B-N、3C-N)概括性地表示操作物3-1至3-n。

照相机单元1-N包括USB控制器25、MCU(Micro Controller Unit)23、图像传感器21及红外发光二极管(IRED)11。

USB控制器25受到MCU23的控制，通过USB电缆9及终端5-N的USB端口27，与终端5-N进行通信，进行数据交换。图像传感器21受到MCU23控制，分别在红外发光二极管11点灯时及熄灯时进行摄像处理。并且，图像传感器21对MCU23输出点灯时和熄灯时的图像信号的差分信号DI。另外，图像传感器21间歇性地开启红外发光二极管11。另外，图像传感器21的分辩率，在本实施例中，例如设为64像素×64像素。

MCU23依据来自图像传感器21的差分信号DI，检测回归反射薄片4的图像，计算其状态信息。

状态信息是单个或多个的回归反射薄片4的位置信息、速度信息、移动方向信息、移动距离信息、速度矢量信息、加速度信息、移动轨迹信息、面积信息、倾斜信息、运动信息、或形态信息中的任一个、或它们的两个以上的组合。形态包含形状、花样、色彩或它们的两个以上的组合。另外、形态包含数字、记号及文字。并且，多个的回归反射薄片4的状态信息包含，各自的回归反射薄片4的状态信息之外，还包括表示多个的回归反射薄片4的位置关系的信息(配置信息)和数信息，而且，还包括由多个的回归反射薄片4的整体形成的形态信息及该形态的位置信息、速度信息、移动方向信息、移动距离信息、速度矢量信息、加速度信息、移动轨迹信息、面积信息、倾斜信息以及运动信息。下面举出具体例说明。

图4是表示回归反射薄片4的检测处理的说明图，该回归放射薄片4依据了图像传感器21输出的差分图像(差分信号)DI。参照图4，MCU23，从(X,Y)=(0,0)，一边逐个增加Y，一边比较各像素的辉度值(以下，称为「像素值」。)和一定的阈值Thl，到检测出超过阈值Thl的像素或到Y=63为止，进行该列扫描。MCU23完成该一列的扫描之后，将Y设为“0”，将X增加一个，然后再次一边逐个增加Y，一边比较各像素值和一定的阈值Thl，到检测超过阈值Thl的像素或到Y=63位置进行该列扫描。MCU23到X=63为止进行这样的处理，扫描差分图像DI的各列的像素。

在该扫描中，MCU23，在某列检测出阈值Thl以下的像素后，在其下一列检测出超过阈值Thl的像素的情况下，在内存(图中未表示)中存储该像素的X坐标(在图4中X0和X2)，并且，在某列检测出超过阈值Thl的像素后，在其下一列检测阈值Thl以下的像素的情况下，在内存中存储包含含该像素列的左边一列的像素的X坐标(在图4中X1和X3)。

接着，MCU23，从(X,Y)=(0,0)开始，一边逐个增加X，一边比较各像素值和一定的阈值Thl，到检测出超过阈值Thl的像素或到X=63为止，进行该行扫描。该行扫描完成之后，MCU23将X设为“0”，将Y增加1之后，然后再次一边逐个增加X，一边比较各像素值和一定的阈值Thl，到检测超过阈值Thl的像素或到X=63为止，进行该行扫描。MCU23到Y=63为止进行这样的处理，扫描差分图像DI的各行的像素。

在该扫描中，MCU23，在某行连续地检测出阈值Thl以下的像素之后，在其下行中检测出超过阈值Thl的像素的情况下，在内存中存储其像素的Y坐标(在图4中Y0和Y2)，并且，在某行检测出超过阈值Thl的像素之后，在其下一行检测出阈值Thl以下的像素的情况下，储存包含含该像素行的上一行的像素的Y坐标(图4，Y1,Y3)。

在该时点，MCU23在以表示X=X0、X=X1、Y=Y0和Y=Y1的直线包围的候选领域a0，以表示X=X2、X=X3、Y=Y0和Y=Y1的直线包围的候选领域a1，以表示X=X0、X=X1、Y=Y2和Y=Y3的直线包围的候选领域a2，及，以表示X=X2、X=X3、Y=Y2和Y=Y3的直线包围的候选领域a3中的任一个领域中，能够认识2个图像IM0及IM1的存在。但是，在该时点，MCU23不能指定图像IM0及IM1在a0至a3的哪个候选领域中存在。

于是，MCU23对a0至a3的每个候选领域比较像素值和阈值Thl，判断出画像IM0及IM1存在在含有超过阈值Thl的像素的候选领域中。在图4中，MCU23判断出图像IM0及IM1存在在各自的候补领域a0及a3中。MCU23认识映入含有超过阈值Thl的像素的候选领域的数的画像的数。并且，MCU23在判断出存在图像IM0及IM1的每个候选领域a0及a3中，计算“公式1”求出图像IM0及IM1的XY坐标(Xr,Yr)。

(公式1)

Pj是回归反射薄片4存在的候选领域的像素值，Xj是像素值Pj的X坐标，Yj是像素值Pj的Y坐标，下标j表示回归反射薄片4存在的候选领域的像素。R是规定分辩率的定数。图像传感器21的分辩率是64像素×64像素的情况下，如果R=8，计算的配置了XY坐标(Xr,Yr)的图像的分辩率成为512像素×512像素。另外，MCU23执行将阈值Thl以下的像素值Pj设为“0”的计算。另外，MCU23也可以忽视阈值Thl以下的像素值Pj，以只超过阈值Thl的像素值Pj执行“公式1”的计算。

MCU23计算“公式1”的同时，在图像IM0及IM1存在的每个候选领域a0及a3中，计算超过阈值Thl的像素的数。在图4中，在候选领域a0中，超过阈值Thl的像素数相当于图像IM0的面积，在候选领域a3中，超过阈值Thl的像素数相当于图像IM1的面积。

回归反射薄片4因为回归反射红外光，因此超过阈值Thl的像素的领域即图像IM0及IM1对应在回归反射薄片4上。在图4中，正映射在2片回归反射薄片上4。

如上所述，MCU23计算回归反射薄片4的图像IM0和IM1的XY坐标及面积。

下面将说明候选领域a0至a3的其他的计算方法。另外，在后述的流程图中根据这个方法检测候选领域。准备数组H[X]和V[Y]。XY的范围分别是X=0至63，Y=0至63。在图4中，数组H[X]和V[Y]，各自表示为示意性的长方形。MCU23从(X,Y)=(0,0)开始逐个增加X，到X=63为止进行该行的扫描。一旦完成该行的扫描，MCU23将X设为“0“，将Y增加1个之后，再次将X逐个增加，到X=63为止，执行该行的扫描。MCU23到Y=63为止进行这样的处理，扫描差分图像DI的各行的像素。

在该扫描中，MCU23将“1”代入到对应超过阈值Thl的像素的XY坐标的数组H[X]和V[Y]中。另一方面，MCU23将“0”代入到对应与阈值Thl以下的像素的XY坐标的数组H[X]和V[Y]中。但是，已经将“1”代入了数组H[X]的情况下，维持该“1”，已经将“1”代入了数组V[X]的情况下，维持该「1」。图4中以斜线示意性地表示存储“1”的数组H[X]及V[Y]。

存储“1”的数组H[X]的左端的要素号码X是X坐标X0及X2，存储“1”的数组H[X]的右端的要素号码X是X坐标X1及X3。并且，存储“1”的数组V[Y]的上端的要素号码Y是Y坐标Y0及Y2，存储“1”的数组V[Y]的下端的要素号码Y是Y坐标Y1及Y3。这样，MCU23能决定候选领域a0至a3。

另外，数组H[X]，其可以说成存储差分图像的像素值的对水平轴(X轴)的正投影。同样，数组V[Y]，其可以说成存储差分图像的像素值的对垂直轴(Y轴)的正投影。

于是，即使在差分图像DI中映射的回归反射薄片4是1个的情况下及3个以上的情况下，与2个的情况相同，MDU23能求出回归反射薄片4的图像的XY坐标及面积。其中，在差分图像DI中映射的回归反射薄片4成为3个以上的情况下，即玩家使用弩3C-N的情况下，追加以下的处理。

图5(a)及图5(b)是玩家使用弩3C-N时的回归反射薄片4的追加检测处理的说明图。如图5(ａ)所示，即使在差分图像DI中映射3个图像IM0至IM2的情况下，上述的处理只能检测出两个候选领域，其为X=X0、X=X1、Y=Y0以及Y=Y1的直线包围的候选领域a0；和，X=X0、X=X1、Y=Y2以及Y=Y3的直线包围的候选领域a2。因此，该情况下，MCU23认识图像，即回归反射薄片4为2个。

因此，MCU23认为映射的回归反射薄片4是2个的情况下，对每个候选领域a0及a1执行上述的检测处理。也就是说，MCU23从(X,Y)=(X0,Y0)开始，一边将Y逐个增加，一边比较各像素值和一定的阈值Thl，到检测越过阈值Thl的像素或到Y=Y1为止执行该列的扫描。该列的扫描完成之后，MCU23将Y设为“Y0”，将X增加1个，然后一边再次将Y逐个增加，一边比较各像素值和一定的阈值Thl，到检测超过阈值Thl的像素或到Y=Y1为止，进行该列的扫描。MCU23到X=X1为止进行这样的处理，扫描差分图像DI的各列的像素。

在该扫描中：MCU23在X=X0的列中检测出超过阈值Thl的像素的情况下，或，MCU23在某列中检测出阈值Thl以下的像素之后，在其下一列中检测出超过阈值Thl的像素的情况下，MCU23存储该像素的X坐标(图5(b)的x0、x2)到内存中；如果MCU23在X=X1的列中检测超过阈值Thl的像素的情况下，MCU23存储该像素的X坐标到内存中；如果MCU23在某列中检测出超过阈值Thl的像素之后，在某列中检测出阈值Thl以下的像素的情况下，MCU23存储含该像素的列的左一列中包含的像素的X坐标(图5(b)的x1、x3) 到内存中。

接下来，MCU23从(X，Y)=(X0，Y0)开始，一边将X增加1个，一边比较各像素值和一定的阈值Thl，到检测超过阈值Thl的像素或到X=X1为止，进行该行的扫描。该行的扫描完成之后，MCU23将X设为“X0”，将Y增加1个，然后一边再次将X增加1个，一边比较各像素值和一定的阈值Thl，到检测超过阈值Thl的像素或到X=X1为止，进行该行的扫描。MCU23到Y=Y1为止进行这样的处理，扫描差分图像DI的各列的像素。

在该扫描中：MCU23在Y=Y0的行中检测出超越阈值Thl的像素的情况下，或，在某行中检测出阈值Thl以下的像素之后，在其下一行中检测出超越阈值Thl的像素的情况下，MCU23存储该像素的Y坐标(图5(b)的y0) 到内存中；如果MCU23在Y=Y1的行中检测出超越阈值Thl的像素，存储该像素的Y坐标(图5(b)的y1) 到内存；以及，MCU23在某行中检测出超越阈值Thl像素之后，在其次的行中检测出阈值Thl以下的像素的情况下，存储含该像素的行的上一行中包含的像素的Y坐标到内存中。

在该时点，如图5(b)所示，MCU23认识候选领域b0，其被X=x0、X=x1、Y=y0以及Y=y1的直线包围，以及候选领域b1，其被X=x2、X=x3、Y=y0以及Y=y1的直线包围。

并且，MCU23对各候选领域b0以及b1，比较像素值和阈值Thl，在包含超过阈值Thl的像素的候选领域中判断图像IM0及IM1的存在。在图5(b)中，MCU23判断图像IM0及IM1存在在各自的候选领域b0及b1中。MCU23认识这样的候选领域的数,其包含超过阈值Thl的像素，是映射在候选领域a0(图5(ａ)参照)中的图像的数。

并且，MCU23在判断出存在图像IM0及IM1的每个候选领域b0及b1中，计算“公式1”，求出图像IM0及IM1的XY坐标(Xr,Yr)。

MCU23，计算“公式1”的同时，在存在图像IM0及IM1的候选领域b0及b1中，计算超过阈值Thl的像素的数，。在图5(b)中，在候选领域b0中，超过阈值Thl的像素的数相当于图像IM0的面积，在候选领域b1中，超过阈值Thl的像素的数相当于图像IM1的面积。

回归反射薄片4回归反射红外光，因此，超过阈值Thl的像素的领域，即像IM0及IM1对应回归反射薄片4。在图5(b)中，2个回归反射薄片4在候选领域a0上映射。

如上所述，MCU23计算回归反射薄片4的图像IM0及IM1的XY坐标和面积。

另外，MCU23扫描领域b0，求出图像IM0的最大X坐标mxX[0]、最大Y坐标mxY[0]、最小X坐标mnX[0]以及最小Y坐标mnY[0]。另外，MCU23扫描领域b1，求出图像IM1的最大X坐标mxX[1]、最大Y坐标mxY[1]、最小X坐标mnX[1]以及最小Y坐标mnY[1]。

MCU23也在候选领域a1中实行在图5(ａ)的候选领域a0中实行了的上述处理，计算回归反射薄片4的图像IM2的XY坐标及面积。

在这里，说明候选领域b0及b1另外的计算方法。另外，在后述的流程图中，MCU23根据这个方法检测候选领域。准备数组HcX[X][0]及VcY[Y][0]。XY的范围是X=X0至X1、Y=Y0至Y1。在图5(b)中，数组HcX[X][0]及VcY[Y][0]各表示为示意性的长方形。MCU23，一边从(X,Y)=(X0,Y0)逐个增加X，一边到X=X1为止进行该行的扫描。该行的扫描完成之后，MCU23将X为“X1”，将Y增加一个，而后一边再次逐个增加X，一边到X=X1为止进行该行的扫描。MCU23到Y=Y1为止进行这样的处理，扫描差分图像DI的各列的像素。

在该扫描中，MCU23将“1”代入对应超过阈值Thl的像素的XY坐标的数组HcX[X][0]以及VcY[Y][0]。另一方面，MCU23将“0”代入对应阈值Thl以下的像素的XY坐标的数组HcX[X][0]以及VcY[Y][0]。但是，如果已经代入“1”到数组HcX[X][0]的情况下，MCU23维持该“1”，已经代入“1”到数组VcY[Y][0]的情况下，MCU23维持该“1”。图5(b)以示意性的斜线表示存储“1”的数组HcX[X][0]以及VcY[Y][0]。

存储“1”的数组HcX[X][0]的左端的要素号码X是X坐标x0及x2，存储“1”的数组HcX[X][0]的右端的要素号码X是X坐标x1及x3。并且，存储“1”的数组VcY[Y][0]的上端的要素号码Y是Y坐标Y0，存储“1”的数组HcX[X][0]的下端的要素号码Y是Y坐标y1。这样，能决定候选领域b0及b1。

另外，MCU23也在候选领域a1进行在图5(b)的候选领域a0中进行了的上述处理。

另外，数组Hc[X][0]其可以说成存储一次候选领域的像素值的对水平轴(X轴)的正投影。同时，数组Vc[Y][0]其可以说成存储一次候选领域的像素值的对垂直轴(Y轴)的正投影。

于是、接下来、针对各操作物(剑3A-N、魔杖3B-N、弩3C-N)说明状态信息的检测处理。另外，玩家预先把使用的操作物的信息(玩家使用哪个操作物的信息)输入到终端5-N中。因此，使用的操作物的信息预先从终端5-N发传给照相机单元1。

[剑3A-N]

首先说明剑3A-N的2个回归反射薄片4B怎样映射在差分图像DI上。在本实施例中，假定玩家离开照相机单元1一定距离操作剑3A-N。该情况下，本实施例的图像传感器21的分辩率中，在差分图像DI上映射的2个回归反射薄片4B间的距离比1像素小。因此，2个回归反射薄片4B的图像作为1个图像在差分图像DI上映射。其结果，玩家作为操作物使用剑3A-N时，在差分图像DI上映射的回归反射薄片4的图像必定成为1个(回归反射薄片4A或4B)。

当然，也可以使用更高分辨率的图像传感器21。该情况下，例如，能够在剑尖安装1个回归反射薄片，用以代替2个半圆柱状部件37以及2个回归反射薄片4B的设置。当然，也可以使用更低分辩率的图像传感器21。

于是， MCU23按盾触发的发生条件、特别触发的发生条件、以及挥动触发的发生条件的顺序进行判断处理。但是，以下为了便于说明，按盾触发、挥动触发、以及特别触发的顺序说明。

[盾触发]

在差分图像DI上映射的回归反射薄片的图像的面积超过了一定的阈值Tha1的情况下，MCU23判断摄像了面积大的回归反射薄片4A。MCU23判断在5个差分图像DI中接连地摄像了回归反射薄片4A的情况下，MCU23产生盾触发，实行倾斜度检测处理。

图6是剑3A-N的倾斜度检测处理的说明图。参照图6，MCU23求出最新的差分图像DI的候选领域a(与回归反射薄片4A的像IM外接的四角形)的垂直方向的边长ΔY(=Y1-Y0)和水平方向的边长ΔX(=X1-X0)之比r=ΔY/ΔX。并且，MCU23按照比r的大小，将剑3A-N的倾斜度分类为水平B0、倾斜B1及垂直B2中任一个。

[挥动触发]

回归反射薄片的像的面积超过了一定的阈值Tha1的情况下，MCU23判断摄像了回归反射薄片4A。而后，MCU23进行挥动检测处理。

图7是剑3A-N的挥动检测处理的说明图。参照图7，MCU23判断是否在5个差分图像DI中接连地检测出回归反射薄片4B的图像IM0至IM4。检测出的情况下，MCU23将依据5个图像IM0至IM4的XY坐标(Xr,Yr)的各速度矢量V0～V3的方向分类为在图8的8个方向A0至A4中任意一个。该情况下，以方向A0为中心的顺时针方向22.5度和反时针方向22.5度的范围的方向作为“方向A0”分类。方向A1至A7也同样分类。

全部速度矢量V0至V3的方向分类为同样方向的情况下，MCU23比较各速度矢量V0～V4的大小和一定的阈值Thv1。而后，速度矢量V0至V4的大小超过阈值Thv1的情况下，MCU23判断玩家挥了剑3A-N，产生挥动触发。该情况下，MCU23将速度矢量V0至V3归类的同一方向作为剑3A-N的挥动方向。

另外，如果MCU23判断玩家挥了剑3A-N，按照5个图像IM0至IM4中的中央图

像IM2的XY坐标(Xr,Yr)，求出挥动位置。该情况下，如图9(a)至图9(h)所示，MCU23向着各挥动方向A0至A7，把挥动位置归类于7个位置中任意一个。

[特别触发]

MCU23判断在此次及上次中是否产生了盾触发。MCU23判断在该两次中产生了盾触发的情况下，检查有没有来自剑3A-N的特殊操作，检测出的情况下，产生特别触发。

图10是来自剑3A-N的特殊操作的说明图。参照图10，MCU23首先判断回归反射薄片4A在垂直向上的方向上是否有移动，而后判断回归反射薄片4A或4B在垂直向下的方向上是否有移动，即，判断是否进行了特殊操作。具体如次。

MCU23判断在前次及此次中产生盾触发的情况下，将第1标志设为“开”。而后，MCU23判断在从第1标志成为“开”开始到成为“关”为止之间，在5个差分图像DI中，是否接连地检测出回归反射薄片4A的图像IM0至IM4。该情况下，因为各图像IM0至IM4是回归反射薄片4A的图像，其面积需要超过阈值Tha1。

并且，MCU23判断接连地检测出回归反射薄片4A的图像IM0-IM4的情况下，将依据5个图像IM0至IM4的XY坐标(Xr,Yr)的各速度矢量V0至V3的方向归类于8个方向A0至A7(图8参照)中的任意一个。

MCU23判断速度矢量V0至V3的方向全部归类于方向A1的情况下，比较各速度矢量V0至V4的大小和一定的阈值Thv2。并且，速度矢量V0至V3的大小全都超过阈值Thv2的情况下，MCU23将第2标志设为“开”。

而后，MCU23判断在从第2标志成为“开”到成为“关”为止之间，在5个差分图像DI中，是否接连地检测出回归反射薄片4A的图像IM0至IM4。MCU23判断连续地检测出5片回归反射薄片4B的图像IM0至IM48的情况下，MCU23将依据5个图像IM0至IM4的XY坐标(Xr,Yr)的各速度矢量V0至V3的方向，归类于8个方向A0至A7(图8参照)中的任意一个。

MCU23判断速度矢量V0至V3的方向全部归类于方向A0的情况下，比较各速度矢量V0至V4的大小和一定的阈值Thv3。而后，速度矢量V0至V3的大小全都超过阈值Thv3的情况下，MCU23判断玩家进行了特殊操作，产生特别触发。其中，Thv2<Thv3。

另外，从第1标志成为“开”的时候开始到第1预定时间经过后，设置第1标志为“关”。同样地，从第2标志成为“开”的时候开始到第1预定时间经过后，设置第2标志为“关”。

在本实施例中，MCU23发送触发信息(盾触发、特别触发、挥动触发、以及待命状态)、回归反射薄片4的图像的XY坐标和面积、以及产生挥动触发时的挥动方向和位置信息到终端5-N。另外，盾触发、特别触发、以及挥动触发的任何一个发生条件都不满足的情况下，MCU23作为触发信息设定“待命状态”。

终端5-N按照这些的信息进行游戏处理。同时，这些的信息从终端5-N发送到电脑主机31。电脑主机31按照这些的信息进行游戏处理，和/或，发送这些的信息给其他的终端5-N。该其他的终端5-N按照这些的信息进行游戏处理。

[魔杖3B-N]

图11(a)和图11(b)是基于魔杖3B-N的特别触发的说明图。参照图11(a)，如果魔杖3B-N进行按顺时针方向(逆时针方向也能作为条件设定)画圆的操作，而后魔杖3B-N在垂直向下方向上被挥动的情况下，MCU23产生特别触发。具体如次。

参照图11(b)，如果在3个差分图像DI上连续地检测出回归反射薄片4C的图像IM0至IM2的情况下，并且，如果依据3个图像IM0至IM2的XY坐标(Xr,Yr)的2个速度矢量V0及V1的方向都归类于同一方向A2的情况下，MCU23将第1标志设为“开”。

在第1标志为开的情况下，如果在3个差分图像DI上连续地检测出回归反射薄片4C的图像IM0至IM2，并且，如果基于3个像IM0至IM2的XY坐标(Xr,Yr)的2个速度矢量V0及V1的方向都归类于同一方向A2的情况下，MCU23将第2标志设为“开”。

在第2标志为开的情况下，如果在3个差分图像DI上连续地检测出回归反射薄片4C的图像IM0至IM2，并且，如果基于3个像IM0至IM2的XY坐标(Xr,Yr)的2个速度矢量V0及V1的方向都归类于同一方向A0的情况下，MCU23将第3标志设为“开”。

在第3标志为开的情况下，如果在3个差分图像DI上连续地检测出回归反射薄片4C的图像IM0至IM2，并且，如果基于3个像IM0至IM2的XY坐标(Xr,Yr)的2个速度矢量V0及V1的方向都归类于同一方向A5的情况下，MCU23将第4标志设为“开”。

在第4标志为开的情况下，如果在3个差分图像DI上连续地检测出回归反射薄片4C的图像IM0至IM2，并且，如果基于3个像IM0至IM2的XY坐标(Xr,Yr)的2个速度矢量V0及V1的方向都归类于同一方向A3的情况下，MCU23将第5标志设为“开”。

在第5标志为开的情况下，如果在3个差分图像DI上连续地检测出回归反射薄片4C的图像IM0至IM2，并且，如果基于3个像IM0至IM2的XY坐标(Xr,Yr)的2个速度矢量V0及V1的方向都归类于同一方向A6的情况下，MCU23将第6标志设为“开”。

在第6标志为开的情况下，如果在3个差分图像DI上连续地检测出回归反射薄片4C的图像IM0至IM2，并且，如果基于3个像IM0至IM2的XY坐标(Xr,Yr)的2个速度矢量V0及V1的方向都归类于同一方向A1的情况下，MCU23将第7标志设为“开”。

在第7标志为开的情况下，如果在3个差分图像DI上连续地检测出回归反射薄片4C的图像IM0至IM2，并且，如果基于3个像IM0至IM2的XY坐标(Xr,Yr)的2个速度矢量V0及V1的方向都归类于同一方向A4的情况下，MCU23将第8标志设为“开”。

在第8标志为开的情况下，如果在3个差分图像DI上连续地检测出回归反射薄片4C的图像IM0至IM2，并且，如果基于3个像IM0至IM2的XY坐标(Xr,Yr)的2个速度矢量V0及V1的方向都归类于同一方向A2的情况下，MCU23将第9标志设为“开”。

但是，如果从第1标志成为开开始到第3预定时间之内第9标志没有设为“开”的情况下，MCU23将第1至第8标志全部设为“关”。

第9标志为开的情况下，MCU23判断以魔杖3B-N所画圆的大小是否比预定值大，如果大，将第10标志设为“关”，否则将第1-第9标志全部设为“关”。具体如次。

参照图11(a)，MCU23计算回归反射薄片4C的图像的X坐标Xr中最大坐标X1和最小坐标X0的差ΔX、回归反射薄片4C的图像的Y坐标Yr中最大坐标Y1和最小坐标Y0的差ΔY。并且，MCU23求和s=ΔX+ΔY。如果和s比一定值大，MCU23将第10标志设为“开”。

第10标志为开的情况下，如果在3个差分图像DI上连续地检测出回归反射薄片4C的图像IM0至IM2，MCU23将依据3个像IM0至IM2的XY坐标(Xr,Yr)的2个速度矢量V0及V1的方向归类于8个方向A0至A7中任何一个。如果MCU23判断速度矢量V0至V3的方向都归类于同一方向A0的情况下，判断2个速度矢量V0及V1的大小是否都越过一定的阈值Thv3。如果速度矢量V0及V1的大小全都超过阈值Thv4的话，MCU23判断玩家进行了特殊操作，产生特别触发。另外，如果从第10标志成为开开始到第4预定时间之内不发生特别触发的话，MCU23将第1至第10标志全部设为“关”。

在本实施例中，MCU23发送触发信息(特别触发和待命状态)以及回归反射薄片4的像的XY坐标和面积到终端5-N。另外，如果没有达到特别触发的发生条件的话，MCU23作为触发信息设定为“待命状态”。

[弩3C-N]

MCU23首先检测在差分图像DI上映射的回归反射薄片4的数，按照该数进行处理。回归反射薄片4的数的检测方法如上所示(参照图4及图5)。

回归反射薄片4的数是1个的情况下，MCU23判断是否满足蓄力触发的发生条件。另外，回归反射薄片4的数是2个的情况下，MCU23判断是否满足盾触发的发生条件，如果没满足的话，MCU23判断是否满足开关触发的发生条件。而且，回归反射薄片4的数是3个的情况下，MCU23判断是否满足射击触发的发生条件。另外，如果4个触发中的2个以上重复地满足发生条件的话，其先后顺序，从高位开始，是蓄力触发、盾触发、开关触发以及射击触发。以下，按蓄力触发、盾触发、开关触发及射击触发的顺序说明。

[蓄力触发]

图12(a)是基于弩3C-N的蓄力触发的说明图。参照图12(a)，在差分图像DI上映射的回归反射薄片4是1个的情况下，MCU23判断该图像的面积是否比阈值Tha2大。如果大，MCU23判断摄像了回归反射薄片4G摄像，产生蓄力触发。

[盾触发]

图12(b)是基于弩3C-N的盾触发的说明图。参照图12(b)，在差分图像DI上映射的回归反射薄片4是2个的情况下，MCU23判断摄像了回归反射薄片4E和4F摄像，依照其XY坐标(Xr,Yr)计算；连接其的直线的倾斜度。该倾斜度比一定值大的情况下，MCU23生成盾触发。另外，在差分图像DI上映射的回归反射薄片4是2个的情况下，MCU23依据其XY坐标(Xr,Yr)计算其中点坐标。

[开关触发]

MCU23在差分图像DI上映射的回归反射薄片4是2的情况下，并且，没有满足盾触发的生成条件的情况下，MCU23与剑3A-N的挥动触发的检测方法相同地，判断是否满足开关触发的发生条件。但是，在该判断中，MCU23不是使用各自的回归反射薄片4E和4F的XY坐标(Xr,Yr)，而是使用其中点坐标。具体如次。

图12(c)是基于弩3C-N的开关触发的说明图。参照图12(c)，如果回归反射薄片4E和4F的图像在5个差分图像DI上连续地检测出的情况下，MCU23按照对应其5个中点坐标判断4个速度矢量的方向是否全都归类于同一方向A1。如果4个速度矢量的方向全都归类于同一方向A1的话，MCU23判断4个速度矢量的大小是否全都超过了一定的阈值Thv5。如果4个速度矢量的大小全都超过阈值Thv5的话，MCU23将一定的标志设为“开”。

在一定的标志成为了“开”之后到成为“关“为止之间，回归反射薄片4E和4F的图像在5个差分图像DI中连续地检测出的情况下，MCU23判断依据对应其5个中点坐标的4个速度矢量的方向是否全都归类于同一方向A0。如果4个速度矢量的方向全都归类于同一方向A0的话，MCU23判断4个速度矢量的大小是否全都超过了一定的阈值Thv6。如果4个速度矢量的大小全都超过阈值Thv6的话，MCU23将开关标志设为“开”。

另外，如果从一定的标志成为了“开”开始到第5预定期间之内不发生开关触发的情况下，MCU23将一定的标志设为“开”。

[射击触发]

图12(d)是基于弩3C-N的射击触发的说明图。参照图12(d)，如果在差分图像DI上映射3个回归反射薄片4的话，MCU23判断其是回归反射薄片4D、4E和4F。而后，MCU23判断在上次的差分图像上映射的回归反射薄片4是否只是回归反射薄片4E和4F，如果只映射2个回归反射薄片4E和4F的话，生成射击触发。但是，如果在上次的差分图像上映射的回归反射薄片4是3个回归反射薄片4D、4E和4F的话，MCU23不生成射击触发。总之，在差分图像DI上映射的回归反射薄片4的数从2个变迁了到3个的时候，MCU23生成射击触发。

另外，如果3个回归反射薄片4在差分图像DI上映射的话，并且，没有满足蓄力触发的生成条件的情况下，MCU23在判读射击触发的生成条件之前，判断两端的回归反射薄片4E和4F是否满足盾触发的生成条件，如果满足，生成盾触发。

因此，如果3个回归反射薄片4在差分图像DI上映射的话，并且，没有满足蓄力触发及盾触发的生成条件的情况下，MCU23判断射击触发的生成条件。

在本实施例中，MCU23发送触发信息(蓄力触发、盾触发、开关触发、射击触发、以及待命状态)以及回归反射薄片4的图像的XY坐标及面积给终端5-N。另外，如果在差分图像DI上映射的回归反射薄片4的数是2个的话，MCU23对终端5-N发送它们的中点坐标。另外，如果在差分图像DI上映射的回归反射薄片4的数是3个的话，MCU23对终端5-N发送它们的两端的中点坐标。但是，即使在差分图像DI上映射的回归反射薄片4的数是3个的情况下，如果MCU23判断其中之一是回归反射薄片4G的话，也发送回归反射薄片4G的XY坐标(Xr,Yr)。另外，如果蓄力触发、盾触发、开关触发以及射击触发都不满足它们的发生条件，MCU23作为触发信息设定为“待命状态”。

终端5-N按照这些的信息进行游戏处理。同时，这些的信息从终端5-N发送到电脑主机31。电脑主机31按照这些的信息进行游戏处理，和/或，对其他的终端5-N发送这些的信息。该其他的终端5-N按照这些的信息进行游戏处理。

如上所述，弩3C-N上，安装有随时维持曝光状态的回归反射薄片4E和4F，因此，依照该回归反射薄片4E和4F的摄像图像，随时能检测出是否有来自弩3C-N的输入及输入的形态。另外，安装有能转换曝光状态和非曝光状态的回归反射薄片4D，因此，依照该回归反射薄片4D处于被摄像时或者处于非被摄像时，能给予不同的输入，能够使利用回归反射薄片的输入的种类多样化。

图13是图3(c)的弩3C-N的变形例。参照图13，变形例的弩3C-N中，快们50及回归反射薄片4G的安装位置，与图3(c)的弩3C-N有差异。

在台座41的前端部，安装有开闭自如的快们50。另外，在台座41前端部并且在快门50的背面一侧，安装有回归反射薄片4D。在没有扣下扳机51的情况下，快们49闭合。因此，该情况下，回归反射薄片4D被快们50覆盖不露出。另一方面，在没有扣下扳机51的情况下，快们50开启。因此，该情况下，回归反射薄片4D露出。

另外，在台座41前端部，对着台座41的较长边的方向呈钝角(从扳机51侧来看时) 安装有部件40。在该部件40的背面，即，面向扳机51的一面上，安装有回归反射薄片4G。因此，如果台座41的前端部向照相机单元1的话，回归反射薄片4G不被摄像，如果台座41的前端部向上的话，回归反射薄片4G被摄像。

对着台座41的长边的方向呈钝角安装有回归反射薄片4G，因此，与图3(c)的弩3C-N相比，其对着台座41的长边的方向呈锐角安装有回归反射薄片4G，不能将台座41的前端部向上指的话，回归反射薄片4G就不会被摄像。因此，能更防止玩家无意的回归反射薄片4G的摄像。

图14是表示图2的MCU23的处理过程的流程图。参照图14，在步骤S1中，MCU23进行变量等的初始化处理。在步骤S3中，MCU23控制图像传感器37，使之进行回归反射薄片4的摄像处理。在步骤S5中，MCU23依据来自图像传感器21的差分图像信号进行回归反射薄片4的检测处理，计算回归反射薄片4的状态信息。在步骤S9中，MCU23依据步骤S5的检测结果，进行触发的检测处理。在步骤S11中，MCU23，对终端5-N发送触发(即，后述的触发标志)以及状态信息。

于是，在步骤S21中，终端5-N接收触发及状态信息。在步骤S23中，终端5-N实施游戏处理，其对应所接收的触发及状态信息。另外，在步骤S25中，终端5-N通过网络29发送触发及状态信息给电脑主机31。电脑主机31进行与触发及状态信息对应的游戏处理，和/或，对其他的终端5-N发送触发及状态信息。该其他的终端5-N进行与该信息对应的游戏处理。在多个终端5-N之间，进行该处理，实行在线游戏。当然，终端5-N也可以直接地通过网络对其他的终端5-N发送触发及状态信息，实行在线游戏。

图15是表示图14的步骤S3的命令发送处理流程的流程图。参照图15，在步骤S41中，MCU23让图像传感器21点亮红外发光二极管11。在步骤S43中，MCU23让图像传感器21进行红外光点灯时的摄像。在步骤S45中，MCU23让图像传感器21熄灭红外发光二极管11。在步骤S47中，MCU23让图像传感器21进行红外光熄灯时的摄像。在步骤S49中，MCU23让图像传感器21生成以及输出红外光点灯时图像和和熄灭时图像的差分信号。这样，图像传感器21，应答MCU23的控制，进行红外光的点灯时及熄灯时的摄像，即闪光灯摄像。另外，通过上述的控制，红外发光二极管11起到频闪观测器的作用。

图16至图22是表示图14的步骤S5的回归反射薄片检测过程的一部分的流程图。

参照图16，在步骤S71中，MCU23将“0”代入变量X以及Y。在步骤S73中，MCU23比较差分图像的像素值P(X,Y)和阈值Thl。例如，像素值是辉度值。在步骤S75中，如果像素值P(X,Y)超过阈值Thl的话，MCU23进入步骤S77，否则进入步骤S79。

在步骤S77中，MCU23将“1”分别代入变量H[X]和V[Y]。另一方面，在步骤S79中，如果变量H[X]的值是“1”的话，MCU23进入步骤S83，否则进入步骤S81。在步骤S81中，MCU23将“0”代入变量H[X]。在步骤S83中，如果变量V[Y]的值是“1”的话，MCU23进入步骤S87，否则进入步骤S85。在步骤S85中，MCU23将“0”代入变量V[Y]。

在步骤S87中，MCU23将变量X的值增加1个。在步骤S89中，如果变量X的值是“64”的话，MCU23进入步骤S91，否则返回到步骤S73。在步骤S91中，MCU23将“0”代入变量X。在步骤S93中，MCU23将变量Y的值增加1个。在步骤S95中，如果变量Y的值是“64”的话，MCU23进入图17的步骤S91，否则返回到步骤S73。

这样，MCU23扫描差分图像，对规定一次候选领域的数组H[X]和V[Y](参照图4及图5(ａ))，设定值。例如，在图4中，一次候选领域是领域a0至a3，在图5(ａ)中是领域a0及a1。

参照图17，在步骤S101中，MCU23各将“0”代入变量X、m、Hmx[][]以及Hmn[][]。在步骤S103中，如果变量H[X]的值是“1”，MCU23进入步骤S105，否则进入步骤S109。在步骤S105中，如果变量H[X]的值是“0”，MCU23进入步骤S115，否则进入步骤S117。在步骤S115中，MCU23将变量X的值代入变量Hmn[m][0]。

在步骤S109中，如果变量H[X]的值是“1”，MCU23进入步骤S111，否则进入步骤S117。在步骤S111中，MCU23将变量X的值代入变量Hmn[m][0]。在步骤S113中，MCU23将变量m的值增加1个。

在步骤S117中，MCU23将变量X的值增加1个。在步骤S119中，如果变量X的值是“64”，MCU23进入步骤S121，否则返回到步骤S103。步骤S121中，MCU23将从变量m的值减了1的值代入变量Hn。

上述步骤S101～S121的处理是为了求出存储1”的数组H[X]的左端的要素号码X(X坐标)以及存储“1”的数组H[X]的右端的要素号码X(X坐标)的处理。

在步骤S123中，MCU23各将“0”代入变量Y、n、Vmx[][]以及Vmn[][]。在步骤S125中，如果变量V[Y]的值是“1”，MCU23进入步骤S127，否则进入步骤S135。在步骤S127中，如果变量H[X]的值是“0”，MCU23进入步骤S129，否则进入步骤S131。在步骤S129中，MCU23将变量Y的值代入变量Vmn[m][0]。

在步骤S135中，如果变量V[Y]的值是“1”，MCU23进入步骤S137，否则进入步骤S131。在步骤S137中，MCU23将变量Y的值代入变量Vmx[m][0]。在步骤S139中，MCU23将变量n的值增加1个。

在步骤S131中，MCU23将变量Y的值增加1个。在步骤S133中，如果变量X的值是“64”，MCU23进入步骤S141，否则返回到步骤S125。步骤S141中，MCU23将从变量n的值减了1的值代入变量Vn。

上述步骤S123至S141的处理是为了求出存储“1”的数组V[Y]的上端的要素号码Y(Y坐标)以及存储“1”的数组V[Y]的下端的要素号码Y(Y坐标)的处理。

通过上述的处理，MCU23扫描差分图像，决定一次候选领域(参照图4及图5(ａ))。

在步骤S143中，MCU23将“0”代入变量m。在步骤S145中，MCU23将变量Hmn[m][0]的值代入变量Hm[m]，将变量Hmx[m][0]的值代入变量Hx[m]。在步骤S147中，如果变量m的值是值“Hn”，MCU23进入步骤S151，否则进入步骤S149。在步骤S149中，MCU23将变量m的值增加1个，再返回到步骤S145。在步骤S151中，MCU23将“0”代入变量n。在步骤S153中，MCU23将变量Vmn[n][0]的值代入变量Vn[m]，将变量Vmx[n][0]的值代入变量Vx[n]。在步骤S155中，如果变量n的值是值“Vn”，MCU23进入图18的步骤S171，否则进入步骤S157。在步骤S157中，MCU23将变量n的值增加1个。

参照图18，在步骤S171中，如果存在在差分图像上映射的回归反射薄片4有3个以上的可能性，即，如果弩3C-N作为操作物使用，MCU23进入步骤S177，否则进入步骤S173。在步骤S173中，MCU23将“0”代入变量J。步骤S175，MCU23，将变量M[0]代入变量Hn的值，将变量N[0]代入变量Vn的值，进入图21步骤S331。

参照图21，在步骤S331中，MCU23初期化变量CA、A、B、C、minX、minY、maxX、maxY、s、mnX[]、mnY[]、mxX[]、mxY[]、Xr[]、Yr[]以及C[]。而后，MCU23一边更新变量j，一边重复在步骤S333和图22的步骤S389之间的处理。另外，MCU23一边更新变量n，一边重复在步骤S335和图22的步骤S387之间的处理。另外，MCU23一边更新变量m，一边重复步骤S337和图22的步骤S385之间的处理。

在步骤S239中，MCU23将变量Hmn[m][j]的值代入变量X，将变量Vmn[n][j]的值代入变量Y。在步骤S341中，MCU23比较差分图像的像素值P(X,Y)和阈值Thl。在步骤S343中，如果像素值P(X,Y)超过阈值Thl，MCU23进入步骤S345，否则进入步骤S351。

在步骤S345中，MCU23将计算回归反射薄片的图像面积的计数器CA的值增加1个。在步骤S347中，MCU23根据下列算式更新变量A、B和C的值。

A←A+P(X,Y)*X

B←B+P(X,Y)*X

C←C+P(X,Y)

在步骤S349中，MCU23检测回归反射薄片4的图像的4端点(最大X坐标、最大Y坐标、最小X坐标、最小Y坐标)。在步骤S351中，MCU23将变量X的值增加1个。在步骤S353中，如果变量X的值相等于跟变量Hmx[m][j]的值加1，MCU23进入步骤S355，否则返回到步骤S341。在步骤S355中，MCU23将变量Hmn[m][j]的值代入变量X。在步骤S357中，MCU23将变量Y的值增加1个。在步骤S359中，如果变量Y的值相等于跟变量Vmx[n][j]的值加1，MCU23进入步骤S371，否则回来到步骤S341。

根据上述步骤S339至S359的处理，求出回归反射薄片的图像的4端点和面积。

参照图22，在步骤S371中，如果计数器CA的值超过0，MCU23进入步骤S373，否则进入步骤S385。计数器CA的值超过0意味着回归反射薄片的图像在该候选领域中存在，MCU23为了计算该坐标(Xr,Yr)而保存该结果，进入步骤S373。在步骤S373中，MCU23将计数器CA的值代入变量C[s]。在步骤S375中，MCU23将A*R/C的值代入变量Xr[s]，将B*R/C的值代入变量Yr[s]。在步骤S377中，MCU23将变量minX的值代入变量mnX[s]，将变量minY的值代入变量mnY[s]，将变量maxX的值代入变量mxX[s]，将maxY的值代入变量mxY[s]。

在步骤S379中，MCU23将计数器s的值代入变量SN，其用于计算被摄像的回归反射薄片的数量。在步骤S381中，MCU23将计数器s的值增加1个。在步骤S383中对MCU23都对变量CA、A、B、C、minX、minY、maxX以及maxY复位，进入步骤S385。

返回到图21，说明步骤S349的详细。

图23是表示图21的步骤S349的4端点检测过程的流程图。参照图23，在步骤S401中，MCU23比较变量minX的值和变量X的值。在步骤S403中，如果变量minX的值比变量X的值大，MCU23进入步骤S405，否则进入步骤S407。在步骤S405中，MCU23将变量X的值代入变量minX。

在步骤S407中，MCU23比较变量maxX的值和变量X的值。在步骤S409中，如果变量maxX的值比变量X的值小，MCU23进入步骤S411，否则进入步骤S413。在步骤S411中，MCU23将变量X的值代入变量maxX。

在步骤S413中，MCU23比较变量minY的值和变量Y的值。在步骤S415中，如果变量minY的值比变量Y的值大，MCU23进入步骤S417，否则进入步骤S419。在步骤S417中，MCU23将变量Y的值代入变量minY。

在步骤S419中，MCU23比较变量minY的值和变量Y的值。在步骤S421中，如果变量maxY的值比变量Y的值小，MCU23进入步骤S423，否则返回到图21的程序。

返回到图18，在步骤S177中，MCU23将“0”分别代入变数X以及Y。在步骤S179中，MCU23将变量Hmn[m][j]的值代入变量X，将变量Vmn[n][j]的值代入变量Y。在步骤S181中，MCU23比较差分图像的像素值P(X,Y)和阈值Thl。在步骤S183中，如果像素值P(X,Y)超过阈值Thl，MCU23进入步骤S185，否则进入步骤S187。

在步骤S185中，MCU23将“1”分别代入变量Y、n、Vmx[][]以及Vmn[][]。另一方面，在步骤S187中，如果变量Hc[X][k]的值是“1”，MCU23进入步骤S191，否则进入步骤S189。在步骤S189中，MCU23将“0”代入变量Hc[X][k]。在步骤S191中，如果变量Vc[Y][k]的值是“1”，MCU23进入步骤S195，否则进入步骤S193。在步骤S193中，MCU23将“0”代入变量Vc[Y][k]。

在步骤S195中，MCU23将变量X的值增加1个。在步骤S197中，如果变量X的值相等于跟变量Hx[m]的值加1，MCU23进入步骤S199，否则回到步骤S181。在步骤S199中，MCU23将变量Hn[m]的值代入变量X。在步骤S201中，MCU23将变量Y的值增加1个。在步骤S203中，如果变量Y的值相等于跟变量Vx[n]的值加1，MCU23进入步骤S205，否则回到步骤S181。

在步骤S205中，如果变量m的值相等于值“Hn”，MCU23进入步骤S209，否则进入步骤S207。在步骤S207中，MCU23分别将变量m以及k的值增加1个，再返回到步骤S179。在步骤S209中，如果变量n的值相等于值“Vn”，MCU23进入图18的步骤S215，否则进入步骤S211。在步骤S211中，MCU23将“0”代入变量m。在步骤S213中，MCU23分别将变量n以及k的值增加1个，再返回到步骤S179。

在步骤S215中，MCU23把变量k的值代入变量K，进入图19的步骤S231。

这样，MCU23扫描各一次候选领域，对规定二次候选领域的数组Hc[X][k］和Vc[Y][k](参照图4及图5(ａ))，设定值。例如，在图5(b)中，二次候选领域是领域b0及b1。

参照图19，在步骤S231中，MCU23将“0”分别代入变量p、m、、k、Hmx[][]以及Hmn[][]。在步骤S233中，MCU23将变量Hn[m]的值代入变量X。在步骤S235中，如果变量Hc[X][k]的值是“1”，MCU23进入步骤S237，否则进入步骤S243。在步骤S237中，如果变量Hc[X-1][k]的值是“0”，MCU23进入步骤S239，否则进入步骤S241。在步骤S239中，MCU23将变量X的值代入变量Hmn[p][k]。

在步骤S243中，如果变量Hc[X-1][k]的值是“1”，MCU23进入步骤S245，否则进入步骤S241。在步骤S245中，MCU23将变量X的值代入变量Hmx[p][k]。在步骤S247中，MCU23将变量p的值增加1个。

在步骤S241中，MCU23将变量X的值增加1个。在步骤S249中，如果变量X的值相等于跟变量Hx[m]的值加1，MCU23进入步骤S251，否则回来到步骤S235。步骤S251中，MCU23将从变量p的值减了1的值代入变量M[k]。

在步骤S253中，MCU23将“0”代入变量p。在步骤S255中，如果变量m的值是相等于值“Hn”，MCU23进入步骤S259，否则进入步骤S257。在步骤S257中，MCU23分别将变量m以及k的值增加1个，再返回到步骤S233。另一方面，在步骤S259中，如果变量k的值相等于变量K的值，MCU23进入图20的步骤S281，否则进入步骤S261。在步骤S261中，MCU23将“0”代入变量m。在步骤S263中，MCU23将变量k的值增加1个，再进入步骤S233。

图19的处理，关于二次候选领域是为了求出存储“1”的数组Hc[X][k]的左端的要素号码X(X坐标)，以及，存储的数组Hc[X][k]的右端的要素号码X(X坐标)的处理。

参照图20，在步骤S281中，MCU23分别将“0”代入变量r、n、m、k、Vmx[][]以及Vmn[][]。在步骤S283中，MCU23将变量Vn[n]的值代入变量Y。在步骤S285中，如果变量Vc[Y][k]的值是“1”，MCU23进入步骤S287，否则进入步骤S291。在步骤S287中，如果变量Hc[X-1][k]的值是“0”，MCU23进入步骤S289，否则进入步骤S297。在步骤S289中，MCU23将变量Y的值代入变量Vmn[r][k]。

在步骤S291中，如果变量Vc[Y-1][k]的值是“1”，MCU23进入步骤S293，否则进入步骤S297。在步骤S293中，MCU23将变量Y的值代入变量Vmx[r][k]。在步骤S295中，MCU23将变量r的值增加1个。

在步骤S297中，MCU23将变量Y的值增加1个。在步骤S299中，如果变量Y的值相等于跟变量Vx[n]的值加1，MCU23进入步骤S301，否则回来到步骤S285。步骤S301中，MCU23将从变量r的值减了1的值代入变量N[k]。

在步骤S303中，MCU23将“0”代入变量r。在步骤S305中，如果变量m的值是相等于值“Hm”，MCU23进入步骤S309，否则进入步骤S307。在步骤S307中，MCU23分别将变量m以及k的值增加1个，再返回到步骤S283。另一方面，在步骤S309中，如果变量k的值相等于变量“K”，MCU23进入步骤S311，否则进入步骤S313。在步骤S313中，MCU23将“0”代入变量m。在步骤S315中，MCU23分别将变量k以及n的值增加1个，再进入步骤S283。

在步骤S311中，MCU23将变量K的值代入变量J，进入图21的步骤S331。

图20的处理，关于二次候选领域是为了求出存储“1”的数组Vc[Y][k]的上端的要素号码Y(Y坐标)，以及，存储“1”的数组Vc[Y][k]的下端的要素号码Y(Y坐标)的处理。

通过上述的处理，MCU23扫描各一次候选领域，决定二次候选领域(参照图5(b))。

图24是表示图14的步骤S9的触发检测过程(剑)的流程图。参照图24，在步骤S441中，MCU23清除触发标志。对触发标志作表示所发生触发的种类的信息的设定。在步骤S443中，MCU23实行盾触发的检测处理。在步骤S445中，MCU23实行特别触发的检测处理。在步骤S447中，MCU23实行挥动触发的检测处理。

图25是表示图24的步骤S443的盾触发的检测过程的流程图。参照图25，在步骤S461中，MCU23比较回归反射薄片的面积C[0]与阈值Tha1。在步骤S463中，如果面积C[0]比阈值Tha1大，MCU23判断回归反射薄片4A被摄像了，进入步骤S465，否则进入步骤S467。在步骤S465中，MCU23将变量Q0的值增加1个。在步骤S469中，如果变量Q0的值相等于“5”，即如果回归反射薄片4A连续地5次被摄像了，MCU23进入步骤S471，否则返回到图24的程序。另一方面，在步骤S467中，MCU23将“0” 分别代入变量Q0、ΔX、ΔY以及r，返回到图24的程序。

在步骤S471中，MCU23将触发标志设定为表示“盾”的值(盾触发发生)。在步骤S473中，MCU23将mxX[0]-mnX[0](即，候选领域的水平方向的边长)代入变量ΔX，将mxY[0]-mnY[0](即，候选领域的垂直方向的边长)代入变量ΔY。在步骤S475中，MCU23根据下面式求出比r。

r←ΔX/ΔY

在步骤S477中，MCU23依据比r将剑3A-N的倾斜度归类于倾斜B0至B2中任何一个，进行登记(存储)。在步骤S479中，MCU23将“0”代入变量Q0，返回到图24的程序。

图26以及图27是表示图24的步骤S445的特别触发检测过程的流程图。参照图26，在步骤S501中，如果第2标志为“开”，MCU23进入图27的步骤S561，如果第2标志为“关”，MCU23进入步骤S503。在步骤S503中，如果第1标志为“开”，MCU23进入步骤S511，如果第1标志为“关”，MCU23进入步骤S505。

在步骤S505中，如果在上次以及此次中触发标志设定为“盾”，MCU23进入步骤S507，否则返回到图24的程序。在步骤S507中，MCU23将第1标志设为“开”。在步骤S509中，MCU23开始第1定时器，返回到图24的程序。

在步骤S511中，MCU23参照第1定时器，如果第1预定时间经过了，MCU23进入步骤S541，否则进入步骤S513。在步骤S513中，MCU23比较回归反射薄片的面积C[0]与阈值Tha1。在步骤S515中，如果面积C[0]比阈值Tha1大，MCU23判断回归反射薄片4A被检测出，进入步骤S517，否则进入步骤543。在步骤S517中，MCU23将变量Q1的值增加1个。

在步骤S523中，如果变量Q1的值相等于“5”，即如果回归反射薄片4A连续地5次被检测出，MCU23进入步骤S525，否则返回到图24的程序。在步骤S525中，MCU23依据回归反射薄片4A的现在以及过去的4个像IM0至IM4XY的坐标(Xr,Yr)，计算速度矢量V0至V3。在步骤S527中，MCU23分别将速度矢量V0至V3归类于方向A0至A7中的一个。在步骤S529中，如果速度矢量V0至V3都归类于同一方向A1，MCU23进入步骤S531，否则返回到图24的程序。

在步骤S531中，MCU23比较各速度矢量V0至V3与阈值Thv2的大小。在步骤S535中，如果速度矢量V0至V3的大小都比阈值Thv2大，MCU23进入步骤S537，否则返回到图24的程序。在步骤S537中，MCU23将第2标志设为“开”。在步骤S539中，MCU23开始第2定时器，返回到图24的程序。

在步骤S541中，MCU23对第1定时器和第1标志复位。在步骤S543中，MCU23将“0”代入变量Q1，返回到图24的程序。

参照图27，在步骤S561中，MCU23参照第2定时器，如果第2预定时间经过了，MCU23进入步骤S571，否则进入步骤S563。在步骤S571中，MCU23对第1定时器、第2定时器、第1标志和第2标志复位。在步骤S573中，MCU23分别将“0”代入变量Q1及Q2，返回到图24的程序。

另一方面，在步骤S563中，MCU23比较回归反射薄片的面积C[0]与阈值Tha1。在步骤S565中，如果面积C[0]是阈值Tha1以下，MCU23判断回归反射薄片4B被检测出，进入步骤S567，否则进入步骤573。在步骤S567中，MCU23将变量Q2的值增加1个。

在步骤S569中，如果变量Q2的值相等于“5”，MCU23判断回归反射薄片4B连续地5次被检测出，进入步骤S575，否则返回到图24的程序。在步骤S575中，MCU23依据回归反射薄片4B的现在及过去的4个图像IM0至IM4的XY坐标(Xr,Yr)，计算速度矢量V0至V3。在步骤S577中，MCU23分别将速度矢量V0至V3归类于方向A0至A7中的一个。在步骤S529中，如果速度矢量V0至V3都归类于同一方向A0，MCU23进入步骤S581，否则返回到图24的程序。

在步骤S581中，MCU23比较各速度矢量V0至V3与阈值Thv3的大小。在步骤S583中，如果速度矢量V0至V3的大小都比阈值Thv2大，MCU23进入步骤S585，否则返回到图24的程序。在步骤S585中，MCU23将触发标志设定为表示“特别”的值(特别触发发生)。在步骤S587中，MCU23对第1定时器、第2定时器、第1标志和第2标志复位。在步骤S589中，MCU23分别将“0”代入变量Q1及Q2代，进入图14的步骤S11。

图28是表示图24的步骤S447的挥动触发检测过程的流程图。参照图28，在步骤S601中，MCU23比较回归反射薄片的面积C[0]与阈值Tha1。在步骤S603中，如果面积C[0]是阈值Tha1以下，MCU23判断回归反射薄片4B被检测出，进入步骤S605，否则进入步骤631。在步骤S631中，MCU23将“0”代入变量Q3，进入步骤S627。在步骤S605中，MCU23将变量Q3的值增加1个。

在步骤S607中，如果变量Q3的值相等于“5”，MCU23判断回归反射薄片4A连续地5次被摄像了，进入步骤S609，否则返回到图24的程序。在步骤S609中，MCU23依据回归反射薄片4B的现在及过去的4个图像IM0至IM4的XY坐标(Xr,Yr)，计算速度矢量V0至V3。在步骤S611中，MCU23分别将速度矢量V0至V3归类于方向A0至A7中的一个。在步骤S613中，如果速度矢量V0至V3都归类于同一方向，MCU23进入步骤S615，否则进入步骤S627。

在步骤S615中，MCU23登记(存储)速度矢量V0至V3的方向。在步骤S617中，MCU23比较各速度矢量V0至V3与阈值Thv1的大小。在步骤S619中，如果速度矢量V0-V3的大小比阈值Thv1大，MCU23判断剑3A-N被挥动，进入步骤S621，否则进入步骤S627。在步骤S621中，MCU23将触发标志设定为“挥动”的值(挥动触发发生)。在步骤S623中，MCU23按照5个图像IM0至IM4中的中央的像IM2的XY坐标，求出挥动位置，再登记(存储)。该情况下，如图9(a)至图9(h)所示，MCU23对于各挥动方向A0至A7，将挥动位置归类于其7个位置中的一个。在步骤S625中，MCU23将“0”代入变量Q3。

在步骤S627中，如果触发标志不设定为“盾”，MCU23进入步骤S629，如果触发标志设定为“盾”，返回到图24的程序。在步骤S629中，MCU23将触发标志设定为“待命”，返回到图24的程序。

图29以及30是表示图14的步骤S9的触发检测过程(按照魔杖)的流程图。参照图29，MCU23一边更新变量q，一边重复在步骤S651和步骤S683之间的处理。在步骤S653中，如果第q标志为“开”，MCU23进入步骤S683，如果第q标志为“关”，MCU23进入步骤S655。在步骤S655中，MCU23参照第3定时器，如果第3预定时间经过了，MCU23进入步骤S657，否则进入步骤S661。

在步骤S657中，MCU23对第3定时器复位。在步骤S659中，MCU23将第1至第8标志设定为“关”，并且，将“0”代入变量Q4，再进入图30的步骤S715。

在步骤S661中，如果面积C[0]比“0”大，即如果回归反射薄片4A被检测出，MCU23进入步骤S665，否则进入步骤S663。在步骤S663中，MCU23将“0”代入变量Q4，进入图30的步骤S715。

在步骤S665中，MCU23将变量Q4的值增加1个。在步骤S667中，如果变量Q4的值相等于“3”，即回归反射薄片4A被检测出，MCU23进入步骤S665，否则进入步骤S663。

在步骤S669中，MCU23依据回归反射薄片4C的现在及过去的2回的图像IM0至IM4的XY坐标(Xr,Yr)，计算速度矢量V0及V2。在步骤S671中，MCU23分别将速度矢量V0及V2归类于方向A0至A7中的一个。步骤S673，如果速度矢量V0及V1都归类于同一方向SD，MCU23进入步骤S675，否则进入图30的步骤S715。

另外，方向SD上，对于q=1至9，分别被分割为方向A2、A7、A0、A5、A3、A6、A1、A4以及A2。

在步骤S675中，MCU23将第q标志设为“开”。在步骤S677中，MCU23将“0”代入变量Q4。在步骤S679中，如果变量q的值是“1”，MCU23为了开始第3定时器，进入步骤S681，否则进入图30的步骤S715。在步骤S681中，MCU23开始第3定时器，进入图30的步骤S715。

参照图30，在步骤S701中，如果第9标志为“开”，MCU23进入步骤S717，如果第9标志为“关”，MCU23进入步骤S703。在步骤S703中，MCU23计算将第1标志至第9标志设为“开”的回归反射薄片4C的9个图像的X坐标Xr中最大坐标X1和最小坐标X0的差ΔX，以及，该9个图像的Y坐标的Yr中最大坐标Y1和最小坐标Y0的差ΔY(参照图11(ａ))。

在步骤S705中，MCU23将“ΔX+ΔY”代入变量s。在步骤S707中，如果变量s的值超过于一定值，MCU23进入步骤S709，否则进入步骤S713。在步骤S713中，MCU23将第1至第9标志设为“关”，并且，分别将“0”代入变量Q4及Q5，并且，对第3定时器复位。

在步骤S709中，MCU23将第10标志设为“开”。在步骤S711中，MCU23开始第4定时器，进入步骤S715。在步骤S715中，MCU23将触发标志设定为“待命”，返回到图14的程序。

在步骤S717中，如果第10标志为“开”，MCU23进入步骤S719，如果第10标志为“关”，MCU23进入步骤S739。在步骤S719中，MCU23比较面积C[0]与阈值Tha1。在步骤S565中，如果面积C[0]比0大，即如果回归反射薄片4C被摄像了，MCU23进入步骤S721，否则进入步骤S742。在步骤S742中，MCU23将“0”代入变量Q5。另一方面，在步骤S721中，MCU23将变量Q5的值增加1个。

在步骤S723中，如果变量Q5的值相等于“3”，即，如果回归反射薄片4c连续地3次被检测出，MCU23进入步骤S725，否则进入步骤S715。在步骤S725中，MCU23依据回归反射薄片4C的现在及过去的2次的图像IM0至IM2的XY坐标(Xr,Yr)，计算速度矢量V0及V1。在步骤S727中，MCU23分别将速度矢量V0及V1归类于方向A0至A7中的一个。在步骤S729中，如果速度矢量V0及V1都归类于同一方向A0，MCU23进入步骤S731，否则进入步骤S715。

在步骤S731中，MCU23比较各速度矢量V0及V1与阈值Thv4的大小。在步骤S733中，如果速度矢量V0及V1的大小都比阈值Thv4大，MCU23进入步骤S735，否则进入步骤S715。在步骤S735中，MCU23将触发标志设定为“特别”(特别触发的发生)。在步骤S737中，MCU23将第1至第10标志设为“关”，并且，分别将“0”代入变量Q4及Q5，并且，对第3及第4定时器复位，在返回到图14的程序。

在步骤S739中，MCU23参照第4定时器，如果第4预定时间经过了，MCU23进入步骤S741，否则进入步骤S715。在步骤S741中，MCU23将第1至第9标志设为“关”，并且，分别将“0”代入变量Q4及Q5，并且，对第3及第4定时器复位，在进入步骤S715。

图31是表示图14的步骤S9的触发检测过程(按照弩3C-N)的流程图。参照图31，在步骤S761中，如果表示差分图像上映射的回归反射薄片数量的变量SN的值是“1”，MCU23判断有可能回归反射薄片4G被摄像了，进入步骤S763，否则进入步骤S767。在步骤S763中，MCU23分别将“0”代入后述的变量Q6及Q7。在步骤S765中，MCU23实行蓄力触发的检测处理。

在步骤S767中，如果变量SN的值为“2”，MCU23判断回归反射薄片4E及4F被摄像了，进入步骤S769，否则进入步骤S773。在步骤S769中，MCU23实行盾触发的检测处理。在步骤S771中，MCU23实行开关触发的检测处理，再返回到图14的程序。

在步骤S773中，MCU23分别将“0”代入变量Q6及Q7。在步骤S775中，如果变量SN的值为“2”，MCU23判断回归反射薄片4E及4F被摄像了，进入步骤S769否则进入步骤S773。在步骤S777中，MCU23进行射击触发的检测处理。在步骤S779中，MCU23将触发标志设定为“待命”，返回到图14的程序。

图32是表示图31的步骤S765的蓄力触发检测过程的流程图。参照图32，在步骤S801中，MCU23比较回归反射薄片的面积C[0]与阈值Tha2。在步骤S803中，如果面积C[0]比阈值Tha2大，MCU23判断回归反射薄片4G被摄像了，进入步骤S805，否则进入步骤S807。在步骤S805中，MCU23将触发标志设定为“蓄力”(蓄力触发的发生)返回。在步骤S807中，MCU23将触发标志设定为“待命”，返回到图14的程序。

图33是表示图31的步骤S769的盾触发检测过程的流程图。参照图33，在步骤S821中，MCU23判断回归反射薄片4E及4F被摄像了，依据其XY坐标(Xr,Yr)，计算连接其两点的直线的倾斜度T1。在步骤S823中，MCU23计算其XY坐标(Xr,Yr)的中点，再登记(存储)。在步骤S825中，如果倾斜T1比一定值大，MCU23进入步骤S827，否则返回到图31的程序。在步骤S827中，MCU23将触发标志设定为“盾”(盾触发的发生)，进入图14的步骤S11。

图34是表示图31的步骤S771的开关触发的检测过程的流程图。参照图34，在步骤S851中，MCU23判断回归反射薄片4E及4F被摄像了，计算其XY坐标(Xr,Yr)的中点，再登记(存储)。在步骤S853中，如果一定的标志为“开”，MCU23进入步骤S873，如果为“关”，MCU23进入步骤S855。

在步骤S855中，MCU23将变量Q6的值增加1个。在步骤S81中，如果变量V[Y]的值是“1”，MCU23进入步骤S87，否则进入步骤S85。在步骤S859中，MCU23按照在步骤S851中求出了的中点，计算4个速度矢量。在步骤S861中，MCU23分别将4个速度矢量归类于方向A0至A7中的一个。在步骤S863中，如果速度矢量都归类于方向A1，MCU23进入步骤S865，否则进入步骤S871。

在步骤S865中，如果速度矢量的大小都超过阈值Thv5，MCU23进入步骤S867，否则进入步骤S871。在步骤S867中，MCU23将一定的标志设为“开”。在步骤S869中，MCU23开始第5定时器，再进入步骤S871。在步骤S871中，MCU23将触发标志设定为“待命”，返回到图14的程序。

在步骤S873中，MCU23参照第5定时器，如果第5预定时间过去了，MCU23进入步骤S891，否则进入步骤S875。在步骤S891中，MCU23分别将“0”代入变量Q6及Q7，并且，将预定标志设为“关”，并且，对第5定时器复位，再进入步骤S871。

在步骤S875中，MCU23将变量Q7的值增加1个。在步骤S877中，如果变量Q7的值是“5”，MCU23进入步骤S879，否则进入步骤S871。在步骤S879中，MCU23按照在步骤S851中求出了的中点，计算4个速度矢量。在步骤S881中，MCU23分别将4个速度矢量归类于方向A0至A7中的一个。在步骤S863中，如果速度矢量都归类于方向A0，MCU23进入步骤S885，否则进入步骤S871。在步骤S885中，如果速度矢量的大小都超过阈值Thv6，MCU23进入步骤S887，否则进入步骤S871。在步骤S887中，MCU23将触发标志设定为“开关”的值(开关触发的发生)。在步骤S889中，MCU23分别将“0”代入变量Q6及Q7，并且，将预定标志设为“关”，并且，对第5定时器复位，再返回到图31的程序。

图35是表示图31的步骤S777的射击触发检测过程的流程图。参照图35，在步骤S911中，MCU23计算回归反射薄片4E和4F的中点坐标，在登记(存储)。在步骤S913中，MCU23求出3个回归反射薄片4D、4E和4F的面积C[0]、C[1]以及C[2]的差|C[0]-C[1]|、|C[1]-C[2]|以及|C[2]-C[0]|。

在步骤S915中，MCU23计算面积的差最小的2个回归反射薄片的面积的平均值。在步骤S917中，MCU23计算在步骤S915中计算了的平均值和最大面积的回归反射薄片的面积的差。在步骤S919中，如果在步骤S917中计算了的差比一定值大，MCU23判断面积最大的回归反射薄片是回归反射薄片4G，进入步骤S921，否则进入步骤S923。在步骤S921中，MCU23将触发标志设定为“蓄力”(蓄力触发的发生)。在步骤S923中，MCU23检查回归反射薄片4E和4F是否满足盾触发的发生条件。

在步骤S925中，如果满足盾触发的生成条件，MCU23进入步骤S927，否则进入步骤S929。步骤S927，MCU23将触发标志设定为“盾”(盾触发的发生)，在返回到图31的程序。

在步骤S929中，如果上次MCU23检测的2个回归反射薄片是回归反射薄片4E和4F，MCU23进入步骤S931，否则进入步骤S933。在步骤S931中，MCU23将触发标志设定为“射击”(射击触发的发生)，在返回到图31的程序。在步骤S933中，MCU23将触发标志设定为“待命”，返回到图31的程序。

如上所述，在本实施例中，与以往不同，照相机单元1-N对终端5-N发送的不是摄像图像，而是其分析结果的操作物3-N的输入信息(操作物3-N(回归反射薄片4)的状态信息)，即用户的输入信息。因此，即使在游戏程序员看来，作为输入装置利用照相机单元1-N，不需要编制分析摄像图像的程序，可以与键盘等一般的输入装置的同样地使用照相机单元1-N。其结果，可以提供一种，在游戏程序员看来，作为输入装置易于使用的照相机单元1。进而，可以简易地实现在线游戏（体感型在线游戏），其把在三维空间中移动操作物的高效能的动作作为输入例如。

另外，照相机单元1-N对终端5-N发送操作物3-N，即回归反射薄片4的状态信息，例如XY坐标(Xr,Yr)和面积信息。因此，终端5-N可以依据操作物3-N的状态信息进行处理。例如，终端5显示光标在显示器7上，其位置对应操作物3-N的XY坐标(Xr,Yr)。

并且，照相机单元1-N作为命令对终端5-N发送操作物3-N即回归反射薄片4的状态信息。因此，终端5-N可以进行处理，其依据与操作物3-N的状态信息对应的命令。例如，照相机单元1对终端5发送的命令是挥动触发(运动信息)、盾触发(要是剑3A-N的话，面积信息，要是弩3C-N的话，配置信息)、特别触发(要是剑3A-N的话，面积信息和运动信息、要是魔杖3B-N的话，运动信息)、蓄力触发(面积信息)、开关触发(运动信息)以及射击触发(数信息)。

例如，终端5-N对应挥动触发在显示器7上显示剑轨迹。例如，终端5-N对应盾触发，在显示器7上显示盾图像。例如，终端5-N对应来自剑3A-N的特别触发，在显示器7上显示第1预定效果。例如，终端5-N对应来自魔杖3B-N的特别触发在显示器7上显示第2预定效果。例如，终端5-N对应蓄力触发蓄游戏角色的能量。例如，终端5-N对应开关触发转换箭的发射方式(连射或单发)。例如，终端5-N对应射击触发在显示器7上发射箭。

另外，在本实施例中，即使回归反射薄片4超过3个，也能求出它们的状态信息，并且，如果回归反射薄片4是1个或2个，能省却图18至图20的处理(为了决定二次候选领域的处理)，因此可以减轻处理的负荷。

产业上的利用可能性

本发明可以普遍作为用户界面利用。例如，可以利用在将人的身体的活动作为输入的视频游戏等。

同时，本发明不仅仅限于上述实施例，在不脱离其要点的范围内可以在多种形态下实施，例如，可以实施下列的变形。

(1)在上述实施例中，虽然照相机单元1适用了对在线游戏,也可以适用离线游戏即独立游戏。

(2)在上述实施例中，虽然电脑主机31提供在线游戏,不过，不通过电脑主机31，终端5-N之间也可以互相直接交换状态信息，也可以进行在线游戏。

(3)上述弩3C-N，设计为扣下扳机51时开启盖49的构造。但是，也可以设计为不扣扳机51时盖49开启，扣下扳机51时盖49关闭的构造。

(4)在操作物上可以安装；第1回归反射薄片；第2回归反射薄片；以及转换单元，其在第1回归反射薄片和第2回归反射薄片之间使曝光及非曝光状态逆转地，转换第1回归反射薄片和第2回归反射薄片的状态。

该情况下，第1回归反射薄片和第2回归反射薄片的曝光及非曝光状态相逆，因此，照相机单元1可以依据各自的摄像图像检测有无来自操作物的输入及/或输入形态。同时，照相机单元1也可以依据第1回归反射薄片和第2回归反射薄片的曝光及非曝光的转换，检测有无来自操作物的输入及/或输入形态。

(5)在上述实施例中，照相机单元1用频闪观测器(红外发光二极管11的亮灭)产生差分图像DI，检测了回归反射薄片4。但是，这只是表示了适宜的例子，不是本发明的必需要素。即，照相机单元1也可以不需要使红外发光二极管11忽亮忽灭，并且，也可以不需要红外发光二极管11。照射光可以不限于红外光。另外，回归反射薄片4也不是本发明的必须要素，本发明只要可以分析摄像图像检测出操作物3-N即可。摄像元件不限于图像传感器，CCD等其他的摄像元件可以使用。

上述，通过实施例对本发明进行了说明，但是所属技术领域的技术人员仍能认识到本发明并不限定于所述的实施例。本发明可以在权利要求的思想和范围内做出改变和形式变化后予以实施。

Claims

1.一种与计算机另为一体的摄像装置，其具有:摄像单元，其摄像用户操作的操作物；检测单元，其分析上述摄像单元发出的摄像图像，检测由上述操作物的输入，产生输入信息；发送单元，其对上述计算机发送上述输入信息。

2.根据权利要求1所述的摄像装置，其特征在于：上述检测单元分析上述摄像图像计算上述操作物的状态信息，将上述状态信息作为上述输入信息发送给上述发送单元。

3.根据权利要求2所述的摄像装置，其特征在于：上述操作物的上述状态信息是位置信息,速度信息、移动方向信息、移动距离信息、速度矢量信息、加速度信息、移动轨迹信息、面积信息、倾斜信息、运动信息、或形态信息中的任一个、或它们的两个以上的组合。

4.根据权利要求2或3所述的摄像装置，其特征在于：上述操作物的上述状态信息是安装在上述操作物上的单个或多个的标识的状态信息。

5.根据权利要求2至4中的任意一项所述的摄像装置，其特征在于：上述发送单元作为命令对上述计算机发送上述状态信息。

6.根据权利要求1至5中的任意一项所述的摄像装置，其特征在于：还具有以预先决定的周期对上述操作物照射光的频闪观测器；上述摄像单元包含差分信号产生单元，其在上述频闪观测器点灯时以及熄灭时，分别摄像上述操作物，取得点灯时图像以及熄灭时图像，产生上述点灯时图像和上述熄灭时图像的差分信号。

7.根据权利要求1至6中的任意一项所述的摄像装置，其特征在于：上述操作物包含回归反射单元，其对射来的光进行回归反射。

8.根据权利要求4所述的摄像装置，其特征在于，上述检测单元包含:第1候选领域决定单元，其按照上述摄像单元取得的上述摄像图像，决定包含上述标识图像的、由比上述摄像图像的像素少的像素组成的一次候选领域；第1状态计算单元，其当上述标识的数是1个或2个时，扫描上述一次候选领域，计算上述标识的上述状态信息；第2候选领域决定单元，其当上述标识的数至少是3个时，从上述一次候选领域中决定包含上述标识的像的、由比上述一次候选领域的像素少的像素组成的二次候选领域；第2状态计算单元，其当上述标识的数至少是3个时，扫描上述二次候选领域，计算上述标识的上述状态信息。

9.一种在线游戏系统，其具有多个摄像装置，该摄像装置各连接对应的终端，与该对应的终端另为一体，通过将上述终端经网络互相连接，互相交换上述输入信息，从而进行游戏，其中上述摄像装置，还包含：摄像单元，其摄像用户操作的操作物；检测单元，其分析上述摄像单元发出的摄像图像，检测由上述操作物的输入，产生输入信息；发送单元，其对上述计算机发送上述输入信息。

10.一种操作物，其为摄像装置的拍照对象，为由用户持有并能够施加运动的操作物，其具有：多个反射单元；以及转换单元，其至少转换1个上述反射单元的曝光状态或非曝光状态，其中，维持其他的至少1个上述反射单元在曝光状态。

11.一种操作物，其为摄像装置的拍照的对象，其为由用户持有并能够施加运动的操作物，其具有：第1反射单元；第2反射单元；以及转换单元，其在上述第1反射单元和上述第2反射单元之间，使曝光及非曝光状态逆转地转换上述第1反射单元及上述第2反射单元的状态。

12.根据权利要求10或11所述的操作物，其特征在于上述反射单元对射来的光进行回归反射。

13.一种输入方法，其是被与计算机另为一体地设置的摄像装置执行的输入方法，该输入方法包含以下步骤：用户摄像操作的操作物的步骤；分析在上述摄像步骤中取得的上述摄像图像，检测来自上述操作物的输入，产生输入信息的步骤，向上述计算机发送上述输入信息的步骤。

14.一种计算机可读的记录媒体，其记录了电脑程序，其使安装了摄像装置的计算机执行权利要求13所述的输入方法。

15.一种图像分析装置，其具有：摄像单元，其摄像单个或多个的拍照对象；第1候选领域决定单元，其按照上述摄像单元取得的图像，决定包含上述拍照对象的图像的、由比上述摄像图像的像素少的像素组成的一次候选领域；第1状态计算单元，其当上述拍照对象的数是1个或2个时，扫描上述一次候选领域，计算上述拍照对象的上述状态信息；第2候选领域决定单元，其当上述拍照对象的数至少是3个时，从上述一次候选领域中决定包含上述拍照对象的图像的、由比上述一次候选领域的像素少的像素组成的二次候选领域；第2状态计算单元，其当上述拍照对象的数至少是3个时，扫描上述二次候选领域，计算上述拍照对象的上述状态信息。

16.根据权利要求15所述的图像分析装置，其特征在于，上述第1候选领域决定单元包含：第1数组单元，其产生第1数组，其是对上述图像中的像素值的水平轴的正投影；第2数组单元，其产生第2数组，其是对上述图像中的像素值的垂直轴的正投影；依据上述第1数组及上述第2数组决定上述一次候选领域的单元；上述第2候选领域决定单元包含：第3数组单元，其产生第3数组，其是对上述一次候选领域的像素值的水平轴的正投影；第4数组单元，其产生第4数组，其是对上述一次候选领域中的像素值的垂直轴的正投影；依据上述第3数组及上述第4数组决定上述二次候选领域的单元。

17.根据权利要求15或16所述的图像分析装置，其特征在于：还具有以预先决定的周期对上述操作物照射光的频闪观测器；其中，上述摄像单元包含差分信号产生单元，其分别在上述频闪观测器点灯时以及熄灭时，摄像上述操作物，取得点灯时图像以及熄灭时图像，产生上述点灯时图像和上述熄灭时图像的差分信号；其中，上述第1候选领域决定单元、上述第1状态计算单元、上述第2候选领域决定单元、以及上述第2状态计算单元，都依据上述差分信号执行处理。

18.一种图像分析方法，是基于来自摄像单个或多个拍照对象的摄像装置取得的图像，该图像分析方法包含以下步骤：按照上述图像，决定一次候选领域的步骤，该一次候选领域包含上述拍照对象的图像、由比上述图像的像素少的像素组成；当上述拍照的对象的数是1个或2个时，扫描上述一次候选领域、计算上述拍照对象的上述状态信息的步骤；当上述拍照对象的数至少是3个时，从上述一次候选领域中决定包含上述拍照对象的图像、由比上述一次的候选领域的象素少的像素组成的二次的候选领域的步骤；当上述拍照对象的数至少是3个时，扫描上述二次候选领域，计算上述拍照对象的上述状态信息的步骤。

19.一种计算机可读的记录媒体，其记录了电脑程序，其使安装了摄像装置的计算机执行权利要求18所述的图像分析方法。