CN102024157A

CN102024157A - 信息处理装置、信息处理方法和信息处理程序

Info

Publication number: CN102024157A
Application number: CN2010102737692A
Authority: CN
Inventors: 酒井康雄
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2009-09-09
Filing date: 2010-09-02
Publication date: 2011-04-20
Anticipated expiration: 2030-09-02
Also published as: US9152886B2; US20110058028A1; JP2011081763A; CN102024157B

Abstract

本发明提供了信息处理装置、信息处理方法和信息处理程序。一种信息处理装置包括：存储单元，在存储介质中存储表示作为被摄物的多个人物之间的关系的人物关系信息；获取单元，获取通过拍摄作为被摄物的人物而生成的图像数据；检测单元，检测基于由获取单元获取的图像数据的图像中的每个人物；确定单元，确定由检测单元从图像中检测到的每个人物；以及判定单元，判定由检测单元从图像中检测到的多个人物之间的关系，其中，当由检测单元从图像中检测到的多个人物之中的至少一个人物被确定而另一人物未能被确定时，确定单元基于由判定单元判定的多个人物之间的关系和存储在存储介质中的人物关系信息来确定另一人物。

Description

信息处理装置、信息处理方法和信息处理程序

技术领域

本发明涉及信息处理装置、信息处理方法和信息处理程序。本发明可理想地应用到例如数字摄像机或打印装置。

背景技术

已知的图像分类设备从每个积累和存储的图像中检测人物的脸部部分，并且还提取检测到的脸部部分作为脸部图像。另外，图像分类设备基于脸部图像的特征点，按人物对图像分类。

图像分类设备在图像再现模式中显示各个人物的脸部图像的列表，如果在此状态中期望人物作为脸部图像被选择，那么根据该选择检索期望人物的图像，并且以缩略图的形式显示图像的列表(例如，参见JP-A-2008-71112(第11至17页以及图6和7))。

发明内容

当一个人变为成人时，脸部外观几乎不会随着年岁的流逝而变化。同时，当一个人从孩童成长为成人时，脸部外观往往会在成长期间变化。

实际上，即使在同一人物的情况下，如果该人孩童时代的脸部和该人变为成人后的脸部以脸部图像的特征点的形式被相互比较，那么这些脸部被判定为不同人物的脸部。即，脸部外观可能在成长期间变化。

如上配置的图像分类设备仅通过使用脸部图像的特征点来确定各个人物。因此，当一个人孩童时代的图像和该人变为成人后的图像被存储时，该图像分类设备可能基于该人孩童时代的脸部图像的特征点和该人变为成人后的脸部图像的特征点而将这些图像分类成不同人物的图像。

从而，即使当同一人物在不同图像中时，如果该人的脸部外观变化，那么图像分类设备可能不能准确地检索出同一人物的图像。

因此，希望提供一种能够准确地检索出同一人物的图像的信息处理装置、信息处理方法和信息处理程序。

根据本发明的一个实施例，获取通过拍摄作为被摄物的人物而生成的图像数据，并且检测基于所获取的图像数据的图像中的每个人物。确定从图像中检测到的每个人物，并且判定从图像中检测到的多个人物之间的关系。当从图像中检测到的多个人物之中的至少一个人物被确定而另一人物未能被确定时，基于所判定的多个人物之间的关系和存储在存储介质中的表示作为被摄物的多个人物之间的关系的人物关系信息来确定另一人物。

因此，根据本发明的实施例，即使当从一图像中检测到的人物与从另一图像中检测到的人物是同一人物但脸部外观变化了时，也可以基于人物之间的关系把从该图像中检测到的人物与从另一图像中检测到的人物确定为同一人物。

根据本发明的实施例，如果获取了通过拍摄作为被摄物的人物而生成的图像数据，那么检测基于所获取的图像数据的图像中的每个人物，并且还判定从图像中检测到的多个人物之间的关系。然后，基于从图像中检测到的人物的数目和所判定的多个人物之间的关系来选择图像的打印份数。

因此，根据本发明的实施例，对于图像中的多个人物的每个群组，可以只打印一份图像，并且可以为不属于任何群组的人物单独打印图像。结果，可以为每个群组中的多个人物单独打印图像，防止了浪费打印的图像。

根据本发明的实施例，获取通过拍摄作为被摄物的人物而生成的图像数据，并且检测基于所获取的图像数据的图像中的每个人物。确定从图像中检测到的每个人物，并且还判定从图像中检测到的多个人物之间的关系。当从图像中检测到的多个人物之中的至少一个人物被确定而另一人物未能被确定时，基于所判定的多个人物之间的关系和存储在存储介质中的表示作为被摄物的多个人物之间的关系的人物关系信息来确定另一人物。因此，可以实现一种信息处理装置、信息处理方法和信息处理程序，即使当从图像中检测到的人物与从另一图像中检测到的人物是同一人物但脸部外观变化了时，它们也能够基于人物之间的关系把从该图像中检测到的人物与从另一图像中检测到的人物确定为同一人物，从而准确地检索同一人物的图像。

根据本发明的实施例，如果获取了通过拍摄作为被摄物的人物而生成的图像数据，那么检测基于所获取的图像数据的图像中的每个人物，并且判定从图像中检测到的多个人物之间的关系。基于从图像中检测到的人物的数目和所判定的多个人物之间的关系来选择图像的打印份数。因此，对于图像中的多个人物的每个群组，可以只打印一份图像，并且可以为不属于任何群组的人物单独打印图像。结果，可以为每个群组中的多个人物单独打印图像，从而防止了浪费打印的图像并且为每个群组或个人准确地打印了图像。

附图说明

图1是示出根据一个实施例的信息处理装置的电路配置的框图。

图2是按数字摄像机的硬件电路块示出电路配置的框图。

图3是按用于描述控制单元的功能的功能电路块示出电路配置的框图。

图4是按被摄物检测单元的功能电路块示出电路配置的框图。

图5是按人物关系判定单元的功能电路块示出电路配置的框图。

图6是示出亲密度数据库的配置的示意图。

图7是示出关系判定数据库的配置的示意图。

图8示出了用于描述发声数据的生成的示意图。

图9是示出人物登记信息的配置的示意图。

图10是用于描述利用人物关系信息确定人物的示意图。

图11是示出文件属性信息的配置的示意图。

图12是示出被摄人物确定处理过程的流程图。

图13是示出被摄物检测处理子过程的流程图。

图14是示出发声分析/关系推定处理子过程(1)的流程图。

图15是示出发声分析/关系推定处理子过程(2)的流程图。

图16是示出动作分析/关系推定处理子过程的流程图。

图17是示出关系判定处理子过程的流程图。

图18是示出人物确定处理子过程的流程图。

图19是示出人生影集创建处理过程的流程图。

图20是按打印装置的硬件电路块示出电路配置的框图。

图21是按用于描述控制单元的功能的功能电路块示出电路配置的框图。

图22是用于描述多个静止图像中多个人物之间的关系的示意图。

图23示出了用于描述多个静止图像中多个人物的组合的示意图。

图24是用于描述作为夫妻的人物A和人物B的静止图像的打印的示意图。

图25是用于描述人物C的静止图像的打印的示意图。

图26是示出份数选择/打印处理过程(1)的流程图。

图27是示出份数选择/打印处理过程(2)的流程图。

图28是示出份数选择/打印处理过程(3)的流程图。

图29是示出份数选择/打印处理过程(4)的流程图。

图30是示出份数选择/打印处理过程(5)的流程图。

具体实施方式

下面，将参考附图描述用于实现本发明的方式(以下称之为实施例)。将按以下顺序提供描述。

1.实施例概要

2.第一实施例

3.第二实施例

4.变体

<1.实施例概要>

首先，将描述实施例的概要。在描述概要之后，将提供对作为此实施例的具体示例的第一实施例和第二实施例的描述。

在图1中，标号1整体上表示根据该实施例的信息处理装置。在信息处理装置1中，存储单元2在存储介质3中存储表示作为被摄物的多个人物之间的关系的人物关系信息。存储介质3被结合到信息处理装置1中，或者被可移除地附接到信息处理装置1。

在信息处理装置1中，获取单元4获取通过拍摄作为被摄物的人物而生成的图像数据。在信息处理装置1中，检测单元5基于由获取单元4获取的图像数据来检测图像中的每个人物。

在信息处理装置1中，确定单元6确定由检测单元5从图像中检测到的每个人物。在信息处理装置1中，判定单元7判定由检测单元5从图像中检测到的多个人物之间的关系。

在信息处理装置1中，当由检测单元5从图像中检测到的多个人物中的至少一个人物被确定，而另一人物不能被确定时，确定单元6基于由判定单元7判定的多个人物之间的关系和存储在存储介质3中的人物关系信息来确定另一人物。

利用此配置，即使当从一图像中检测到的人物与从另一图像中检测到的人物是同一人物但脸部外观变化了时，信息处理装置1也可以基于人物之间的关系把从该图像中检测到的人物与从另一图像中检测到的人物确定为同一人物。因此，信息处理装置1可以准确地检索出同一人物的图像。

<2.第一实施例>

[2-1数字摄像机的电路配置]

接下来，将参考图2描述作为信息处理装置1(图1)的具体示例的数字摄像机10的按硬件电路块的电路配置。如图2所示，数字摄像机10例如具有由微处理器构成的控制单元11。

控制单元11执行对数字摄像机10的整体控制并且根据预先存储在内部存储器(未示出)中的各种程序来执行预定的运算处理。控制单元11加载根据对例如设置在数字摄像机10的外壳中的操作键12的操作而输入的输入信号，并且根据该输入信号执行各种处理。

作为操作键12，数字摄像机10的外壳设置有用于指示电源开/关的电源键以及用于指示开始和结束对拍摄的存储的拍摄存储键。

数字摄像机10的外壳还设置有用于指示切换操作模式的模式切换键、用于指示对由在拍摄被摄物时生成和存储的运动图像数据和声音数据构成的视频数据进行再现的再现键，等等。

实际上，如果电源键被操作以指示电源开启，那么控制单元11例如被加电并且在拍摄模式中被激活。如果用户在再现模式中操作模式切换键以指示将操作模式切换到拍摄模式，那么控制单元11被从再现模式切换到拍摄模式。

在拍摄模式中，控制单元11适当地驱动和控制其中设置有拍摄透镜13A、光圈快门、聚焦透镜等等的透镜单元13，以针对被摄物自动地调整焦点或曝光。

从而，在针对被摄物自动调整焦点或曝光的状态中，控制单元11通过透镜单元13在成像元件14的光接收表面处接收从包括被摄物的拍摄范围传入的成像光L1。成像元件14是CCD(电荷耦合器件)图像传感器、CMOS(互补金属氧化物半导体)图像传感器，等等。

此时，成像元件14在控制单元11的控制下，以预定的周期对在光接收表面处接收的成像光L1进行光电转换，以根据成像光L1顺次生成模拟成像信号。成像元件14还通过模数转换单元15将顺次生成的成像信号转换成数字成像数据并将数字成像数据发送给数字处理单元16。

数字处理单元16在每次成像数据通过模数转换单元15从成像元件14提供来时对成像数据执行预定的数字处理，例如降噪处理或斑点校正处理。从而，数字处理单元16基于从成像元件14顺次提供来的成像数据，生成构成运动图像的时间连续单位图像的单位图像数据。

数字处理单元16以这种方式基于成像数据顺次生成单位图像数据并且将所生成的单位图像数据的数据串作为用于拍摄状态确认的运动图像的运动图像数据发送到控制单元11。在以下描述中，用于拍摄状态确认的运动图像也被称为拍摄状态提示图像，并且拍摄状态提示图像的运动图像数据也被称为拍摄状态提示图像数据。

控制单元11把从数字处理单元16提供来的拍摄状态提示图像数据发送给显示单元17。显示单元17是液晶显示器、有机EL(电致发光)显示器等等。

从而，控制单元11在显示单元17上显示基于拍摄状态提示图像数据的拍摄状态提示图像(即，顺次切换基于单位图像数据的单位图像作为拍摄状态提示图像)。

这样，控制单元11可以连续地拍摄包括被摄物的拍摄范围并且在显示单元17上显示拍摄状态提示图像。控制单元11还可允许用户通过拍摄状态提示图像确认相对于被摄物的拍摄范围或构图以及诸如焦点之类的拍摄状态。

在拍摄模式中，如果用户操作拍摄存储键以指示开始存储，那么控制单元11开始存储对被摄物的拍摄，而如果用户再次操作拍摄存储键以指示结束存储，那么控制单元11结束拍摄存储。

在根据拍摄模式中用户对拍摄存储键的操作从拍摄存储开始直到拍摄存储结束的时段期间，控制单元11控制诸如数字处理单元16和编解码器18之类的各个单元，以便存储对被摄物的拍摄。

从而，在从存储开始直到存储结束的时段期间，数字处理单元16在每次成像数据从成像元件14提供来时以上述方式基于成像数据生成单位图像数据。然后，数字处理单元16将单位图像数据的数据串作为拍摄状态提示图像数据发送给控制单元11。

控制单元11在从存储开始直到存储结束的时段期间在显示单元17上显示拍摄状态提示图像。从而，控制单元11可允许用户在被摄物的拍摄存储期间通过拍摄状态提示图像确认被摄物的拍摄状态。

在从存储开始直到存储结束的时段期间，数字处理单元16在每次单位图像数据被顺次生成时依次向单位图像数据添加用于再现控制的时刻信息(即，时间码)。

数字处理单元16向编解码器18发送带有时刻信息的单位图像数据的数据串作为用于存储的运动图像的运动图像数据。在以下描述中，用于存储的运动图像也被称为存储运动图像，并且存储运动图像的运动图像数据也被称为存储运动图像数据。

数字摄像机10在外壳正面(未示出)设置有拍摄透镜13A。数字摄像机10在外壳正面的拍摄透镜13A的光轴的右侧和左侧还设置有用于收集数字摄像机10周围的声音的两个麦克风19和20。

数字摄像机10在外壳背面(未示出)还设置有用于收集数字摄像机10周围的声音的至少一个麦克风21。当数字摄像机10在外壳背面设置有一个麦克风21时，麦克风21例如被布置在外壳背面的中央。

在以下描述中，在设置于外壳正面的两个麦克风19和20中，当外壳正面朝着被摄物时位于右侧的麦克风19也被称为右麦克风19。

在以下描述中，在设置于外壳正面的两个麦克风19和20中，当外壳正面朝着被摄物时位于左侧的麦克风20也被称为左麦克风20。在以下描述中，设置于外壳背面的麦克风21也被称为后麦克风21。

右麦克风19在从存储开始直到存储结束的时段期间收集环境声以生成模拟声音信号(以下也称为右声音信号)。右麦克风19通过模数转换单元22将右声音信号转换成数字声音数据(以下也称为右声音数据)，并且将数字声音数据发送给控制单元11。

左麦克风20在从存储开始直到存储结束的时段期间收集环境声以生成模拟声音信号(以下也称为左声音信号)。左麦克风20通过模数转换单元23将左声音信号转换成数字声音数据(以下也称为左声音数据)，并且将数字声音数据发送给控制单元11。

后麦克风21在从存储开始直到存储结束的时段期间收集环境声以生成模拟声音信号(以下也称为后声音信号)。后麦克风21通过模数转换单元24将后声音信号转换成数字声音数据(以下也称为后声音数据)，并且将数字声音数据发送给控制单元11。

如果右声音数据、左声音数据和后声音数据被从右麦克风19、左麦克风20和后麦克风21提供来，那么控制单元11针对每个预定的单位对右声音数据、左声音数据和后声音数据分段。

控制单元11向右声音数据、左声音数据和后声音数据中每一个从头到尾的每个预定单位部分依次添加用于在再现时与存储运动图像数据同步的时刻信息。控制单元11把带有时刻信息的右声音数据、左声音数据和后声音数据发送给编解码器18。

编解码器18在从存储开始直到存储结束的时段期间按预定的压缩编码方法对从数字处理单元16提供来的存储运动图像数据进行压缩和编码，以生成压缩图像数据。

编解码器18在从存储开始直到存储结束的时段期间按预定的压缩编码方法对从控制单元11提供来的右声音数据、左声音数据和后声音数据进行压缩和编码以生成压缩右声音数据、压缩左声音数据和压缩后声音数据。

编解码器18在生成压缩图像数据、压缩右声音数据、压缩左声音数据和压缩后声音数据的同时执行时分复用以生成视频数据，并且将所生成的视频数据发送给控制单元11。

如果视频数据被从编解码器18提供来，那么控制单元11生成头部数据，头部数据中存储了视频数据的属性信息(以下也称为视频属性信息)。控制单元11将头部数据添加到视频数据的头部以生成视频文件。

实际上，如果视频数据被从编解码器18提供来，那么此时，控制单元11生成用于分别标识基于视频数据生成的视频文件的标识信息(例如，文件名)。在以下描述中，用于分别标识视频文件的标识信息也被称为文件标识信息。

控制单元11利用内部定时器计算当前日期和时刻。控制单元11检测存储开始时的日期和时刻作为被摄物被拍摄以便存储的拍摄日期和时刻。

在从存储开始直到存储结束的时段期间，控制单元11在通过GPS(全球定位系统)接收器25与用于GPS的卫星通信的同时，顺次检测在单位图像数据生成时刻数字摄像机10的位置。

在拍摄存储时顺次检测的数字摄像机10的位置由纬度和经度来表达。在以下描述中，在拍摄存储时顺次检测的数字摄像机10的位置也被称为拍摄位置。

在从存储开始直到存储结束的时段期间，控制单元11利用方向传感器26顺次检测在单位图像数据生成时刻数字摄像机10的拍摄透镜13A(即，成像光L1的入射表面)的方向。

在拍摄存储时顺次检测的数字摄像机10的拍摄透镜13A的方向由东、西、南、北来表达。在以下描述中，在拍摄存储时顺次检测的数字摄像机10的拍摄透镜13A的方向也被称为拍摄方向。在以下描述中，数字摄像机10的拍摄透镜13A朝着的那一侧被称为相机正面。

如果在单位图像数据的生成时刻顺次检测到一组拍摄位置和拍摄方向，那么控制单元11将该组检测到的拍摄位置和拍摄方向与添加到在检测时生成的单位图像数据的时刻信息相关联。

当视频文件被生成时，控制单元11在添加到视频数据的头部数据中存储作为视频属性信息的文件标识信息和表示拍摄日期和时刻的拍摄日期和时刻信息。控制单元11在头部数据中存储表示多组拍摄位置和拍摄方向以及相关联的时刻信息的拍摄位置/方向信息作为视频属性信息。

如果被摄物被拍摄并且视频文件被生成，那么控制单元11将所生成的视频文件发送给存储/再现单元27，并且存储/再现单元27将视频文件存储在存储介质28中。数字摄像机10拍摄的被摄物的示例包括诸如人物、动物和昆虫之类的生物、诸如山脉、河流和海洋这类的自然物、诸如建筑物和展示物之类的人造物，等等。

存储/再现单元27例如是结合到数字摄像机10中的硬盘驱动器，并且存储介质28是设置在该硬盘驱动器中的硬盘。

同时，如果用户在拍摄模式中操作模式切换键以指示将操作模式切换到再现模式，那么控制单元11根据该指示将操作模式从拍摄模式改变到再现模式。

如果在再现模式中操作再现键以指示再现期望的视频文件，那么控制单元11通过存储/再现单元27从存储介质28中读取用户选择的视频文件。控制单元11从视频文件中加载视频数据并且将所加载的视频数据发送给编解码器18。

如果视频数据被从控制单元11提供来，那么编解码器18将视频数据分离成压缩图像数据、压缩右声音数据、压缩左声音数据和压缩后声音数据，并且对压缩图像数据进行解压缩和解码以生成原始存储运动图像数据。

编解码器18对压缩右声音数据、压缩左声音数据和压缩后声音数据进行解压缩和解码以生成原始右声音数据、左声音数据和后声音数据。编解码器18将存储运动图像数据、右声音数据、左声音数据和后声音数据发送给控制单元11。

如果存储运动图像数据、右声音数据、左声音数据和后声音数据被从编解码器18提供来，那么控制单元11将存储运动图像数据发送给显示单元17。控制单元11基于右声音数据、左声音数据和后声音数据生成用于立体声音的右声道数据和左声道数据，并且将右声道数据和左声道数据发送给声音处理部件29。从而，控制单元11在显示单元17上显示基于存储运动图像数据的存储运动图像。

声音处理部件29对从控制单元11提供来的右声道数据和左声道数据执行预定的声音处理，例如数模转换处理和放大处理。声音处理部件29例如向一对立体声扬声器30和31发送通过声音处理获得的用于立体声音的右声道信号和左声道信号。

从而，与存储运动图像的显示同步地，控制单元11通过一对扬声器30和31输出基于右声道信号和左声道信号的立体声音。这样，控制单元11可允许用户观看在拍摄被摄物时生成和存储的存储运动图像，以及在拍摄时存储的数字摄像机10周围的声音(立体声音)。

[2-2被摄人物确定处理]

接下来，将描述被摄人物确定处理，其中，当作为被摄物的人物被拍摄并且视频文件被存储在存储介质28中时，基于视频文件来判定谁作为被摄物被拍摄。

例如，如果在被摄物在拍摄模式中被拍摄以便存储并且视频文件被存储在存储介质28中之后用户操作电源键以指示电源关断，那么控制单元11每次执行被摄人物确定处理。

此时，控制单元11根据预先存储在内部存储器中的被摄人物确定程序执行各种处理作为被摄人物确定处理，以实现各种功能。在以下描述中，为了方便，控制单元11根据被摄人物确定程序实现的各种功能被称为图3至5的功能电路块，并且控制单元11执行的各种处理被称为将由这些功能电路块执行的处理。

如果指示了电源关断，那么视频文件生成单元35把在从指示电源接通直到刚才指示电源关断的一系列操作期间存储在存储介质28中的一个或多个视频文件的文件标识信息顺次通知给存储/再现控制单元36。

每当文件标识信息被从视频文件生成单元35通知来时，存储/再现控制单元36就通过存储/再现单元27从存储介质28中读取由所通知的文件标识信息所标识的视频文件。存储/再现控制单元36将该视频文件发送给视频文件生成单元35。

每当视频文件被从存储/再现控制单元36提供来时，视频文件生成单元35就从该视频文件中加载视频数据并且将所加载的视频数据发送给编解码器18。视频文件生成单元35还从视频文件中加载被添加到视频数据的头部的头部数据。

此时，编解码器18以与再现模式中相同的方式，基于从视频文件生成单元35提供来的视频数据，生成原始存储运动图像数据和原始右声音数据、左声音数据和后声音数据。编解码器18把存储运动图像数据、右声音数据、左声音数据和后声音数据发送给视频文件生成单元35。

每当以这种方式读取视频文件时，视频文件生成单元35就利用编解码器18来获得原始存储运动图像数据、右声音数据、左声音数据和后声音数据。

每当以这种方式获得存储运动图像数据、右声音数据、左声音数据和后声音数据时，视频文件生成单元35就将存储运动图像数据与头部数据中存储的拍摄位置/方向信息一起发送给被摄物检测单元37。视频文件生成单元35还将头部数据发送给人物确定单元39。

如上所述，当基于存储运动图像数据中的存储运动图像的人物被检测到时，视频文件生成单元35将存储运动图像数据与右声音数据、左声音数据和后声音数据一起发送给人物关系判定单元38。

如图4所示，作为被摄人物确定处理的一部分，被摄物检测单元37通过分析存储运动图像以检测被摄物来执行被摄物检测处理。实际上，每当存储运动图像数据被从视频文件生成单元35提供来时，被摄物检测单元37就将存储运动图像数据加载到特征量提取单元45中。此时，被摄物检测单元37还把与存储运动图像数据一起从视频文件生成单元35提供来的拍摄位置/方向信息加载到被摄物推定单元46中。

对于构成存储运动图像数据的每条单位图像数据，特征量提取单元45执行用于从基于单位图像数据的单位图像中提取图像的特征量的特征量提取处理。实际上，特征量提取单元45存储表示人物的脸部的大致亮度分布和脸部的大致结构的图案的脸部信息。从而，特征量提取单元45基于脸部信息在单位图像中检测被假定为是人物的脸部的一个或多个区域(以下也称之为假定区域)。

如果在单位图像中检测到一个或多个假定区域，那么对于每个检测到的假定区域，特征量提取单元45生成表示假定区域在单位图像中的位置的区域位置信息。对于单位图像的每个假定区域，特征量提取单元45从假定区域中提取例如多个轮廓的形状、多个轮廓之间的位置关系以及颜色，作为图像的特征量。在以下描述中，从单位图像的每个假定区域中提取的图像的特征量被具体称为假定区域特征量。

如果以这种方式从单位图像的一个或多个假定区域中提取了假定区域特征量，那么对于每个假定区域，特征量提取单元45通过把从假定区域中提取的假定区域特征量与表示假定区域的位置的区域位置信息相关联来生成假定区域信息。

如果检测到一个或多个假定区域，那么特征量提取单元45从单位图像的除一个或多个假定区域以外的部分中提取例如多个轮廓的形状、多个轮廓之间的位置关系以及颜色，作为图像的特征量。在以下描述中，单位图像中除一个或多个假定区域以外的部分也被称为假定区域外部分。

如果在单位图像中没有检测到任何假定区域，那么特征量提取单元45从整个单位图像中检测例如多个轮廓的形状、多个轮廓之间的位置关系以及颜色，作为图像的特征量。在以下描述中，从单位图像的假定区域外部分提取的图像的特征量和从整个单位图像提取的图像的特征量被具体统称为区域外特征量。

特征量提取单元45例如将单位图像中的每个像素与周围像素顺次比较以检索出相同颜色的一系列像素。如果在单位图像中检测到相同颜色的一系列像素，那么特征量提取单元45例如通过字符识别方法来检测一系列像素是否是字符串。

结果，如果检测到单位图像中的一个或多个字符串，那么特征量提取单元45提取这些字符串作为文本。即，特征量提取单元45从单位图像中提取在单位图像中的标牌、横幅或姓名标签上绘出的一个或多个字符串来作为文本。

如果从单位图像中提取出一个或多个字符串，那么对于每个提取出的字符串，特征量提取单元45通过将每个字符串(即，文本)与表示字符串在单位图像中的提取位置的提取位置信息相关联来生成字符串提取信息。

这样，如果从单位图像中提取出区域外特征量或假定区域特征量和字符串，那么特征量提取单元45把区域外特征量或假定区域特征量和字符串提取信息与对应于用于提取的单位图像的时刻信息一起发送给被摄物推定单元46。

被摄物检测单元37预先存储地图数据库47和脸部特征数据库48，用于推定存储运动图像中的被摄物。被摄物检测单元37还预先存储名称数据库49，用于以字符串的形式检测存储运动图像中的事件的名称(以下也称为事件名称)或人物的姓名。

地图数据库47预先登记例如表示除人物以外的拍摄对象(比如国外或国内的建筑物、展示物、风景等等)的所在地(由纬度和经度表示的位置)的所在地信息。地图数据库47还把表示拍摄对象的所在地的地名的地名信息以字符串(例如，文本)的形式与表示拍摄对象的所在地的所在地信息相关联地登记。

地图数据库47还把表示拍摄对象的名称(以下也称为拍摄对象名称)的拍摄对象名称信息以字符串(例如，文本)的形式与表示拍摄对象的所在地的所在地信息相关联地登记。

地图数据库47还把基于拍摄对象的图像生成的拍摄对象特征量(形状或图案、其间的位置关系、颜色等等)与表示拍摄对象的所在地的所在地信息相关联地登记。拍摄对象特征量例如是通过基于从拍摄对象的多个图像中提取的图像的特征量进行学习而生成的。

脸部特征数据库48预先登记用于检测存储运动图像中的男性或女性的脸部的多类特征量(以下也称为脸部检测特征量)。脸部检测特征量包括关于脸部的形状、眼睛、鼻子、嘴巴、眉毛等等的信息、其间的位置关系等等。

用于检测男性的脸部的脸部检测特征量例如是通过基于从按年龄的多个男性的脸部的图像中提取的图像的特征量进行学习来生成的。用于检测女性的脸部的脸部检测特征量例如是通过基于从按年龄的多个女性的脸部的图像中提取的图像的特征量进行学习来生成的。

名称数据库49预先以字符串(即，文本)的形式登记诸如开学典礼、毕业典礼、运动会、表演会之类的各种事件的事件名称以及表示多个人物的姓名的多种名称信息。

如果区域外特征量与时刻信息一起被从特征量提取单元45提供来，那么被摄物推定单元46从拍摄位置/方向信息所表示的多组拍摄位置和拍摄方向中选择与该时刻信息相关联的一组拍摄位置和拍摄方向。

被摄物推定单元46通过利用所选择的那组拍摄位置和拍摄方向来设定用于搜索能够被该组拍摄位置和拍摄方向拍摄到的拍摄对象的搜索范围。此时，被摄物推定单元46例如将一扇形范围定义为搜索范围，该扇形范围以拍摄位置作为中心点，按照预定的半径和预定的中心角在拍摄方向上逐渐变宽。

被摄物推定单元46将搜索范围与地图数据库47中的所在地信息相比较，并且判定是否存在能够被此时选择的那组拍摄位置和拍摄方向拍摄的拍摄对象。

结果，如果在地图数据库47中检测到表示搜索范围中的所在地的所在地信息，那么被摄物推定单元46判定存在能够被用于设定的搜索范围的那组拍摄位置和拍摄方向拍摄的拍摄对象。

换言之，当基于搜索范围检测到所在地信息时，被摄物推定单元46判定拍摄对象有可能被拍摄并且拍摄对象有可能作为被摄物在单位图像中。

如果存在能够被该组拍摄位置和拍摄方向拍摄的拍摄对象，那么被摄物推定单元46从地图数据库47中读取与检测到的所在地信息相关联的拍摄对象特征量。

被摄物推定单元46基于区域外特征量和拍摄对象特征量执行预定的运算处理。从而，被摄物推定单元46计算准确度，该准确度表示整个单位图像中或者假定区域外部分中的被摄物有多大可能作为由拍摄对象特征量表示的拍摄对象。

被摄物推定单元46将计算出的准确度与预先选择的第一阈值相比较。结果，如果准确度等于或大于第一阈值，那么被摄物推定单元46推定整个单位图像或假定区域外部分中的被摄物是由拍摄对象特征量表示的拍摄对象。即，被摄物推定单元46检测到整个单位图像或假定区域外部分中作为被摄物的拍摄对象。

相反，如果准确度小于第一阈值，那么被摄物推定单元46判定整个单位图像或假定区域外部分中的被摄物不是拍摄对象特征量表示的拍摄对象。

如果拍摄对象例如是诸如大楼或桥梁之类的建筑物，那么绘出拍摄对象名称的标牌或板子可能被附着到该拍摄对象。如果拍摄对象例如是可被认为是旅游名胜的风景，那么绘出拍摄对象名称的标牌或板子可能被设置在能够看到拍摄对象的地方。

从而，如果此时一种或多种字符串提取信息与区域外特征量和时刻信息一起被从特征量提取单元45提供来，那么被摄物推定单元46通过字符匹配方法将字符串提取信息所表示的字符串与拍摄对象名称信息所表示的拍摄对象名称相比较。

结果，如果字符串提取信息所表示的字符串与拍摄对象名称信息所表示的拍摄对象名称一致，那么被摄物推定单元46同样判定整个单位图像或假定区域外部分中的被摄物是由拍摄对象特征量表示的拍摄对象。

即，如果拍摄对象名称在单位图像中，那么拍摄对象也与拍摄对象名称一起出现，但是拍摄对象可能在另一被摄物(例如，人物)的阴影下并且可能几乎看不到。

因此，即使当判定在单位图像中没有拍摄对象时，如果检测到表示拍摄对象的拍摄对象名称在单位图像中，那么被摄物推定单元46也同样推定单位图像中的被摄物是拍摄对象。即，被摄物推定单元46检测整个单位图像或假定区域外部分中作为被摄物的拍摄对象。

如果以这种方式检测到单位图像中的拍摄对象，那么被摄物推定单元46从地图数据库47中读取与此时检测到的所在地信息相对应的拍摄对象名称信息和地名信息，并且将拍摄对象名称信息和地名信息与单位图像的时刻信息关联起来。

如果字符串提取信息所表示的任何字符串都不与拍摄对象名称信息所表示的拍摄对象名称一致，那么被摄物推定单元46同样判定整个单位图像或假定区域外部分中的被摄物不是由拍摄对象特征量表示的拍摄对象。

同时，如果在地图数据库47中无法检测到表示搜索范围中的所在地的所在地信息，那么被摄物推定单元46判定不存在能够被用于设定搜索范围的那组拍摄位置和拍摄方向所拍摄的拍摄对象。

换言之，当基于搜索范围无法检测到所在地信息时，被摄物推定单元46判定拍摄对象作为被摄物在单位图像中，因为拍摄对象未被拍摄。

如果不存在能够被该组拍摄位置和拍摄方向拍摄的拍摄对象，被摄物推定单元46则不从地图数据库47中读取拍摄对象特征量。从而，即使当此时区域外特征量与时刻信息一起被从特征量提取单元45提供来时，被摄物推定单元46也不执行用于在整个单位图像或假定区域外部分中检测被摄物的处理。

如果区域外特征量以这种方式与时刻信息一起被从特征量提取单元45提供来，那么被摄物推定单元46每次以相同方式执行处理以适当地检测整个单位图像或假定区域外部分中作为被摄物的拍摄对象。

如果一种或多种假定区域信息与时刻信息被从特征量提取单元45提供来，那么被摄物推定单元46从脸部特征数据库48中读取多类脸部检测特征量。被摄物推定单元46通过依次使用多类脸部检测特征量，基于脸部检测特征量和由假定区域信息表示的假定区域特征量，来执行运算处理。

从而，对于单位图像的每个假定区域，被摄物推定单元46计算表示该假定区域中的被摄物有多大可能是按年龄的男性或女性的脸部的多个准确度。被摄物推定单元46把为每个假定区域计算的多个准确度与预先选择的第二阈值相比较。

结果，如果为单位图像中的任何假定区域计算的多个准确度中的至少一个等于或大于第二阈值，那么被摄物推定单元46推定单位图像中的该假定区域中的被摄物是人物的脸部。

此时，如果多个准确度中只有一个等于或大于第二阈值，那么被摄物推定单元46根据在计算准确度时使用的脸部检测特征量的类型，将被摄物推定为一定年龄的男性或女性的人物，例如二十来岁的男性的脸部或者四十来岁的女性的脸部。

如果多个准确度中的两个或更多个准确度等于或大于第二阈值，那么被摄物推定单元46从等于或大于第二阈值的准确度中选择最大准确度。被摄物推定单元46以相同的方式根据在计算该最大准确度时使用的脸部检测特征量的类型将被摄物推定为一定年龄的男性或女性的脸部。

即，被摄物推定单元46检测单位图像的假定区域中的人物的脸部，从而在确定年龄和性别的同时检测单位图像中的人物。如果检测到单位图像的假定区域中的人物的脸部，那么被摄物推定单元46把表示由该检测所确定的人物的年龄和性别的年龄/性别信息与此时从特征量提取单元45提供来的时刻信息关联起来。

如果检测到单位图像的假定区域中的人物的脸部，那么被摄物推定单元46把从假定区域中提取的假定区域特征量作为人物的脸部的特征量与此时从特征量提取单元45提供来的时刻信息关联起来。在以下描述中，人物的脸部的特征量也被称为人物脸部特征量。

如果为单位图像的任何假定区域计算的多个准确度全都小于第二阈值，那么被摄物推定单元46判定单位图像的假定区域中的被摄物不是人物的脸部。即，被摄物推定单元46判定在单位图像中不存在人物。

如果判定单位图像的任何假定区域中的被摄物都不是人物的脸部，那么被摄物推定单元46丢弃从假定区域中提取的假定区域特征量，而不设定为人物脸部特征量。

如果一种或多种假定区域信息以这种方式与时刻信息一起被从特征量提取单元45提供来，那么被摄物推定单元46每次以相同的方式执行处理以适当地检测单位图像的假定区域中的人物的脸部，从而检测单位图像中的人物。

如果一种或多种字符串提取信息与时刻信息一起被从特征量提取单元45提供来，那么被摄物推定单元46从名称数据库49中读取名称信息。被摄物推定单元46通过字符匹配方法把字符串提取信息所表示的字符串与名称信息所表示的事件名称或人物姓名相比较。

从而，被摄物推定单元46检测单位图像中的一个或多个字符串是否是事件名称或人物姓名。即，当绘出事件名称的横幅或标牌在单位图像中时，或者写有孩童或成人的姓名的姓名标签在单位图像中时，被摄物推定单元46可以检测事件名称或人物姓名。

如果一种或多种字符串提取信息以这种方式与时刻信息一起从特征量提取单元45提供来，那么被摄物推定单元46每次以相同方式执行处理以适当地检测单位图像中的事件名称或人物姓名。

如果检测到存储运动图像中作为被摄物的拍摄对象，那么被摄物推定单元46基于与单位图像的时刻信息相关联的拍摄对象名称信息和地名信息生成表示检测到的拍摄对象的拍摄对象检测信息。

此时，被摄物推定单元46在拍摄对象检测信息中存储与检测到的拍摄对象相对应的拍摄对象名称信息和地名信息。被摄物推定单元46还在拍摄对象检测信息中存储存在时段信息，该存在时段信息利用存在时段开头处的单位图像的时刻信息和存在时段的结尾处的单位图像的时刻信息来表示拍摄对象在存储运动图像中的一个或多个存在时段。

如果基于人物的脸部检测到存储运动图像中作为被摄物的一个或多个人物，那么被摄物推定单元46顺次比较与单位图像的时刻信息相关联的人物脸部特征量，并且针对每个人物对人物脸部特征量分类。

被摄物推定单元46基于分类结果检测具有同一人物的脸部的单位图像。被摄物推定单元46针对在人物脸部特征量被分类的情况下的每个人物，生成表示基于脸部检测到的人物的脸部检测信息。

此时，被摄物推定单元46在脸部检测信息中存储表示人物的脸部的人物脸部特征量和表示人物的年龄和性别的年龄/性别信息作为表示人物的信息。被摄物推定单元46在脸部检测信息中存储表示在存在时段开头处在单位图像中提取出人物脸部特征量的假定区域中的位置的假定位置信息。

被摄物推定单元46在脸部检测信息中存储存在时段信息，该存在时段信息利用存在时段开头处的单位图像的时刻信息和存在时段的结尾处的单位图像的时刻信息来表示人物的脸部在存储运动图像中的一个或多个存在时段。

如果检测到在存储运动图像中有事件名称的字符串，那么对于每个事件名称，被摄物推定单元46生成表示检测到的事件名称的事件名称检测信息。此时，被摄物推定单元46将表示事件名称的事件名称信息以字符串的形式存储在事件名称检测信息中。

被摄物推定单元46还在事件名称检测信息中存储存在时段信息，该存在时段信息利用存在时段开头处的单位图像的时刻信息和存在时段的结尾处的单位图像的时刻信息来表示事件名称在存储运动图像中的一个或多个存在时段。

如果检测到在存储运动图像中有人物姓名的字符串，那么对于每个人物姓名，被摄物推定单元46生成表示检测到的人物姓名的姓名检测信息。

此时，被摄物推定单元46在姓名检测信息中存储表示人物姓名的字符串和表示在具有该人物姓名一个或多个存在时段中在多个单位图像中的每一个中该字符串的提取位置的提取位置信息。

被摄物推定单元46还在姓名检测信息中存储存在时段信息，该存在时段信息利用存在时段开头处的单位图像的时刻信息和存在时段的结尾处的单位图像的时刻信息来表示人物姓名在存储运动图像中的一个或多个存在时段。

如果检测到存储运动图像中的拍摄对象，那么被摄物推定单元46将这样生成的拍摄对象检测信息(或事件名称检测信息)发送给人物确定单元39。

如果检测到存储运动图像中的人物，那么被摄物推定单元46将这样生成的脸部检测信息或者姓名检测信息和事件名称检测信息发送给人物关系判定单元38。

这样，每当存储运动图像数据被从视频文件生成单元35提供来时，37就获得拍摄对象检测信息、脸部检测信息或者姓名检测信息，并且将获得的信息发送给人物确定单元39或人物关系判定单元38。

如果以这种方式生成了拍摄对象检测信息或脸部检测信息、事件名称检测信息和姓名检测信息，那么被摄物推定单元46将这样生成的拍摄对象检测信息或事件名称检测信息发送给人物确定单元39。此时，被摄物推定单元46将脸部检测信息或姓名检测信息发送给人物关系判定单元38。

这样，每当存储运动图像数据被从视频文件生成单元35提供来时，被摄物检测单元37就获得拍摄对象检测信息或事件名称检测信息以及脸部检测信息或姓名检测信息，并将所获得的信息发送给人物确定单元39或人物关系判定单元38。

如图5所示，如果被摄物检测单元37检测到存储运动图像中的一个或多个人物，那么人物关系判定单元38基于被摄人物的发声和动作，来执行作为被摄人物确定处理的一部分的用于判定人物之间的关系的人物关系判定处理。

在此情况下，人物关系判定单元38还把从被摄物推定单元46提供来的姓名检测信息加载到发声分析单元55中。人物关系判定单元38向视频文件生成单元35请示右声音数据、左声音数据和后声音数据，并且作为结果，把从视频文件生成单元35提供来的右声音数据、左声音数据和后声音数据加载到发声分析单元55中。

人物关系判定单元38还把从被摄物推定单元46提供来的脸部检测信息加载到动作分析单元56中。人物关系判定单元38向视频文件生成单元35请求存储运动图像数据，并且作为结果，把从视频文件生成单元35提供来的存储运动图像数据加载到动作分析单元56中。

人物关系判定单元38还预先存储姓名数据库57，该姓名数据库57用于根据拍摄存储期间的发声来推定作为被摄物被拍摄的人物的姓名。人物关系判定单元38预先存储昵称数据库58，该昵称数据库58用于根据拍摄存储期间的发声来推定作为被摄物被拍摄的人物的昵称。

人物关系判定单元38还预先存储语言数据库59，该语言数据库59用于根据拍摄存储期间的发声来检测作为被摄物被拍摄的人物所说的语言(标准语言或方言)。

人物关系判定单元38还预先存储数据库60，该数据库60登记用于根据拍摄存储期间的发声来推定作为被摄物被拍摄的多个人物之间的关系的语句。

在以下描述中，用于推定存储运动图像中的多个人物之间的关系(例如家人或亲戚、朋友或情侣)的语句也被称为关系推定语句。在以下描述中，登记关系推定语句的数据库60也被称为关系推定语句数据库60。

人物关系判定单元38还预先存储数据库61，该数据库61登记用于根据拍摄存储期间的发声推定作为被摄物被拍摄的人物的动作的语句。

在以下描述中，用于推定动作的语句也被称为动作推定语句。在以下描述中，登记动作推定语句的数据库61也被称为动作推定语句数据库61。

人物关系判定单元38预先存储亲密度数据库62，该亲密度数据库62用于根据拍摄存储期间的发声来判定作为被摄物被拍摄的多个人物之间的亲密度。

人物关系判定单元38还预先存储动作数据库63，该动作数据库63用于推定拍摄存储期间作为被摄物被拍摄的人物的各种动作，例如“拥抱”、“肩背”、“交叉手臂”、“点头”、“举手”。

人物关系判定单元38还预先存储关系判定数据库64，该关系判定数据库64用于利用拍摄存储期间作为被摄物被拍摄的多个人物中的至少一个人物的动作来判定多个人物之间的关系。

姓名数据库57预先登记多种姓名信息，其中利用字符串(即，文本)表示多个人物姓名。姓名数据库57还登记接尾词信息，其中利用字符串(即，文本)表示了在称呼人物的姓名时附加的接尾词，例如“KUN”、“SAN”和“CHAN”。

昵称数据库58预先登记多种昵称信息，其中利用字符串(即，文本)表示了多个人物昵称。语言数据库59预先登记多种方言信息和标准语言信息，在方言信息中利用字符串(即，文本)表示了各种语句的方言单词，例如固有名称或语气，而在标准语言信息中利用标准语言的字符串(即，文本)表示了各种语句的标准语言单词，例如固有名称或语气。

关系推定语句数据库60预先登记多种关系推定语句信息，其中利用字符串(即，文本)表示了作为关系推定语句的另一方的称呼，例如“妈妈”、“母亲”、“爸爸”、“奶奶”和“兄弟”。

动作推定语句数据库61预先登记多种动作推定语句信息，其中利用字符串(即，文本)表示了作为动作推定语句的语句，例如“拥抱”、“肩背”和“骑在肩上”。

如图6所示，亲密度数据库62预先登记表示用于根据交谈来判定一个人有多喜爱另一方的多种说话方式的项目CO，其中类别CA包括“语言”、“姓名的敬称”、“语气”、“人物关系”等等。

在以下描述中，登记在亲密度数据库62中的表示说话方式的项目CO也被称为友好判定项目CO。友好判定项目CO所表示的说话方式指示出在交谈期间一个人使用了何种语言(方言或标准语言)，以及在交谈期间一个人如何称呼另一方的姓名(昵称或没有敬称)。

由友好判定项目CO表示的说话方式还指示出在交谈期间一个人使用了何种语言，以及一个人如何称呼另一人。亲密度数据库62将每个友好判定项目CO与评估值VA相关联地登记，评估值VA数值地表示出按照由友好判定项目CO表示的说话方式的友好程度。

动作数据库63预先登记用于推定诸如“拥抱”和“肩背”之类的各种动作的多个动作推定数据。动作推定数据是针对每种动作生成的，并且存储了表示动作的名称的动作名称信息和充当用于动作推定的比较标准的动作模型。

如图7所示，关系判定数据库64预先登记了表示人物的各种动作的名称的动作名称信息MO，例如“拥抱”、“肩背”、“牵手”和“相互交臂”。

关系判定数据库64预先将关系信息RE与表示动作的名称的动作名称信息MO相关联地登记，登记关系信息RE表示一个或多个关系，例如“亲子”、“朋友”和“情侣”。

如果右声音数据、左声音数据和后声音数据被从视频文件生成单元35提供来，那么发声分析单元55基于右声音数据、左声音数据和后声音数据执行用于分析每个人物的发声的发声分析/关系推定处理，以推定人物之间的关系。

在此情况下，如图8所示，发声分析单元55例如基于声音强度来检测右声音数据D1、左声音数据D2和后声音数据D3的每一个中的声音时段和静默时段之间的切换位置作为时刻信息(图8中的(A))。

发声分析单元55基于检测到的切换位置从右声音数据D1、左声音数据D2和后声音数据D3中提取一个或多个声音时段作为右声音时段数据D4、左声音时段数据D5和后声音时段数据D6(图8中的(B))。

发声分析单元55在适当地控制相位的同时例如通过波束成形方法来对右声音时段数据D4、左声音时段数据D5和后声音时段数据D6执行加法处理。

从而，发声分析单元55通过适当地放大在拍摄存储时在数字摄像机10周围的各种位置处发出的声音来生成一个或多个相加声音数据D7(图8中的(C))。

发声分析单元55将作为相加声音数据D7的源的右声音时段数据D4、左声音时段数据D5和后声音时段数据D6中从头到尾的多种时刻信息依次添加到相加声音数据D7中从头到尾的各个预定的单位部分。

发声分析单元55基于右声音时段数据D4、左声音时段数据D5和后声音时段数据D6的加法处理期间相位控制的存在与否和控制量来检测基于相加声音数据D7发出声音的人所在的方向。

实际上，如果右声音时段数据D4和左声音时段数据D5的相位在加法处理期间未被控制，并且后声音时段数据D6的相位提前，那么发声分析单元55检测到基于相加声音数据D7发出声音的人基本上处在相机正面的中央。

此时，发声分析单元55推定基于相加声音数据D7发出声音的人物是在相机正面中央被拍摄的人物。

如果在加法处理期间右声音时段数据D4的相位提前并且后声音时段数据D6的相位更提前，那么发声分析单元55检测到基于相加声音数据D7发出声音的人物处在相机正面中央的左侧。

此时，发声分析单元55推定基于相加声音数据D7发出声音的人物是在相机正面中央的左侧被拍摄的人物。

如果在加法处理期间左声音时段数据D5的相位提前并且后声音时段数据D6的相位更提前，那么发声分析单元55检测到基于相加声音数据D7发出声音的人物处在相机正面中央的右侧。

此时，发声分析单元55推定基于相加声音数据D7发出声音的人物是在相机正面中央的右侧被拍摄的人物。

如果在加法处理期间右声音时段数据D4和左声音时段数据D5的相位提前基本相同的量，那么发声分析单元55检测到基于相加声音数据D7发出声音的人物处在数字摄像机10的背面的中央。

此时，发声分析单元55推定基于相加声音数据D7发出声音的人物是使用数字摄像机10的摄影师(摄影者)。

如果在加法处理期间左声音时段数据D5的相位提前并且右声音时段数据D4的相位更提前要，那么发声分析单元55检测到基于相加声音数据D7发出声音的人物处在数字摄像机10的左侧。

此时，发声分析单元55推定基于相加声音数据D7发出声音的人物是在数字摄像机10的左侧未被拍摄的人物。

如果在加法处理期间右声音时段数据D4的相位提前并且左声音时段数据D5的相位更提前要，那么发声分析单元55检测到基于相加声音数据D7发出声音的人物处在数字摄像机10的右侧。

此时，发声分析单元55推定基于相加声音数据D7发出声音的人物是在数字摄像机10的右侧未被拍摄的人物。

如果以这种方式检测了基于相加声音数据D7发出声音的人物所在的方向，那么发声分析单元55基于方向的检测结果来检测基于相加声音数据D7发出声音的人物的数目。

当两个或更多个人物基于相加声音数据D7发出声音时，发声分析单元55基于方向的检测结果进一步检测相加声音数据D7中各个人物发出的声音时段的切换位置作为时刻信息(图8中的(D))。

这样，发声分析单元55例如检测为了自我介绍而单独被拍摄的人物所发出的声音的相加声音数据D7。发声分析单元55检测一起被拍摄的多个人物之间的交谈期间的声音的相加声音数据D7。

发声分析单元55还检测被拍摄的人物和未被拍摄的作为旁观者或摄影师的人物之间的交谈期间的声音的相加声音数据D7。这样，对于此时生成的一个或多个相加声音数据D7，发声分析单元55基于发出声音的人所在的方向的检测结果，来检测发出构成相加声音数据D7的声音的状况。

在以下描述中，被拍摄的人物也被适当地称为被摄人物。在以下描述中，像摄影师或旁观者那样，发出被作为相加声音数据D7存储的声音但未被拍摄的人物也被适当地称为拍摄排除人物。

此时，例如，如果检测到为了自我介绍而由单个人独自发出的声音的相加声音数据D7，那么发声分析单元55将相加声音数据D7定义为表示人物的发声的内容的发声数据(以下具体称为单独发声数据)。

此时，如果检测到多个人物发出的交谈的声音的相加声音数据D7，那么发声分析单元55基于切换位置将相加声音数据D7提取到各个人物的声音时段中，以生成表示各个人物的发声的内容的发声数据D8和D9(图8中的(E))。

即，发声分析单元55基于多个人物之间的交谈的相加声音数据D7，针对各个人物，生成其中布置了交谈期间接连着的声音时段的发声数据D8和D9。在以下描述中，两个或更多个人物发出的声音(即，交谈)的相加声音数据D7的声音时段被具体称为交谈时段。

在以下描述中，从交谈的相加声音数据D7中提取出的各个人物的声音时段被具体称为交谈中发声时段。在以下描述中，以这种方式基于多个人物之间的交谈生成的各个人物的发声数据D8和D9被具体称为交谈中数据D8和D9。

这样，发声分析单元55基于为了自我介绍由每个人单独发出的声音的相加声音数据D7或者多个人物之间的交谈的相加声音数据D7来获得每个人的单独发声数据或者交谈中发声数据D8和D9。

如果获得了每个人物的单独发声数据，那么发声分析单元55针对带有时刻信息的每个预定单位顺次分析单独发声数据。从而，发声分析单元55通过对基于单独发声数据的声音进行录音打字来生成字符串(即，文本)。

如果获得了各个人物的交谈中发声数据D8和D9，那么发声分析单元55针对带有时刻信息的每个预定单位顺次分析交谈中发声数据D8和D9的各个交谈中发声时段。从而，发声分析单元55还针对每个交谈中发声时段，通过对基于交谈中发声数据D8和D9的声音进行录音打字来生成字符串(即，文本)。

在以下描述中，基于单独发声数据的声音的字符串也被称为单独发声文本。在以下描述中，基于交谈中发声数据D8和D9的声音的所有字符串也被称为交谈中发声文本，并且针对每个交谈中发声时段的交谈中发声数据D8和D9的声音的字符串也被称为时段发声文本。

当生成人物的单独发声文本时，发声分析单元55将先前检测到的表示该人物所在的方向的人物方向信息添加到所生成的单独发声文本。

发声分析单元55向单独发声文本中与单独发声数据的带有时刻信息的预定单位相对应的单位对应部分(即，从单独发声数据的预定单位中对声音进行录音打字的部分)顺次添加被添加到该预定单位的时刻信息。

当生成人物的交谈中发声文本时，发声分析单元55将先前检测到的表示该人物所在的方向的人物方向信息添加到所生成的交谈中发声文本。

发声分析单元55还将利用交谈时段的开头和结尾处的时刻信息表示原始相加声音数据D7的交谈时段的交谈时段信息添加到每个人物的交谈中发声文本。

发声分析单元55还以相同方式向交谈中发声文本中交谈中发声数据D8和D9的带有时刻信息的单位对应部分(即，从预定单位中对声音进行录音打字的部分)顺次添加时刻信息。

此时，对于交谈中的每个人物，发声分析单元55基于交谈中发声数据，以时间序列形式检测该人物的语音的音高。对于交谈中的每个人物，发声分析单元55还基于添加到表示该人物的发声的交谈中发声数据的时刻信息，来检测交谈所需的总时间(即，各个交谈中发声时段的时间的总和)。

对于每个人物，发声分析单元55还检测表示该人物的发声的交谈中发声文本中包括的字符的总数(即，交谈中说出的字符的总数)。对于每个人物，发声分析单元55将交谈中说出的字符的总数除以交谈所需的总时间，以计算发声的速度。

同时，发声分析单元55预先存储字典数据，该字典数据是通过列出带有单词属性信息(例如词性)的单词来生成的。因此，当生成单独发声文本时，发声分析单元55基于字典数据对单独发声文本进行词素分析。

从而，发声分析单元55将单独发声文本划分成词素(即，具有作为单词的含义的最小单位)并且将所划分的词素与单词属性信息关联起来。

即使当生成交谈中发声文本时，发声分析单元55也基于字典数据以时段发声文本为单位对交谈中发声文本进行词素分析。从而，发声分析单元55把构成交谈中发声文本的各个时段发声文本划分成词素，并且将所划分的词素与单词属性信息关联起来。

当获得单独发声文本时，发声分析单元55在发声分析/关系推定处理期间，在以下描述的用于实际推定人物之间的关系的推定处理中，单独使用该单独发声文本。

发声分析单元55还在发声分析/关系推定处理期间，以交谈为单位在以下描述的推定处理中使用交谈中发声文本(即，从同一交谈一起获得的文本)。

下面，将描述在推定处理中使用单独发声文本的情况。然后，将描述以交谈为单位在推定处理中使用交谈中发声文本的情况。

当在推定处理中使用单独发声文本时，发声分析单元55基于与词素相关联的单词属性信息，从单独发声文本中提取诸如名词、动词、接尾词和语气之类的各种语句(以下这些语句被称为单词)。

发声分析单元55从姓名数据库57中读取多种姓名信息。发声分析单元55通过字符匹配方法将从单独发声文本中提取的各种单词与姓名信息所表示的各种人物姓名相比较。

从而，当在从单独发声文本中提取的各种单词中存在与姓名数据库57中登记的人物的姓名相一致的单词时，发声分析单元55将该单词检测为人物的姓名。

同时，当基于单独发声文本检测到人物的姓名时，如果姓名检测信息被从被摄物推定单元46提供来，那么发声分析单元55从姓名检测信息中加载存在时段信息。

发声分析单元55检测单独发声文本中与检测到的人物姓名相关的所有单位对应部分，并且还检测添加到所有检测到的单位对应部分的时刻信息。

发声分析单元55基于检测到的姓名信息来检测其中此时检测到的人物姓名作为声音被发出的姓名发声时段。发声分析单元55将存在时段信息所表示的存在时段(即，时刻信息)与姓名发声时段(即，时刻信息)相比较。

结果，如果存在时段和姓名发声时段至少部分相互重叠，那么发声分析单元55通过字符匹配方法将姓名检测信息所表示的人物的姓名(字符串)与此时检测到的人物的姓名相比较。

从而，如果姓名检测信息所表示的人物的姓名和检测到的人物的姓名相互一致，那么发声分析单元55检测到此时检测出的姓名被绘在被拍摄的人物所佩戴的姓名标签上。

换言之，发声分析单元55检测到基于单独发声文本检测出的姓名是被拍摄的单独发声的人物的姓名。然后，发声分析单元55确定被拍摄的人物为具有此时检测到的姓名的人物。

如果以这种方式确定了谁被拍摄(即，姓名)，那么发声分析单元55生成表示所确定人物的所确定人物信息。此时，发声分析单元55在所确定人物信息中存储利用字符串(即，文本)表示此时检测到的人物的姓名的姓名信息和利用时刻信息表示姓名发声时段的姓名发声时段信息。

发声分析单元55还基于姓名检测信息在所确定人物信息中存储存在时段信息，该存在时段信息利用存在时段开头和结尾处的时刻信息表示了存在时段，在存在时段中表示所确定人物的姓名的字符串在存储运动图像中。

发声分析单元55还在所确定人物信息中存储提取位置信息，该提取位置信息表示了在存在时段的单位图像中表示所确定人物的姓名的字符串的提取位置。发声分析单元55将所确定人物信息发送给动作分析单元56。

被单独拍摄的人物在拍摄期间可能说出其自己的姓名或者可能说出另一人物的姓名。因此，发声分析单元55仅通过基于单独发声文本检测人物的姓名，是难以确定该姓名是被拍摄的人物的姓名还是另一人物的姓名的。

从而，在基于单独发声文本检测人物的姓名时，如果姓名检测信息未被从被摄物推定单元46提供来，那么发声分析单元55不将检测到的姓名通知给动作分析单元56。

即使当姓名检测信息被提供来时，如果存在时段的时刻信息和姓名发声时段的时刻信息相互不同，发声分析单元55也不把检测到的姓名通知给动作分析单元56。另外，如果姓名检测信息所表示的人物的姓名不与检测到的人物的姓名相一致，那么发声分析单元55不把检测到的姓名通知给动作分析单元56。

同时，推定处理如下所述通常伴随着随后将执行的处理。然而，当单独发声文本被用于推定处理中时，由于难以通过单个人物的发声来推定多个人物之间的关系，因此发声分析单元55在上述处理完成时结束利用单独发声文本的处理。

接下来，将描述基于同一交谈(即，以交谈为单位)获得的多种交谈中发声文本被用于推定处理中的情况。如果基于同一交谈获得的多种交谈中发声文本被用于推定处理中，那么发声分析单元55基于与词素相关联的单词属性信息，从多种交谈中发声文本中的每一种中提取单词。

发声分析单元55从姓名数据库57中读取多种姓名信息和多种接尾词信息。发声分析单元55还从昵称数据库58中读取多种昵称信息。

发声分析单元55通过字符匹配方法将从每个交谈中发声文本中提取的各种单词与姓名信息所表示的各种人物姓名或者昵称信息所表示的各种昵称相比较。

如果在从每个交谈中发声文本中提取的各种单词中存在与姓名数据库57或昵称数据库58中登记的人物姓名或昵称相一致的单词，那么发声分析单元55将该单词检测为人物姓名或昵称。

如果基于每个交谈中发声文本检测到人物姓名，那么发声分析单元55通过字符匹配方法将紧接该姓名之后的单词与接尾词信息所表示的各种接尾词相比较。

从而，发声分析单元55检测该人物在没有敬称的情况下称呼该姓名还是该人物用诸如“KUN”、“SAN”或“CHAN”之类的接尾词来称呼该姓名。

同时，在拍摄存储时，拍摄排除人物可能用其姓名或昵称来称呼被拍摄的人物(作为被摄人物的孩童或成人)，以便其脸部转向数字摄像机10。

如果在诸如开学典礼或毕业典礼之类的事件上进行拍摄存储，那么事件的组织者等等可能为了介绍而用其姓名来称呼被拍摄的人物(作为被摄人物的孩童或成人)。

在拍摄存储时，一起被拍摄的另一人物或者未被一起拍摄的另一人物可能用其姓名或昵称来称呼被拍摄的人物。多个人物之间的交谈往往基本上是在多个人物之间交替进行的，从而任何人物向另一人物说话，并且另一人物回复。

因此，如果基于表示任何人物的发声的交谈中发声文本检测到人物的姓名，那么发声分析单元55以与上述相同的方式检测交谈中发声文本中包括检测到的姓名的姓名发声时段。

此时，如果姓名检测信息被从被摄物推定单元46提供来，那么发声分析单元55以与上述相同的方式将存在时段的时刻信息与姓名发声时段的时刻信息相比较。如果存在时段和姓名发声时段至少部分相互重叠，那么发声分析单元55通过字符匹配方法将姓名检测信息所表示的人物姓名与检测到的人物姓名相比较。

如果姓名检测信息所表示的人物姓名与检测到的人物姓名相一致，那么发声分析单元55把带有绘出由姓名检测信息所表示的姓名的姓名标签的被拍摄的人物确定为具有检测到的姓名的人物。如果确定了谁是该人物(即，姓名)，那么发声分析单元55以与上述相同的方式生成所确定人物信息并且将所确定人物信息发送给动作分析单元56。

此时，如果姓名检测信息未被从被摄物推定单元46提供来，那么发声分析单元55连同检测到的姓名生成表示说出该姓名的人物的姓名发声信息。

此时，发声分析单元55在姓名发声信息中存储姓名信息，该姓名信息利用字符串(即，文本)表示检测到的人物的姓名(如果附加了诸如“KUN”或“SAN”之类的接尾词，那么也表示附加了接尾词)。发声分析单元55还在姓名发声信息中存储利用时刻信息表示姓名发声时段的姓名发声时段信息。

发声分析单元55还在姓名发声信息中存储表示说出检测到的姓名的人物所在的方向的人物方向信息。发声分析单元55将姓名发声信息发送给动作分析单元56。

即使当姓名检测信息被提供来时，如果存在时段的时刻信息和姓名发声时段的时刻信息相互不同，那么发声分析单元55也生成姓名发声信息并且将姓名发声信息发送给动作分析单元56。另外，如果姓名检测信息所表示的人物姓名与检测到的人物姓名不一致，那么发声分析单元55生成姓名发声信息并将姓名发声信息发送给动作分析单元56。

如果基于任何交谈中发声文本检测到昵称，那么发声分析单元55检测包括昵称的交谈中发声文本中与昵称相关的所有单位对应部分以及附加的时刻信息。

发声分析单元55基于检测到的时刻信息来检测此时检测到的昵称作为声音被发出的昵称发声时段。发声分析单元55连同检测到的昵称生成表示说出昵称的人物的昵称发声信息。

此时，发声分析单元55在昵称发声信息中存储利用字符串(即，文本)表示此时检测到的昵称的昵称信息和利用时刻信息表示昵称发声时段的昵称发声时段信息。

发声分析单元55还在昵称发声信息中存储表示说出检测到的昵称的人物所在的方向的人物方向信息。发声分析单元55将昵称发声信息发送给动作分析单元56。

如果以这种方式检测到人物的姓名或昵称，那么接下来，发声分析单元55从语言数据库59中读取多种方言信息和标准语言信息。发声分析单元55通过字符匹配方法将从每个交谈中发声文本中提取出的各种单词与方言信息所表示的各种方言单词或者标准语言信息所表示的各种标准语言单词相比较。

从而，如果在从每个交谈中发声文本提取出的各种单词中存在与语言数据库59中登记的方言单词或标准语言单词相一致的单词，那么发声分析单元55将该单词检测为用于推定人物之间的关系的方言单词或标准语言单词。

发声分析单元55从关系推定语句数据库60中读取多种关系推定语句信息。发声分析单元55通过字符匹配方法将从每个交谈中发声文本中提取的各种单词与关系推定语句信息所表示的各种关系推定语句(另一方的称呼)(例如“妈妈”、“母亲”、“爸爸”、“奶奶”和“哥哥”)相比较。

从而，如果在从每个交谈中发声文本提取的各种单词中存在与关系推定语句数据库60中登记的关系推定语句相一致的单词，那么发声分析单元55将该单词检测为用于推定人物之间的关系的关系推定语句。

如果检测到关系推定语句，发声分析单元55则检测包括检测到的关系推定语句的交谈中发声文本中的与检测到的关系推定语句相关的所有单位对应部分和附加的时刻信息。发声分析单元55基于检测的时刻信息来检测此时检测到的关系推定语句被作为声音发出的关系发声时段。

发声分析单元55连同检测到的关系推定语句生成表示说出该关系推定语句的人物的关系发声信息。此时，发声分析单元55在关系发声信息中存储利用字符串(即，文本)表示此时检测到的关系推定语句的关系推定语句信息和利用时刻信息表示关系发声时段的关系发声时段信息。

发声分析单元55还在关系发声信息中存储表示说出检测到的关系推定语句的人物所在的方向的人物方向信息。发声分析单元55将关系发声信息发送给动作分析单元56。

发声分析单元55从动作推定语句数据库61中读取多种动作推定语句信息。发声分析单元55通过字符匹配方法将从每个交谈中发声文本中提取的各种单词与动作推定语句信息所表示的各种动作推定语句(例如“拥抱”、“肩背”)相比较。

从而，如果在从每个交谈中发声文本提取的各种单词中存在与动作推定语句数据库61中登记的动作推定语句相一致的单词，那么发声分析单元55将该单词检测为用于推定人物的动作的动作推定语句，如下所述。

如果检测到动作推定语句，发声分析单元55则检测包括检测到的动作推定语句的交谈中发声文本中的与检测到的动作推定语句相关的所有单位对应部分和附加的时刻信息。发声分析单元55基于检测的时刻信息来检测此时检测到的动作推定语句被作为声音发出的声动作发声时段。

发声分析单元55连同检测到的动作推定语句生成表示说出该动作推定语句的人物的动作发声信息。此时，发声分析单元55在动作发声信息中存储利用字符串(即，文本)表示此时检测到的动作推定语句的动作推定语句信息和利用时刻信息表示动作发声时段的动作发声时段信息。发声分析单元55将动作发声信息发送给动作分析单元56。

这样，发声分析单元55基于每个人物的交谈中发声文本，检测姓名或昵称、姓名的敬称的形式、方言、语气等等。如果基于每个人物的交谈中发声文本检测到的昵称、姓名的敬称的形式等等，那么发声分析单元55按照人物来对检测到的昵称、姓名的敬称的形式等等分类，并且定义用于检测人物的说话方式的发声信息。

此时，对于每个人物，发声分析单元55基于发声信息从亲密度数据库62的多个友好判定项目CO中检测表示该人物的说话方式的友好判定项目CO。对于每个人物，发声分析单元55从亲密度数据库62中读取与表示该人物的说话方式的友好判定项目CO相对应的所有评估值VA。

此外，发声分析单元55针对每个人物，基于上述的交谈速度和语音的音高，通过使用概述模型来推定交谈时的感情。针对每个人物推定交谈时的感情的方法例如在Jack Breese和Gene Ball的论文“BayesianNetworks for Modeling Emotional State and Personality”中有所记载。

当为友好判定项目CO所属的每个类别CA预先选择的加权函数为ω、评估值VA为v、并且表示一个人有多喜爱另一方的友好值为K时，对于交谈中的每个人物，发声分析单元55通过根据相应的加权函数对基于该人物的说话方式获取的所有评估值VA顺次加权并且将加权值相加，来计算友好值，如以下式(1)所示。

K＝∑v×ω×e ……(1)

在式(1)中，e代表感情函数，并且表示交谈时人物的感情。

如果为交谈中的多个人物计算了好友值，那么发声分析单元55为多个人物中的两个人物分别定义友好值为K(A)和K(B)。当两个人物之间的亲密度为F(A，B)时，发声分析单元55通过如以下式(2)所示将友好值相乘来计算两个人物之间的亲密度。

F (A, B) = \frac{K (A) \times K (B)}{n (A) \times n (B)} \cdot \cdot \cdot \cdot \cdot \cdot (2)

对于交谈中的每个人物的发声，发声中使用的单词的总数以及时间长度可能不是相同的。因此，发声分析单元55按两个人物的交谈中发声文本中的单词的总数来对友好值进行正规化。

在式(2)中，n(A)代表一个人物的交谈中发声文本中的单词的总数，n(B)代表另一人物的交谈中发声文本中的单词的总数。

这样，对于交谈中的多个人物，发声分析单元55以循环方式顺次计算两个人物之间的亲密度。当式(2)所示的两个人物之间的亲密度具有较大的值时，这表明两个人物相互亲近(即，相互亲密)。

计算人物之间的亲密度的方法例如在Nishihara Yoko、SunayamaWataru和Yachida Masahiko的论文“Estimation of Human Friendship andHierarchical Relationship from Utterance Text”中有所记载。

如果以循环方法为交谈中的多个人物计算了亲密度，那么发声分析单元55生成表示亲密度的亲密度信息。此时，对于利用式(2)计算出的每个亲密度，发声分析单元55在亲密度信息中相关联地存储该亲密度和表示获得该亲密度的两个人物的人物方向信息。

发声分析单元55还在亲密度信息中存储附加到每个人物的交谈中发声文本的交谈时段信息。发声分析单元55将亲密度信息发送给动作分析单元56和关系判定单元65。

这样，当以交谈为单位生成交谈中发声文本时，对于交谈中的人物之间的关系，发声分析单元55推定人物相互之间有多亲近(即，人物相互之间有多亲密)。发声分析单元55把推定结果以亲密度信息的形式通知给动作分析单元56和关系判定单元65。

同时，如果存储运动图像数据被从视频文件生成单元35提供来，那么动作分析单元56基于存储运动图像数据执行用于分析每个人物的动作的动作分析/关系推定处理，以推定人物之间的关系。

在此情况下，动作分析单元56加载从被摄物推定单元46提供来的每个人物的脸部检测信息中存储的存在时段信息。动作分析单元56基于存在时段信息确定在基于存储运动图像数据的存储运动图像中检测到单个人物(出现单个脸部)的存在时段或者在基于存储运动图像数据的存储运动图像中检测到多个人物(出现多个脸部)的存在时段。

如果确定了检测到单个人物的存在时段，那么动作分析单元56从基于存储运动图像数据的存储运动图像中提取确定的存在时段的多个单位图像。如果确定了检测到多个人物的存在时段，那么动作分析单元56从基于存储运动图像数据的存储运动图像中提取确定的存在时段的多个单位图像。

动作分析单元56基于检测到单个人物的存在时段的多个单位图像或者检测到多个人物的存在时段的多个单位图像来推定存在时段的多个单位图像中的单个人物的动作或多个人物的动作。

如果从存储运动图像中提取出存在时段的多个单位图像，那么动作分析单元56基于脸部检测信息(即，假定位置信息)在存在时段开头处的单位图像中确定其中提取出表示人物的脸部的人物脸部特征量的假定区域。即，动作分析单元56基于脸部检测信息在存在时段开头处的单位图像中确定人物的脸部出现的假定区域。

动作分析单元56检测存在时段开头处的单位图像和第二单位图像之间的运动向量。动作分析单元56基于运动向量的检测结果和开头单位图像所确定的假定区域，检测开头和第二单位图像中的人物(即，包括检测到的脸部的人物的身份出现的部分)。

对于存在时段的第三或之后的单位图像，动作分析单元56顺次同时检测在第二单位图像中检测到的人物和运动向量，并且基于检测结果来检测在第三或之后的单位图像中的同一人物。在以下描述中，在存在时段的多个单位图像中检测到的人物也被称为检出人物。

动作分析单元56对每个单位图像进行二值化，并且从每个经二值化的单位图像中提取每个检出人物的轮廓。对于每个检出人物，动作分析单元56从每个二值化的单位图像中提取该检出人物出现的部分以及轮廓，并且生成检出人物的剪影图像。

接下来，动作分析单元56基于从每个单位图像生成的剪影图像，对作为由旋转关节和移动关节表示的关节物体的每个检出人物的身体执行建模和姿势推定，并且生成以时间序列形式表示存在时段中检出人物的动作的三维模型数据。

对于基于剪影图像的身体的建模和姿势推定，在建模和姿势推定的观测或预测中可能包括误差。从而，此时，动作分析单元56应当在考虑到建模和姿势推定的观测或预测中的误差的情况下对检出人物的身体执行建模和姿势推定。

因此，此时，动作分析单元56在身体的建模和姿势推定的运算处理中使用按概率分布表示误差的扩展卡尔曼滤波器。为了利用扩展卡尔曼滤波器来执行运算处理，动作分析单元56预先预测人物的动作并且设定在运算处理中使用的概率。

从而，动作分析单元56利用预先设定的概率通过扩展卡尔曼滤波器来执行运算处理，以使得身体的建模和姿势推定的运算操作的数目得以减少，从而减小了处理负载。

动作分析单元56利用预先设定的概率通过扩展卡尔曼滤波器来执行运算处理，以使得身体的建模的准确度和姿势推定的准确度可得以提高。

实际上，此时，如果一种或多种动作发声信息被从发声分析单元55提供来，那么动作分析单元56比较由动作发声信息表示的动作发声时段(即，时刻信息)和用于推定检出人物的动作的存在时段(即，时刻信息)。

结果，如果存在时段和一个或多个动作发声时段相互重叠，那么动作分析单元56从表示与存在时段重叠的一个或多个动作发声时段的一种或多种动作发声信息中加载所存储的动作推定语句信息。

即，如果在存在时段中说出了动作推定语句，那么由于检出人物很有可能做出了动作推定语句所表示的动作，因此动作分析单元56从动作发声信息中加载动作推定语句(动作推定语句信息)，用于推定检出人物的动作。

动作分析单元56根据动作推定语句选择和设定运算处理的概率。此时，如果动作发声信息未被从发声分析单元55提供来，那么动作分析单元56为运算处理设定预先选择的概率。

在此状态中，每次多个剪影图像(从存在时段的多个单位图像生成的剪影图像)以时间序列形式被顺次使用时，动作分析单元56就计算由剪影图像表示的检出人物的建模和姿势推定的参数。

用于身体的建模和姿势推定的参数的示例包括与身体的肩部或肘部相对应的旋转关节或移动关节中的每一个的位置、旋转角度以及弯曲角度。在以下描述中，每个旋转关节或移动关节的旋转角度或弯曲角度被统称为关节角度。

用于身体的建模和姿势推定的参数的示例还包括连接与人体的下臂或上臂、胫骨等等相对应的旋转关节和移动关节的线段以及连接与人体的下臂或上臂、胫骨等等相对应的旋转关节的线段的位置或长度。

在以下描述中，旋转关节和移动关节之间或者旋转关节之间的连接也被称为链接，并且连接旋转关节和移动关节的线段或连接旋转关节的线段的长度也被称为链接长度。

剪影图像是二维地表达的，因而深度无法被观测到。因此，难以根据剪影图像唯一地计算出用于建模和姿势推定的三维斜率或长度(即，参数)。

然而，建模对象限于人体，从而动作分析单元56根据在该限制下预先选择的约束来唯一地计算出参数。

这种约束的示例包括为与腕部或肘部、肩部等等相对应的旋转关节和移动关节中每一个的关节角度预先选择的可变最大角度和最小角度，其中排除了在人体中无法看到的关节角度。

这种约束的示例还包括为与腕部或肘部、肩部等等相对应的旋转关节和移动关节中每一个的关节角度选择的每单位时间的关节角度变化的上限，其中排除了在人体中无法看到的每单位时间关节变化。

这种约束的示例还包括为与下臂或上臂、胫骨等等相对应的每条线段的链接长度预先选择的最大长度和最小长度(在人体的左侧和右侧是相同的)，其中排除了在从孩童到成人的人体中无法看到的链接长度。

这种约束的示例还包括当链接长度固定时将观测到的链接的长度设定为链接长度的下限值。这种约束的示例还包括从每单位时间关节角度变化的上限值和观测值的变化定义链接长度的下限值。

这种约束的示例还包括从链接长度的上限值和观测值的变化定义该时间点关节角度的范围。这种约束的示例包括从关节角度的范围或旋转关节之间的相关性定义链接长度的上限值。

实际上，当对检出人物执行建模和姿势推定时，每次剪影图像以时间序列形式被顺次使用时，动作分析单元56就基于在使用先前剪影图像时计算出的参数来推断当前剪影图像所表示的参数。

然而，当利用建模和姿势推定刚刚开始后的开头剪影图像来计算参数时，由于不存在先前剪影图像，因此预先选择作为初始值的参数被用作先前计算出的参数。

在以下描述中，每次剪影图像以时间序列形式被顺次使用时，当使用先前剪影图像时计算出的参数也被为称先前参数。在以下描述中，在当前剪影图像之前、先前在计算先前参数时使用过的剪影图像也被称为先前剪影图像。

在以下描述中，当前利用剪影图像计算的参数也被称为当前参数，并且当前用来计算当前参数的剪影图像也被称为当前剪影图像。在以下描述中，基于先前参数推断出的参数也被称为推断参数。

此时，动作分析单元56从当前剪影图像观测参数。在以下描述中，从当前剪影图像观测出的参数也被称为观测参数。动作分析单元56计算一约束值，以约束当前参数，使得关节角度或链接长度不是在人体中无法看到的数值。

动作分析单元56基于推断参数、观测参数和约束值来计算用于对当前剪影图像表示的检出人物建模的当前参数。这样，动作分析单元56在每次多个剪影图像被顺次使用时计算当前参数。

如果利用结尾剪影图像最终获得了当前参数，那么动作分析单元56在每次使用剪影图像时已经计算出的参数(当前参数)中反映出作为该当前参数的例如链接长度。

即，动作分析单元56将每次使用剪影图像时计算出的参数(当前参数)(即，作为参数的链接长度)校正为作为在使用结尾剪影图像时计算出的当前参数的链接长度。

从而，动作分析单元56对基于来自每个剪影图像的参数获得的关节物体的大小进行校准，并且校正该关节物体的形状(即，关节物体的姿势和位置)，从而提高检出人物的建模和姿势推定的准确度。

从而，动作分析单元56根据多个剪影图像计算与这些剪影图像相对应的时刻信息(即，添加到与剪影图像相对应的单位图像的时刻信息)所表示的每个时刻的参数。

动作分析单元56基于为每个剪影图像获得的参数执行针对检出人物的顺次建模，以生成用三维模型表示检出人物的形状的模型单位数据。

此时，动作分析单元56向各条模型单位数据添加利用相应的剪影图像获得的各种参数。动作分析单元56还向各条模型单位数据添加在生成相应剪影图像时使用的单位图像的时刻信息。

从而，动作分析单元56根据时刻信息布置多种模型单位数据，以生成以时间序列形式将存在时段中每个检出人物的动作表示为三维模型的三维模型数据。即，动作分析单元56生成构成多个时间连续的模型单位数据的三维模型数据。

将利用参数空间中的区域表示来更详细描述上述处理。每次使用剪影图像时，动作分析单元56将当前剪影图像的时刻信息所表示的时刻定义为t，将先前剪影图像的时刻信息所表示的时刻定义为t-1，并且将使用先前剪影图像时的先前参数区域定义为Pt-1。

动作分析单元56基于先前参数区域获得关节物体的形状(即，关节物体的姿势和位置)，使得关节物体的形状由N维向量表达。动作分析单元56将该N维向量定义为NVt-1。

动作分析单元56还基于先前参数区域获得关节的动态(三维结构)。动作分析单元56将基于先前参数区域获得的关节的动态定义为D(NVt-1)。

如果在获得当前推断参数区域时的预测误差的范围是Es，并且推断参数区域为CPt，那么动作分析单元56在考虑到预测误差的情况下计算推断参数区域，如以下式(3)所示。

CPt＝{NVt|NVt-D(NVt-1)∈Es，NVt-1∈Pt-1}

……(3)

动作分析单元56还把基于当前参数区域应当获得的表示关节物体的形状的N维向量的投影函数定义为h(NVt)。当从当前剪影图像获得的每个链接的投影线条由M维向量来表达时，动作分析单元56还将该M维向量定义为MVt，并且将该M维向量的误差范围定义为Eh。

当当前观测参数区域为SPt时，动作分析单元56在考虑误差范围的情况下获得如以下式(4)所示的观测参数区域。

SPt＝{NVt |MVt-h(NVt)∈Eh} ……(4)

动作分析单元56基于作为约束的R个不等式，获得如以下式(5)所示的基于当前参数区域应当获得的用于约束关节物体的形状和姿势的约束值区域作为约束信息。

|gr(NVt)|≤Δgrt

……(5)

(r＝1……R)

如果当前约束值区域是Gt，并且当前参数区域是Pt，那么动作分析单元56通过对作为积集的当前推断参数区域、当前观测参数区域和当前约束值区域进行积分来获得当前参数区域，使得当前参数区域由以下式(6)表示。

Pt＝CPt∩SPt∩Gt ……(6)

对作为由旋转关节和移动关节表示的关节物体的人体建模的建模方法例如在Kameda Yoshinari、Monoh Michihiko和Ikeda Katsuo的论文“PoseEstimation Method for Articulated Object from Silhouette Image”中有所记载。

这种建模方法在Shimada Nobutaka、Shirai Yoshiaki、Kuno Yoshinori和Miura Jun论文“Shape and Pose Estimation of Articulated Object fromMonocular Image Sequence Based on Loose Constraints”中也有所记载。

如果例如以这种方式生成三维模型数据，那么动作分析单元56以时间序列形式顺次比较作为添加到每条模型单位数据的参数的诸如右腕部、右肘部、右肩部、左腕部、左肘部、左肩部等等之类的每个关节(例如旋转关节或移动关节)的关节角度。

对于每个检出人物，动作分析单元56基于比较结果检测三维模型数据中的这样一个位置来作为模型单位数据的时刻信息，在该位置处，检出人物的所有关节的关节角度的变化很小。

即，对于每个检出人物，动作分析单元56检测三维模型数据中的检出人物的动作临时停止以便从一个动作变化到下一动作的位置或者检出人物在保持坐着或站立一会儿的同时停止的位置，作为动作停止位置。

对于每个检出人物，动作分析单元56将三维模型数据中由动作停止位置分隔的剩余时段(即，至少一个关节的关节角度变化的时段)定义为检出人物做出动作的动作时段。

这样，动作分析单元56对于每个检出人物，检测三维模型数据中的一个或多个动作时段。动作分析单元56顺次、按时间收集检出人物的每个动作时段中作为参数的每个关节的关节角度，并且从动作时段开头到动作时段结尾(即，从动作开始直到动作结束)顺次布置这些关节角度。

从而，动作分析单元56生成观测序列，其中以时间序列的形式布置了诸如右腕部、右肘部、右肩部、左腕部、左肘部、左肩部等等之类的每个关节的关节角度。动作分析单元56从动作数据库63读取每个动作的动作推定数据。

这里，将描述生成存储在动作推定数据中的动作模型的模型生成方法。根据这种模型生成方法，首先，当获得表示单个动作的动作模型时，拍摄多个人物做出的相同动作并且生成多种运动图像数据。

接下来，根据模型生成方法，对于每个人物，以与上述相同的方式，基于该人物的运动图像数据，来以时间序列形式获得用于对作为由旋转关节和移动关节表示的关节物体的人体建模的参数。

即，根据模型生成方法，基于每个人物的运动图像数据，为从该人物的动作开始直到动作结束的单位图像数据的时刻信息所表示的每个时刻顺次获得用于对该人物建模的参数。

同时，当多个人物做出同一动作时，即使所做出的动作是相同的，在人体为该动作而做的运动方面也有差异，例如当在动作期间举起手臂时肘部的弯曲角度或者肩部的旋转角度。

当多个人物做出同一动作时，当从动作开始直到动作结束以时间序列形式查看时，人体的运动的差异程度在动作的各部分(例如开始部分、中间部分和结束部分)之间是不同的。

从而，根据这种模型生成方法，对于作为每个人物的参数的每个关节的关节角度，在从动作开始直到动作结束的每个时刻顺次执行预定的运算处理，以获得每个时刻每个关节的关节角度的代表性值。

即使当多个人物做出同一动作时，在这些人物之间，动作所需的时间也可能是不同的。因此，根据这种模型生成方法，对于每个人物以时间序列形式获得的每个关节的关节角度是时间序列数据，并且时间序列数据由近似曲线来近似。根据这种模型生成方法，对于每个人物，每个关节的近似曲线在时间轴方向上被正规化。

即，根据这种模型生成方法，对于每个人物，动作所需的时间被平衡。此外，根据这种模型生成方法，根据每个人物的正规化近似曲线获得在每个时刻每个关节的关节角度。根据这种模型生成方法，如上所述获得在每个时刻每个关节的关节角度的代表性值。

接下来，根据这种模型生成方法，各个关节的以时间序列形式获得的代表性值被利用隐藏马尔可夫模型定义为有限状态集合，并且该有限集合中状态从节点Oi转变到节点Oj的概率被定义为aij。

根据这种模型生成方法，表示从节点Oi到节点Oj的状态转变的概率的集合的状态转变概率矩阵被定义为A＝{aij}，并且在节点Oi处输出向量x的输出概率分布的集合被定义为B。

根据这种模型生成方法，初始状态概率分布被定义为π＝{πi}，并且作为动作推定的比较标准的动作模型被定义为λ(π，A，B)。然后，基于该有限状态集合获得表示每个关节的关节角度的变化(准确地表示动作)的动作模型。

根据这种模型生成方法，如果输出概率分布为bi(x)，那么以q个高斯分布的线性组合的形式获得输出概率分布，如以下式(7)所示。

bi = Σ_{J = 1}^{g} cijNij (x; μj, Σj) \cdot \cdot \cdot \cdot \cdot \cdot (7)

在式(7)中，cij代表组合系数，μ代表高斯分布的平均向量，并且∑代表高斯分布的方差向量。

根据这种模型生成方法，以这种方式生成表示单个动作的动作模型。另外，根据这种模型生成方法，类似地，基于通过拍摄多个人物做出的相同动作而获得的多种运动图像数据来生成表示另一动作的动作模型。这种模型生成方法例如在日本专利No.4027838中有所记载。

如果从动作数据库63中读取了每个动作的动作推定数据，那么动作分析单元56从动作推定数据中加载动作模型。另外，动作分析单元56从动作开始到动作结束以时间序列形式将单个观测序列中每个时刻的每个关节的关节角度与单个动作模型中每个时刻的每个关节的关节角度顺次地关联起来。

此时，如果观测序列中的每个关节的关节角度的数目不同于动作模型中的每个关节的关节角度的数目，那么在动作分析单元56中，观测序列和动作模型中的至少一个被用近似曲线来近似并且在时间轴方向上被正规化。

即，动作分析单元56平衡由观测序列表示的动作所需的时间和由动作模型表示的动作所需的时间。此外，动作分析单元56从经正规化的近似曲线获得每个时刻的每个关节的关节角度。

动作分析单元56利用在单个观测序列和单个动作模型中顺次关联的每个时刻的每个关节的关节角度来执行预定的运算处理。从而，动作分析单元56获得表示由观测序列表示的检出人物的动作有多大可能是由动作模型表示的动作的似然。

动作分析单元56以相同方式针对观测序列和另一动作模型获得似然。这样，动作分析单元56基于单个观测序列和每个动作的动作模型顺次获得似然，并且相互比较所有获得的似然。

结果，动作分析单元56从多个动作模型中确定一个动作模型，该一个动作模型相对于观测序列表现出最大似然(即，表示最可能)。动作分析单元56推定由确定的动作模型表示的动作是由观测序列表示的动作(即，检出人物在获得观测序列的动作时段期间做出的动作)。

如果在三维模型数据中检测到多个动作时段，那么动作分析单元56对于每个动作时段以相同方式执行处理，以推定在该动作时段中检出人物做出的动作。从而，对于每个检出人物，动作分析单元56基于三维模型数据检测该检出人物所做出的一个或多个动作。

对于诸如“拥抱”、“肩背”、“骑在肩上”和“牵手”之类的由两个人物建立的动作的判定，上述动作数据库63登记表示在两个人物建立的动作中一个人物的动作的动作模型，作为动作推定数据。

对于由两个人物建立的动作的判定，动作数据库63还登记表示在两个人物建立的动作中另一人物的动作的动作模型，作为动作推定数据。

因此，如果同时拍摄的至少两个检出人物做出了由两个人物建立的动作，那么动作分析单元56可以基于至少部分相互重叠的检出人物的动作时段检测检出人物的相互动作来作为具有相同名称的动作。

如果基于至少部分相互重叠的至少两个检出人物的动作时段检测出检出人物的相互动作作为具有相同名称的动作，那么动作分析单元56搜索关系判定数据库64以寻找表示检测到的动作的名称的动作名称信息MO。

动作分析单元56从关系判定数据库64中读取与搜索到的动作名称信息MO相关联的关系信息RE。动作分析单元56还从用于生成三维模型数据的脸部检测信息中加载检出人物的年龄/性别信息。

动作分析单元56基于关系信息RE和年龄/性别信息来推定同时拍摄的多个检出人物之间的关系。例如，如果作为两个检出人物的幼儿和三十来岁的女性所做出的动作是“拥抱”或“肩背”，那么动作分析单元56基于关系信息RE和年龄/性别信息推定这两个检出人物之间的关系是幼儿(不到十岁)和三十来岁的女性的亲子关系。

例如，如果作为两个检出人物的二十来岁的男性和女性所做出的动作是“牵手”，那么动作分析单元56基于关系信息RE和年龄/性别信息推定这两个检出人物之间的关系是二十来岁的男性或女性的情侣关系。

例如，如果作为两个检出人物的十来岁的女性所做出的动作是“牵手”，那么动作分析单元56基于关系信息RE和年龄/性别信息推定这两个检出人物之间的关系是十来岁的女性的朋友关系。

如果利用三维模型数据仅对于个检出人物执行建模(仅拍摄了一个检出人物)，那么动作分析单元56不利用关系判定数据库64执行关系判定。

如果以这种方式推定了多个检出人物之间的关系，那么动作分析单元56从存储运动图像中提取出在关系推定时检出人物之间的距离或者脸部的方向或表情，来作为表示检出人物之间的亲密程度的亲密程度信息。动作分析单元56还基于三维模型数据来检测在关系推定时检出人物的位置。

动作分析单元56从用于生成三维模型数据的脸部检测信息中加载被推定关系的多个检出人物的人物脸部特征量。动作分析单元56利用人物脸部特征量表示被推定关系的多个检出人物，并且生成表明在多个检出人物之间推定出何种关系的推定关系信息，如上所述。

动作分析单元56用于将推定关系通知给关系判定单元65的关系通知信息。此时，动作分析单元56在关系通知信息中存储推定关系信息和亲密程度信息。动作分析单元56还在关系通知信息中存储表示被推定关系的多个检出人物的位置的人物位置信息。

动作分析单元56还在关系通知信息中存储动作时段信息，该动作时段信息利用动作时段开头处单位图像的时刻信息和动作时段结尾处单位图像的时刻信息来表示做出用于关系推定的动作的动作时段。如果以这种方式生成了关系通知信息，动作分析单元56则将姓名信息发送给关系判定单元65。

接下来，如果关系发声信息被从发声分析单元55提供来，那么动作分析单元56把由关系发声信息表示的关系发声时段(即，时刻信息)与存在时段(即，添加到三维模型数据的模型单位数据的时刻信息)相比较。

结果，如果存在时段和关系发声时段相互重叠，那么动作分析单元56从关系发声信息中加载所存储的关系推定语句信息。动作分析单元56还从关系发声信息中加载所存储的人物方向信息。

动作分析单元56基于人物方向信息来检测利用由关系推定语句信息表示的关系推定语句进行称呼的人物，作为检出人物或拍摄排除人物。如果进行称呼的人物是检出人物，那么当进行称呼时，动作分析单元56判定是否存在除该人物之外对称呼做出响应而做出诸如“回头看”或“点头”之类的动作的检出人物。

结果，如果只存在一个响应于利用关系推定语句进行的称呼而做出动作的检出人物，那么动作分析单元56将该检出人物确定为由关系推定语句表示的诸如“妈妈”或“爸爸”之类的敬称所称呼的母亲或父亲。

动作分析单元56基于关系推定语句和检出人物的确定结果，推定进行称呼的检出人物和对称呼做出响应的检出人物之间的关系是一个检出人物和作为母亲(或父亲)的另一检出人物之间的家人关系。

如果推定了检出人物之间的关系，那么以与上述相同的方式，动作分析单元56从存储运动图像中检测在关系推定时检出人物的位置作为人物位置信息，并且提取检出人物之间的距离、脸部的方向和表情等等作为亲密程度信息。

动作分析单元56从脸部检测信息中加载被推定关系的多个检出人物的人物脸部特征量。以与上述相同的方式，动作分析单元56利用人物脸部特征量表示被推定关系的多个检出人物，并且生成表示在两个检出人物之间推定了何种关系的推定关系信息，如上所述。

动作分析单元56将关系发声时段和对称呼做出响应做出动作的动作时段同时存在的时段定义为关系推定时段。动作分析单元56还生成利用关系推定时段开头处的单位图像的时刻信息和关系推定时段结尾处的单位图像的时刻信息表示关系推定时段的关系推定时段信息。

动作分析单元56生成用于通知推定关系的关系通知信息。此时，动作分析单元56在关系通知信息中存储推定关系信息。动作分析单元56还在关系通知信息中存储人物位置信息、亲密程度信息和关系推定时段信息。如果以这种方式生成了关系通知信息，动作分析单元56则将关系通知信息发送给关系判定单元65。

同时，如果存在响应于利用关系推定语句进行的称呼而做出动作的多个检出人物，那么动作分析单元56将这多个检出人物中的每一个确定为由关系推定语句表示的诸如“妈妈”或“爸爸”之类的敬称所称呼的母亲或父亲。

对于进行称呼的检出人物和对称呼做出响应的多个检出人物的每种组合，动作分析单元56基于关系推定语句和检出人物的确定结果，以与上述相同的方式，推定人物之间的关系。

从而，对于进行称呼的检出人物和对称呼做出响应的多个检出人物的每种组合，动作分析单元56以与上述相同的方式检测人物位置信息并提取亲密程度信息。

对于进行称呼的检出人物和对称呼做出响应的多个检出人物的每种组合，动作分析单元56以与上述相同的方式生成推定关系信息。另外，动作分析单元56以与上述相同的方式生成关系推定时段信息。

动作分析单元56生成关系通知信息。此时，动作分析单元56在关系通知信息中相互关联地存储被推定关系的人物的每种组合的推定关系信息、人物位置信息、亲密程度信息。动作分析单元56还在关系通知信息中存储关系推定时段信息。如果以这种方式生成了关系通知信息，动作分析单元56则将关系通知信息发送给关系判定单元65。

然后，如果姓名发声时段被从发声分析单元55提供来，那么动作分析单元56把由姓名发声信息表示的姓名发声时段信息(即，时刻信息)与存在时段(即，添加到三维模型数据的模型单位数据的时刻信息)相比较。

结果，如果存在时段和姓名发声时段相互重叠，那么动作分析单元56从姓名发声信息中加载所存储的姓名信息。动作分析单元56还从姓名发声信息中加载所存储的人物方向信息。

动作分析单元56基于三维模型数据来检测存在时段中每个检出人物的位置。动作分析单元56基于每个检出人物的位置和人物方向信息来将称呼由姓名信息表示的的人物的姓名的人物确定为检出人物或拍摄排除人物。

当所确定人物用人物姓名称呼一个人物时，动作分析单元56判定在检出人物中是否存在除该人物之外对称呼做出响应而做出诸如“回头看”或“点头”之类的动作的检出人物。

结果，如果只存在一个对利用人物姓名进行的称呼做出响应的检出人物，那么动作分析单元56将该检出人物的姓名确定为由姓名信息表示的人物的姓名。即，动作分析单元56以这种方式确定谁是检出人物(即，姓名)。

如果存在多个对利用人物姓名进行的称呼做出响应的检出人物，那么此时，动作分析单元56从提供自发声分析单元55的亲密度信息中加载交谈时段信息。

动作分析单元56把由交谈时段信息表示的交谈时段(即，时刻信息)与存在时段(即，添加到三维模型数据的模型单位数据的时刻信息)相比较。结果，如果存在时段和交谈时段相互重叠，那么动作分析单元56针对每种组合从亲密度信息中加载所有亲密度和与亲密度相对应的两个人物的人物方向信息。

动作分析单元56基于每个检出人物的位置和人物方向信息，判定在利用人物姓名进行称呼的检出人物和对该称呼做出响应的多个检出人物的组合之中是否存在被判定亲密度的组合。

如果在对称呼做出响应的多个检出人物中存在相对于进行称呼的检出人物判定亲密度的多个检出人物，那么动作分析单元56从进行称呼的检出人物和对称呼做出响应的检出人物的组合之中检测具有最大亲密度的组合。

从而，动作分析单元56将检出人物的一种检出组合中对称呼做出响应的一个检出人物的姓名确定为由姓名信息表示的人物的姓名。即，动作分析单元56以这种方式确定谁是检出人物(即，姓名)。

如果在利用人物姓名进行称呼的检出人物和对该称呼做出响应的多个检出人物的组合之中只存在一个被判定亲密度的组合，那么动作分析单元56确定来自该检出人物的一个组合的具有该姓名的检出人物。即，动作分析单元56把来自检出人物的一个组合中的对称呼做出响应的一个检出人物的姓名确定为由姓名信息表示的人物的姓名。

同时，如果在利用人物姓名进行称呼的检出人物和对称呼做出响应的多个检出人物的组合之中不存在被判定亲密度的组合，那么动作分析单元56不确定检出人物的姓名。另外，当存在时段和交谈时段不相互重叠时，动作分析单元56不确定检出人物的姓名。

此外，此时，如果昵称发声时段被从发声分析单元55提供来，那么动作分析单元56以与姓名发声信息被提供来时相同的方式把由昵称发声信息表示的昵称发声时段与存在时段相比较。

结果，如果存在时段和昵称发声时段相互重叠，那么动作分析单元56从昵称发声信息中加载所存储的昵称信息。动作分析单元56还从昵称发声信息中加载所存储的人物方向信息。

动作分析单元56基于三维模型数据来检测存在时段中每个检出人物的位置。动作分析单元56基于每个检出人物的位置和人物方向信息来将利用昵称信息表示的昵称进行称呼的人物确定为检出人物或拍摄排除人物。

当所确定人物利用昵称称呼一个人物时，动作分析单元56判定是否存在除该人物之外对称呼做出响应而做出诸如“回头看”或“点头”之类的动作的检出人物。

结果，如果只存在一个对利用昵称进行的称呼做出响应的检出人物，那么动作分析单元56将该检出人物的昵称确定为由昵称信息表示的昵称。即，动作分析单元56以这种方式确定谁是检出人物(即，昵称)。

如果存在多个对利用昵称进行的称呼做出响应的检出人物，那么此时，动作分析单元56从提供自发声分析单元55的亲密度信息中加载交谈时段信息。

动作分析单元56基于每个检出人物的位置和人物方向信息，判定在利用昵称进行称呼的检出人物和对该称呼做出响应的多个检出人物的组合之中是否存在被判定亲密度的组合。

从而，动作分析单元56把来自检出人物的一种检出组合的对称呼做出响应的一个检出人物的昵称确定为由昵称信息表示的昵称。即，动作分析单元56以这种方式确定谁是检出人物(即，昵称)。

如果在利用昵称进行称呼的检出人物和对该称呼做出响应的多个检出人物的组合之中只存在一个被判定亲密度的组合，那么动作分析单元56确定来自该检出人物的一个组合的具有该昵称的检出人物。即，动作分析单元56把来自检出人物的一个组合中的对称呼做出响应的一个检出人物的昵称确定为由昵称信息表示的昵称。

同时，如果在利用昵称进行称呼的检出人物和对称呼做出响应的多个检出人物的组合之中不存在被判定亲密度的组合，那么动作分析单元56不确定检出人物的昵称。另外，当存在时段和交谈时段不相互重叠时，动作分析单元56不确定检出人物的昵称。

同时，如果所确定人物信息被从发声分析单元55提供来，那么动作分析单元56把由所确定人物信息表示的姓名发声时段与存在时段(即，添加到三维模型数据的模型单位数据的时刻信息)相比较。

结果，如果存在时段和姓名发声时段相互重叠，那么动作分析单元56从所确定人物信息中加载所存储的姓名信息。动作分析单元56还从所确定人物信息中加载所存储的存在时段信息和提取位置信息。

动作分析单元56基于存在时段信息和提取位置信息确定存储运动图像中带有绘出由姓名信息表示的姓名的姓名标签的检出人物。动作分析单元56所确定的检出人物的姓名推定为由姓名信息表示的姓名。即，动作分析单元56以这种方式确定谁是检出人物(即，姓名)。

动作分析单元56以这种方式推定检出人物之间的关系并且确定检出人物。如果这种推定或确定完成，那么动作分析单元56从用于生成三维模型数据的脸部检测信息中加载人体被建模的所有检出人物的人物脸部特征量和存在时段信息。

对于每个检出人物，动作分析单元56生成表示检出人物的检出人物信息。此时，动作分析单元56在每个检出人物的检出人物信息中存储人物脸部特征量和存在时段信息。

动作分析单元56生成利用字符串表示检出人物的动作的名称(“拥抱”、“肩背”等等)的动作名称信息。动作分析单元56还生成利用动作时段开头处单位图像的时刻信息和动作时段结尾处单位图像的时刻信息表示做出所检测到的动作的动作时段的动作时段信息。

动作分析单元56把每个检出人物的动作名称信息和动作时段信息定义为表示该检出人物的检出动作的动作信息，并且把动作信息存储在每个检出人物的检出人物信息中。

如果确定了检出人物的姓名或昵称，那么动作分析单元56在检出人物的检出人物信息中存储表示确定的姓名或昵称的姓名信息或昵称信息。这样，动作分析单元56为每个检出人物生成检出人物信息，并且将所生成的每个检出人物的检出人物信息发送给关系判定单元65。

如果用于通知基于动作推定的关系的关系通知信息被从动作分析单元56提供来，那么关系判定单元65从关系通知信息中加载动作时段信息。关系判定单元65从提供自发声分析单元55的亲密度信息中加载交谈时段信息。

关系判定单元65把由交谈时段信息表示的交谈时段(即，时刻信息)与由动作时段信息表示的动作时段(即，时刻信息)相比较。结果，如果动作时段和交谈时段相互重叠，那么关系判定单元65针对每种组合，从亲密度信息中加载所有亲密度和与亲密度相对应的两个人物的人物方向信息。

关系判定单元65从关系通知信息中加载人物位置信息和亲密程度信息。关系判定单元65基于由人物位置信息和人物方向信息表示的两个检出人物的位置来检测在被推定了关系的检出人物之间是否获得亲密度。

结果，如果在被推定了关系的检出人物之间获得亲密度，关系判定单元65则基于亲密度和亲密程度信息来计算表示推定关系有多大可能的关系程度。同时，如果在被推定了关系的检出人物之间不获得亲密度，那么关系判定单元65在不使用亲密度的情况下基于亲密程度信息计算关系程度。

例如，当检出人物的距离彼此靠近时，关系程度具有较大的值。另外，如果检出人物面向彼此，那么在此情况下，关系程度具有较大的值。相反，例如，如果检出人物之一把其脸部从另一人物那方转开，那么关系程度具有较小的值。

如果以这种方式获得关系程度，那么关系判定单元65将关系程度与预先选择的第三阈值相比较。结果，如果关系程度等于或大于第三阈值，那么关系判定单元65判定检出人物之间的关系就是推定的那样。

如果以这种方式判定检出人物之间的关系，关系判定单元65则从关系通知信息中加载推定关系信息。关系判定单元65将推定关系信息定义为表示多个检出人物之间的判定关系的关系判定信息。

此时，关系判定单元65在从动作分析单元56提供的每个检出人物的检出人物信息之中的被推定了关系的多个检出人物的检出人物信息中存储关系判定信息。

如果动作时段和交谈时段相互不重叠，那么关系判定单元65在不使用亲密度的情况下通过利用亲密程度信息来计算关系程度。如果关系程度小于第三阈值，那么关系判定单元65判定检出人物之间的关系不是推定的那样。

如果用于通知基于关系推定语句推定的关系的关系通知信息被从动作分析单元56提供来，那么关系判定单元65从关系通知信息中加载关系推定时段信息。关系判定单元65还从提供自发声分析单元55的亲密度信息中加载交谈时段信息。

关系判定单元65把由交谈时段信息表示的交谈时段(即，时刻信息)与由关系推定时段信息表示的关系推定时段(即，时刻信息)相比较。结果，如果关系推定时段和交谈时段相互重叠，那么关系判定单元65针对每种组合从亲密度信息中加载所有亲密度和与亲密度相对应的两个人物的人物方向信息。

同时，此时，如果一组推定关系信息、人物位置信息和亲密程度信息被存储在关系通知信息中，那么关系判定单元65从关系通知信息中加载人物位置信息和亲密程度信息。

关系判定单元65以与上述相同的方式基于人物位置信息和人物方向信息来检测在被推定了关系的检出人物之间是否获得亲密度。如果在被推定了关系的检出人物之间获得亲密度，关系判定单元65则基于亲密度和亲密程度信息来计算关系程度。

如果在被推定了关系的检出人物之间不获得亲密度，那么关系判定单元65在不使用亲密度的情况下基于亲密程度信息计算关系程度。以与上述相同的方式，关系判定单元65将关系程度与第三阈值相比较，并且基于比较结果来判定检出人物之间的关系是否是推定的那样。

结果，如果以与上述相同的方式判定了检出人物之间的关系，那么关系判定单元65从关系通知信息中加载推定关系信息，将推定关系信息定义为关系判定信息，并且将关系判定信息存储在被判定了关系的多个检出人物的检出人物信息中。

同时，如果多组推定关系信息、人物位置信息和亲密程度信息被存储在关系通知信息中，那么关系判定单元65逐组地从关系通知信息中加载人物位置信息和亲密程度信息。

每当一组人物位置信息和亲密程度信息被从关系通知信息中加载时，以与上述相同的方式，关系判定单元65使用该组人物位置信息和亲密程度信息以及人物方向信息，通过进一步适当使用亲密度来计算关系程度，并且将关系程度与第三阈值相比较。结果，如果至少一个关系程度等于或大于第三阈值，那么关系判定单元65判定检出人物之间的关系是否是推定的那样。

同时，如果只有一个等于或大于第三阈值的关系程度，那么关系判定单元65从关系通知信息中加载与在获得该等于或大于第三阈值的关系程度时使用的人物位置信息和亲密程度信息相对应的推定关系信息。关系判定单元65将该推定关系信息作为关系判定信息存储在被推定了关系的两个检出人物的检出人物信息中。

此时，如果存在两个或更多个等于或大于第三阈值的关系程度，那么关系判定单元65从这多个等于或大于第三阈值的关系程度中选择具有最大值的关系程度。关系判定单元65从关系通知信息中加载与所选关系程度相对应的推定关系信息，并且将所加载的推定关系信息作为关系判定信息存储在被推定了关系的多个检出人物的检出人物信息中。

此时，如果动作时段和交谈时段相互不重叠，那么关系判定单元65在不使用亲密度的情况下计算关系程度。如果所有关系程度都小于第三阈值，那么关系判定单元65判定检出人物之间的关系不是推定那样的。

这样，对于动作分析单元56以这种方式推定的所有关系，关系判定单元65判定关系是否适当，并且当判定完成时，将每个检出人物的检出人物信息发送给人物确定单元39。

这样，每当检测到存储运动图像中的多个人物时，人物关系判定单元38就适当地确定每个检出人物的姓名或昵称，并且判定被同时拍摄的检出人物之间的关系。

同时，在存储介质28中，预先构造人物数据库，该人物数据库将一检出人物单独登记为与该检出人物有关的人物登记信息。每当每个检出人物的检出人物信息被从关系判定单元65提供来时，人物确定单元39就执行作为被摄人物确定处理的一部分的数据库更新处理。

在此情况下，如果每个检出人物的检出人物信息被从关系判定单元65提供来，那么人物确定单元39依次通过存储/再现控制单元36和存储/再现单元27检测在存储介质28的人物数据库中是否登记了人物登记信息。结果，如果人物登记信息尚未被登记在人物数据库中，那么人物确定单元39新生成由检出人物信息表示的检出人物的人物登记信息。

此时，如图9所示，人物确定单元39被配置为生成整体上具有层次树结构的检出人物的人物登记信息，并且将顶级信息定义为表示检出人物的人物信息。

同时，人物确定单元39把作为表示检出人物的信息的人物脸部特征量存储在人物信息中。然而，如果检测到了检出人物的姓名或昵称，那么人物确定单元39还将表示姓名的姓名信息或表示昵称的昵称信息与人物脸部特征量一起存储的人物信息中。

人物确定单元39把视频索引、人物姓名索引、地址索引和关系索引作为层次结构中低一级的信息并列地与人物信息关联起来。

检出人物的人物登记信息中包括的视频索引是通过拍摄检出人物而生成的视频文件的索引。检出人物的人物登记信息中包括的人物姓名索引是表示检出人物的姓名的姓名信息和表示检出人物的昵称的昵称信息的索引。

检出人物的人物登记信息中包括的地址索引是表示检出人物的籍贯的籍贯信息或者表示检出人物的当前地址的当前地址信息的索引。检出人物的人物登记信息中包括的关系索引是表示被同时拍摄的多个检出人物之间的关系的人物关系信息的索引。

人物确定单元39把通过拍摄检出人物而生成的视频文件的文件标识信息(存储在此时提供的头部数据中)作为层次结构中低一级的信息与视频索引关联起来。

如下所述，如果同一检出人物被拍摄两次或更多次，并且人物登记信息每次被更新，那么人物确定单元39额外把通过新拍摄检出人物而生成的视频文件的文件标识信息并列地与视频索引关联起来。

如果在检出人物的检出人物信息中包括姓名信息或昵称信息(检测到了检出人物的姓名或昵称)，那么人物确定单元39把姓名信息或昵称信息作为层次结构中低一级的信息并列地与人物姓名索引关联起来。

同时，如果用户通过操作键12输入人物的姓名，那么人物确定单元39存储利用字符串(即，文本)表示该姓名的姓名信息。另外，如果用户例如通过操作键12输入表示人物的籍贯或当前地址的位置(纬度或经度)，那么人物确定单元39把表示籍贯的籍贯信息和表示当前地址的当前地址信息与表示输入的姓名的姓名信息相关联地存储起来。

因此，当人物登记信息被新生成或者人物登记信息的内容被更新时，如果检出人物的姓名被检测到，那么人物确定单元39通过字符匹配方法将检测到的姓名与根据用户的输入而保存的姓名信息所表示的姓名相比较。

结果，如果检出人物的姓名和用户输入的姓名相互一致，那么在生成人物登记信息或更新人物登记信息的内容时，人物确定单元39使用根据用户输入而保存的籍贯信息和当前地址信息以及姓名信息。

即，如果检出人物的姓名和用户输入的姓名相互一致，那么人物确定单元39把籍贯信息和当前地址信息作为层次结构中低一级的信息并列地与地址索引关联起来。

如果在检出人物的检出人物信息中包括一种或多种人物关系信息，那么人物确定单元39把一种或多种人物关系信息作为层次结构中低一级的信息并列地与关系索引关联起来。

这样，人物确定单元39为每个检出人物分层次地生成人物登记信息。如果以这种方式生成了人物登记信息，那么人物确定单元39依次通过存储/再现控制单元36和存储/再现单元27将所生成的人物登记信息发送到存储介质28。从而，人物确定单元39将人物登记信息存储在存储介质28中，以便人物登记信息被登记在人物数据库中。

如果人物登记信息已经被登记在人物数据库中，那么人物确定单元39依次通过存储/再现控制单元36和存储/再现单元27从存储介质28中读取已经登记在人物数据库中的所有人物登记信息。

人物确定单元39从此时从关系判定单元65提供来的每个检出人物的检出人物信息中加载人物脸部特征量。人物确定单元39把从存储介质28读取的人物登记信息中存储的人物脸部特征量(存储在人物登记信息的人物信息中的人物脸部特征量)与从检出人物信息中加载的人物脸部特征量相比较。

这样，人物确定单元39基于比较结果，检测在此时检测到的检出人物中是否存在人物登记信息已被登记在人物数据库中的检出人物。

结果，如果在此时检测到的检出人物中存在人物登记信息尚未被登记在人物数据库中的检出人物，那么以与上述相同的方式，人物确定单元39新生成该检出人物的人物登记信息并且将人物登记信息登记在人物数据库中。

相反，如果在此时检测到的检出人物中存在人物登记信息已经被登记在人物数据库中的检出人物，那么人物确定单元39更新该检出人物的人物登记信息的内容。

此时，人物确定单元39从此时从视频文件生成单元35提供来的头部数据中加载文件标识信息。人物确定单元39额外地把从头部数据加载的文件标识信息作为层次结构中低一级的信息并列地与要更新的检出人物的人物登记信息中的视频索引关联起来。

人物确定单元39检测在要更新的检出人物的人物登记信息中是否已经存储了姓名信息或昵称信息。人物确定单元39还检测在检出人物的检出人物信息中是否存储姓名信息或昵称信息。

人物确定单元39基于检测结果判定当前是否最初判定检出人物和另一个人物或多个检出人物之间的关系。结果，如果当前最初判定检出人物和另一个人物或多个检出人物之间的关系，那么人物确定单元39从该检出人物的检出人物信息中加载人物关系信息。

从而，人物确定单元39把从检出人物信息加载的一种或多种人物关系信息作为层次结构中低一级的信息并列地与要更新的人物登记信息中的关系索引关联起来。

即使当前检出了检出人物的姓名或呢称，如果该姓名或呢称是先前检出的并且已存储在要更新的个人登记信息中，则人物确定单元39不将姓名信息或呢称信息添加到人物登记信息中。

人物确定单元39判断人物关系信息是否已存储在要更新的检出人物的人物登记信息中。人物确定单元39还判断人物关系信息是否已存储在检出人物的检出人物信息中。

人物确定单元39基于该判断结果来确定目前该检出人物和其他一个或多个检出人物之间的关系是否是最初确定的。结果，如果该检出人物和其他一个或多个检出人物之间的关系目前是最初确定的，则人物确定单元39从该检出人物的检出人物信息加载人物关系信息。

从而，人物确定单元39将此时从检出人物信息加载的一种或多种人物关系信息作为作为层次结构中低一级的信息并列地与要更新的检出人物的人物登记信息中的关系索引关联起来。

如果人物关系信息已被存储在要更新的检出人物的人物登记信息中，并且人物关系信息也被存储在检出人物的检出人物信息中，那么人物确定单元39将人物登记信息的人物关系信息与检出人物信息的人物关系信息相比较。

结果，如果人物登记信息的人物关系信息和检出人物信息的人物关系信息具有相同内容，那么人物确定单元39不向人物登记信息添加人物关系信息。

然而，如果人物登记信息的人物关系信息和检出人物信息的人物关系信息具有不同的内容(在上次和这次之间，针对检出人物判定了关系的另一方不同)，人物确定单元39则更新要更新的检出人物的人物登记信息的内容。

即，人物确定单元39额外把存储在检出人物的检出人物信息中的表示不同关系的一种或多种人物关系作为层次结构中低一级的信息并列地与要更新的检出人物的人物登记信息中的关系索引关联起来。

这样，如果人物登记信息的内容被更新，那么人物确定单元39依次通过存储/再现控制单元36和存储/再现单元27把内容被更新了的人物登记信息发送到存储介质28。从而，人物确定单元39在存储介质28中存储内容被更新了的人物登记信息，以便覆盖在更新内容之前的人物登记信息上。

同时，数字摄像机10被使用多年，从而可能积累通过拍摄从一个人孩童时代直到该人变为成人的各种场景而生成的视频文件，或者通过拍摄该人变为成人后的各种场景而生成的视频文件。

如果数字摄像机10被使用多年并且被摄人物的次数和通过拍摄存储的视频文件的数目增加，那么基于这些视频文件可以获得关于被摄人物的更多信息(具有各种内容的检出人物信息)。

因此，每当检出人物信息被从关系判定单元65提供来时，人物确定单元39就执行数据库更新处理，以适当地更新人物登记信息的内容，以便人物登记信息可以更准确地表示该人物的样子。

当一个人变为成人时，脸部外观很少变化。然而，当一个人从孩童成长为成人时，脸部外观往往会随着成长而变化。因此，如果数字摄像机10被使用多年，那么即使对于同一人物，人物确定单元39也可能基于人物脸部特征量而将孩童时代的该人物和变为成人的该人物判定为不同人物，并且可能生成分别表示孩童时代的该人物和变为成人的该人物的两种人物登记信息。

即，如果孩童时代的人物被拍摄并且视频文件被生成，那么人物确定单元39生成该人物的人物登记信息并且将该人物登记信息登记在人物数据库中。

如果该人物在成长过程中或者在变为成人之后被拍摄并且视频文件被生成，那么人物确定单元39判定该人物不同于孩童时代的该人物，其中脸部外观变化了。人物确定单元39可能为该人物生成新的人物登记信息，并且将该人物登记信息登记在人物数据库中。

因此，如果每个检出人物的检出人物信息被从关系判定单元65提供来，那么人物确定单元39在上述数据库更新处理之前，执行作为被摄人物确定处理的一部分的人物确定处理。

此时，人物确定单元39基于每个检出人物的检出人物信息中存储的人物关系信息来检测是否至少判定了尚未被确定的一个人物与姓名或敬称(妈妈或爸爸)被确定的另一人物之间的关系。

结果，如果当前判定了这样的关系，那么人物确定单元39从人物数据库中的多种人物登记信息中搜索另一所确定人物的人物登记信息。

人物确定单元39检测搜索到的人物登记信息是否存在表示另一所确定人物和别的人物之间的关系与未确定的人物和另一所确定人物之间的当前判定的关系相同的人物关系信息。

结果，如果判定另一所确定人物和该别的人物之间的关系与所确定人物和尚未确定的人物之间的关系相同，那么人物确定单元39判定尚未确定的人物为与该别的人物相同的人物。

这样，如果数字摄像机10被使用多年，那么人物确定单元39在适当执行的人物确定处理期间，比较当前判定的关系与先前判定的关系。即使当脸部外观变化时，人物确定单元39也可以基于比较结果将所有在其孩童时代或成长期间以及该人变为成人后的检出人物确定为同一人物。

下面，将参考图10来具体描述检出人物的这种确定。首先，例如，如果孩童时代的人物A与人物B一起被拍摄并且当时检测到人物A的姓名是“A”，那么人物确定单元39为人物A生成存储表示姓名“A”的姓名信息的人物登记信息。

人物确定单元39将人物A的人物登记信息存储在人物数据库中。此时，人物确定单元39为与人物A同时被拍摄的人物B生成人物登记信息，并且把该人物登记信息登记在人物数据库中。

接下来，如果人物A和人物B再次被同时拍摄，并且当时判定人物A和人物B(例如母亲)具有亲子关系，那么人物确定单元39在人物A的人物登记信息中存储表示人物A和作为母亲的人物B具有亲子关系的人物关系信息。

人物确定单元39把此时判定为亲子关系的人物A和作为母亲的人物B之间的关系与人物B的人物登记信息中存储的人物关系信息所表示的人物B和别的人物之间的关系相比较。

然而，在这个时间点，如果只有孩童时代的人物A与作为母亲的人物B具有亲子关系，那么人物确定单元39可能不会从人物B和别的人物之间的关系中检测到被判定为亲子关系的作为母亲的人物B和别的人物之间的关系。

因此，此时，人物确定单元39依次通过存储/再现控制单元36和存储/再现单元27将内容被更新了的人物A的人物登记信息发送到存储介质28。从而，人物确定单元39把内容被更新了的人物A的人物登记信息存储在存储介质28中，以便写在内容被更新之前人物A的人物登记信息上，从而更新人物数据库中的人物A的人物登记信息。

此时，人物确定单元39还在与人物A同时被拍摄的人物B的人物登记信息中存储表示人物A和作为母亲的人物B具有亲子关系的人物关系信息。

这样，如果人物B的人物登记信息的内容被更新，那么人物确定单元39依次通过存储/再现控制单元36和存储/再现单元27把内容被更新了的人物B的人物登记信息发送到存储介质28。

从而，人物确定单元39在存储介质28中存储内容被更新了的人物B的人物登记信息，以便写在内容被更新之前人物B的人物登记信息上，从而更新人物数据库中人物B的人物登记信息。

然后，例如，如果变为成人的人物A与人物B同时被拍摄，那么人物确定单元39可能分开地分成作为成人的人物A的人物登记信息和孩童时代的人物A的人物登记信息。

此时，如果判定人物A和人物B(母亲)具有亲子关系，那么人物确定单元39在作为成人的人物A的人物登记信息中存储表示人物A和作为母亲的人物B具有亲子关系的人物关系信息。

此时，人物确定单元39比较被判定为亲子关系的人物A和作为母亲的人物B之间的关系和由人物B的人物登记信息中存储的人物关系信息表示的人物B和别的人物之间的关系。

结果，如果从人物B和别的人物之间的关系中检测到被判定为亲子关系的作为母亲的人物B和别的人物(孩童时代的人物A)之间的关系，那么人物确定单元39把人物A(作为成人的人物A)和该别的人物(孩童时代的人物A)确定为同一人物。

即，如果人物A和该别的人物都与作为母亲的人物B具有亲子关系，那么人物A(作为成人的人物A)和该别的人物(孩童时代的人物A)是作为母亲的人物B的孩子。从而，人物确定单元39将人物A和该别的人物确定为同一人物。

同时，例如，如果人物A和该别的人物被确定为同一人物，那么人物确定单元39依次通过存储/再现控制单元36和存储/再现单元27从存储介质28中读取在人物数据库中登记的该别的人物的人物登记信息。

人物确定单元39例如把该别的人物(孩童时代的人物A)的人物登记信息的内容添加到人物A(作为成人的人物A)的人物登记信息，从而统一是同一个人物的作为成人的人物A和孩童时代的人物A的人物登记信息。

此时，人物确定单元39在人物A的统一单个人物登记信息的人物信息中除了存储作为成人的人物A的人物脸部特征量，还存储孩童时代的人物A的人物脸部特征量。从而，人物确定单元39可以将新的人物登记信息用作作为成人的人物A和孩童时代的人物A的人物登记信息。

此时，除了与作为成人的人物A相对应的文件标识信息之外，人物确定单元39还把与孩童时代的人物A相对应的文件标识信息与人物A的统一单个人物登记信息中的视频索引关联起来。

除了表示作为成人的人物A的所判定关系的人物关系信息之外，人物确定单元39还把表示孩童时代的人物A的所判定关系的人物关系信息与人物A的统一单个人物登记信息中的关系索引关联起来。

人物确定单元39把从作为成人的人物A检测的姓名信息或昵称信息以及从孩童时代的人物A检测的姓名信息或昵称信息与人物A的统一单个人物登记信息中的人物姓名索引关联起来。

从而，即使当人物A变为成人之后未检测到人物A的姓名时，如果以上述方式在其孩童时代检测到了人物A的姓名，那么人物确定单元39也能够将人物A和该别的人物确定为具有姓名“A”的同一人物。

如果作为成人的人物A和孩童时代的人物A的两种人物登记信息被统一为单个人物登记信息，那么人物确定单元39依次通过存储/再现控制单元36和存储/再现单元27把该单个人物登记信息发送到存储介质28。

从而，人物确定单元39把人物A的统一单个人物登记信息存储在存储介质28中，以便写在例如作为成人的人物A的人物登记信息上。人物确定单元39例如擦除孩童时代的人物A的人物登记信息。

同时，如果人物A的姓名在其孩童时代未被检测到，但在作为成人的人物A和孩童时代的人物A被确定为同一人物之后被检测到，那么人物确定单元39确定人物A具有检测到的姓名，无论是成人还是孩童。

当判定人物A和人物B(母亲)具有亲子关系时，如果检测到人物A的姓名是“A”，并且人物A和别的人物是具有姓名“A”的同一人物，那么人物确定单元39可以集中确定人物A和该别的人物。

例如，如果在人物A和别的人物被确定为同一人物之前检测到人物A的姓名为“A”，那么人物确定单元39检测是否存在存储着表示该姓名的姓名信息的、除人物A以外的人物的人物登记信息。

如果在除人物A以外的人物的人物登记信息中存在存储着表示姓名“A”的姓名信息的人物登记信息，那么人物确定单元39把带有该姓名信息的人物登记信息所表示的人物和人物A确定为具有姓名“A”的同一人物。

这样，人物确定单元39可以确定人物A和别的人物是同一人物。即使当以这种方式确定人物时，人物确定单元39也可以统一人物A的人物登记信息并且将人物登记信息登记在人物数据库中。

同时，如果人物确定处理和数据库更新处理已被顺次执行，那么人物确定单元39还顺次执行作为被摄人物确定处理的一部分的属性信息生成处理。在此情况下，人物确定单元39通过使用此时从关系判定单元65提供来的每个检出人物的检出人物信息以及例如统一的人物登记信息来生成视频文件的文件属性信息。

此时，人物确定单元39在生成文件属性信息时还使用此时从视频文件生成单元35提供来的头部数据。另外，此时，如果拍摄对象检测信息或者事件名称检测信息被从被摄物推定单元46提供来，那么人物确定单元39在生成文件属性信息时还使用拍摄对象检测信息或事件名称检测信息。

在此情况下，如图11所示，人物确定单元39生成整体上具有层次树结构的文件属性信息，使得文件属性信息中的顶级信息被定义为文件标识信息。

人物确定单元39把人物索引、拍摄地点索引、事件索引以及拍摄日期和时刻信息作为层次结构中低一级的信息并列地与文件标识信息关联起来。

这里，人物索引是关于当前检测到的检出人物的信息的索引。拍摄地点索引是关于拍摄地点的信息的索引。事件索引是关于事件的信息的索引。

人物确定单元39把分别表示当前检测到的所有检出人物的人物信息作为层次结构中低一级的信息并列地与人物索引关联起来。同时，人物确定单元39在每个检出人物的人物信息中存储人物脸部特征量，来作为表示该检出人物的信息。

如果检出人物的姓名或昵称被检测到，那么人物确定单元39还把表示姓名的姓名信息或表示昵称的昵称信息与人物脸部特征量一起存储在人物信息中。

人物确定单元39把时段索引、人物姓名索引、关系索引和动作索引作为层次结构中低一级的信息与每个检出人物的人物信息关联起来。

这里，每个检出人物的时段索引是表示检出人物在存储运动图像中的地段的存在时段信息的索引。每个检出人物的人物姓名索引是表示检出人物的姓名的姓名信息和表示检出人物的昵称的昵称信息的索引。

每个检出人物的关系索引是表示当前检测的(即，同时拍摄的)多个检出人物之间的关系的人物关系信息的索引。每个检出人物的动作索引是表示检出人物的动作的动作信息的索引。

从而，人物确定单元39把表示检出人物在存储运动图像中的时段的存在时段信息作为层次结构中低一级的信息与每个检出人物的时段索引关联起来。如果存在同一检出人物在存储运动图像中的多个时段，那么人物确定单元39把多种存在时段信息并列地与检出人物的时段索引关联起来。

如果检出人物的姓名或昵称被检测到，那么人物确定单元39把姓名信息或昵称信息作为层次结构中低一级的信息并列地与检出人物的人物姓名索引关联起来。

如果基于视频文件判定并且还如上所述利用人物登记信息判定了当前检测到的多个检出人物之间的关系，那么人物确定单元39在生成文件属性信息时使用表示该关系的一种或多种人物关系信息。

即，人物确定单元39把表示基于视频文件判定并且还如上所述通过利用人物登记信息判定的关系的一种或多种人物关系信息作为层次结构中低一级的信息并列地与检出人物的关系索引关联起来。

人物确定单元39还把表示检出人物的当前检测到的动作的一种或多种动作信息作为层次结构中低一级的信息并列地与每个检出人物的动作索引关联起来。

人物确定单元39还把拍摄位置/方向信息作为层次结构中低一级的信息与拍摄地点索引关联起来。同时，如果拍摄对象在存储运动图像中，那么除了拍摄位置/方向信息之外，人物确定单元39还把地名信息、拍摄对象名称信息以及表示拍摄对象在存储运动图像中的时段的一种或多种存在时段信息并列地与拍摄地点索引关联起来。

如果检测到事件名称，那么人物确定单元39把事件名称和表示事件名称在存储运动图像中的时段的一种或多种存在时段信息作为层次结构中低一级的信息并列地与事件索引关联起来。

这样，人物确定单元39有层次地生成文件属性信息。如果生成了文件属性信息，那么人物确定单元39把生成的文件属性信息存储在例如头部数据中，从而更新头部数据的内容。人物确定单元39把内容被更新了的头部数据返回给视频文件生成单元35。

每当内容被更新了的头部数据被从人物确定单元39返回来时，视频文件生成单元35就把头部数据再次添加到视频数据以更新视频文件的内容。视频文件生成单元35把内容被更新了的视频文件发送给存储/再现控制单元36。

从而，存储/再现控制单元36通过存储/再现单元27把从视频文件生成单元35提供来的视频文件发送给存储/再现单元27，并且再次将视频文件存储在存储介质28中，以便写在内容被更新之前的视频文件上。

这样，每当利用视频文件执行被摄人物确定处理时，人物确定单元39就生成视频文件的文件属性信息，以便视频文件本身或视频文件的内容可以很容易被检测。

[2-3人生影集创建处理]

即使当一个人在多年中从其孩童时代其被频繁拍摄时，控制单元11也利用通过拍摄生成的视频文件来执行被摄人物确定处理，以便多个视频文件中的该人物可被确定为同一人物，而不论脸部外观有何变化。

因此，如果一个人在多年中被频繁拍摄，那么控制单元11从当时生成和积累的多个视频文件中提取并组合该人物出现的部分，以便能够创建示出到此为止该人物的人生的人生影集。

下面，将描述控制单元11创建由用户指定的人物(以下也称为指定人物)的人生影集的人生影集创建处理。

如果用户对操作键12进行操作以指示创建人生影集，那么控制单元11执行人生影集创建处理。此时，如果用户对操作键12进行操作并且作为人生影集的主角的指定人物例如通过输入姓名而被指定，那么控制单元11通过存储/再现单元27在存储介质28的人物数据库中基于该姓名搜索指定人物的人物登记信息。

控制单元11通过存储/再现单元27从存储介质28中读取搜索到的指定人物的人物登记信息。控制单元11从该人物登记信息中加载所有文件标识信息。控制单元11基于文件标识信息通过存储/再现单元27从存储介质读取文件标识信息所标识的视频文件。

控制单元11从所有读取的视频文件中加载头部数据，并且还从头部数据中加载文件属性信息。从而，控制单元11首先基于文件属性信息中存储的动作信息来检索通过拍摄指定人物在其孩童时代(年轻阶段)做出的诸如爬行、肩背、拥抱或进食之类的预先选择的特定动作而生成的视频文件。然后，控制单元11从检索到的视频文件中加载视频数据，并且将视频数据发送给编解码器18。

此时，编解码器18把从控制单元11提供来的视频数据分成压缩图像数据、压缩右声音数据、压缩左声音数据和压缩后声音数据，并且还对压缩图像数据进行解压缩和解码以生成原始存储运动图像数据。

编解码器18还对压缩右声音数据、压缩左声音数据和压缩后声音数据进行解压缩和解码，以生成原始右声音数据、左声音数据和后声音数据。编解码器18把存储运动图像数据、右声音数据、左声音数据和后声音数据发送给控制单元11。

如果存储运动图像数据、右声音数据、左声音数据和后声音数据被从编解码器18提供来，则控制单元11从与存储运动图像数据、右声音数据、左声音数据和后声音数据相对应的文件属性信息中加载表示上述各种动作的动作信息。

控制单元11基于动作信息，从存储运动图像数据、右声音数据、左声音数据和后声音数据中集中提取出与动作信息所表示的动作时段相对应的部分，作为部分图像。

即，控制单元11从存储运动图像数据、右声音数据、左声音数据和后声音数据中集中提取与存储运动图像数据的动作时段和右声音数据、左声音数据和后声音数据的动作时段相对应的时段，来作为部分图像。

控制单元11从指定人物的人物登记信息中加载地址信息。控制单元11基于地址信息和文件属性信息中存储的拍摄位置/方向信息，来检索出通过在远离指定人物的住所的位置拍摄指定人物而生成的视频文件，作为通过在旅行目的地拍摄指定人物而生成的视频文件。

控制单元11从检索出的视频文件中加载视频数据，并且把视频数据发送到编解码器18，从而以与上述相同的方式获得存储运动图像数据、右声音数据、左声音数据和后声音数据。

此时，控制单元11从与存储运动图像数据、右声音数据、左声音数据和后声音数据相对应的文件属性信息中加载指定人物的存在时段信息。控制单元11基于存在时段信息，从存储运动图像数据、右声音数据、左声音数据和后声音数据中集中提取与存在时段相对应的部分，来作为部分图像。

即，控制单元11从存储运动图像数据、右声音数据、左声音数据和后声音数据中集中提取与存储运动图像数据的存在时段和右声音数据、左声音数据和后声音数据的存在时段相对应的时段，来作为部分图像。

控制单元11基于文件属性信息中存储的事件名称信息来检索出通过在诸如开学典礼、毕业典礼、运动会或表演会之类的预先选择的特定事件中拍摄指定人物而生成的视频文件。

此时，控制单元11从与存储运动图像数据、右声音数据、左声音数据和后声音数据相对应的文件属性信息中加载指定人物的存在时段信息。控制单元11基于存在时段信息，以与上述相同的方式，从存储运动图像数据、右声音数据、左声音数据和后声音数据中集中提取与存在时段相对应的部分，来作为部分图像。

控制单元11基于文件属性信息中存储的拍摄日期和时刻信息，通过从最老部分图像到最新部分图像顺次组合基于视频文件获得的部分图像，来生成单个运动图像数据。控制单元11还生成与运动图像数据同步再现的三种右声音数据、左声音数据和后声音数据。

控制单元11在与每个动作的部分图像的开头、旅行的部分图像的开头、事件的部分图像的开头等等相对应的运动图像数据的位置处，插入表示动作的类型、地名、事件名称等等的字符串(即，文本)，作为标记。

此时，控制单元11例如使用事件名称信息或动作信息中存储的动作名称信息所表示的字符串(即，文本)来作为插入到运动图像数据中的标记。

控制单元11向运动图像数据、右声音数据、左声音数据和后声音数据添加预先准备的音效的音乐数据。这样，控制单元11自动生成包括添加了标记或音效的运动图像数据、右声音数据、左声音数据和后声音数据的人生影集数据。

此时，控制单元11只是组合多个部分图像，并且如果用户预先指定了人生影集的再现时间(即，数据长度)，则计算多个部分图像的总时间。

控制单元11将总时间与预先指定的再现时间相比较。结果，如果总时间等于或短于预先指定的再现时间，那么控制单元11原样组合多个部分图像。

相反，如果总时间比预先指定的再现时间长，则控制单元11例如基于音量水平的变化从各个部分图像中检测指定人物或摄影师快乐(音量水平增大)的场景。

控制单元11还从各个部分图像提取检测到的场景的部分，并且根据预先指定的再现时间来以时间序列的形式组合这些部分，以生成单个运动图像数据和三种右声音数据、左声音数据和后声音数据。这样，控制单元11可生成具有预先指定的再现时间的人生影集数据。

如果指定了多个指定人物，那么控制单元11可以组合多个指定人物而不是单个指定人物的部分图像来生成人生影集。

如果以这种方式生成了人生影集数据，那么控制单元11将人生影集数据发送到编解码器18。如果人生影集数据被从控制单元11提供来，那么编解码器18对构成人生影集数据的运动图像数据、右声音数据、左声音数据和后声音数据进行压缩和编码，并且执行时分复用以生成压缩影集数据。编解码器18把压缩影集数据发送给控制单元11。

如果压缩影集数据被从编解码器18提供来，则控制单元11通过对压缩影集数据进行文件化来生成影集文件。控制单元11把影集文件发送到存储/再现单元27，并且通过存储/再现单元27将影集文件存储在存储介质28中。

如果用户对操作键进行操作以指示再现人生影集文件数据，那么控制单元11通过存储/再现单元27从存储介质28中读取影集文件。控制单元11从影集文件中加载压缩影集数据，并且还将加载的压缩影集数据发送到编解码器18。

如果压缩影集数据被从控制单元11提供来，则编解码器18分割压缩影集数据，并且对压缩影集数据进行解压缩和解码，以生成原始人生影集数据(即，运动图像数据、右声音数据、左声音数据、后声音数据和音乐数据))。编解码器18把人生影集数据发送给控制单元11。

如果人生影集数据被从编解码器18提供来，则控制单元11把构成人生影集数据的运动图像数据发送给显示单元17。控制单元11还基于构成人生影集数据的右声音数据、左声音数据、后声音数据和音乐数据生成右声道数据和左声音数据，并且把右声道数据和左声道数据发送给声音处理部件29。从而，控制单元11在显示单元17上显示基于运动图像数据的运动图像。

声音处理部件29对从控制单元11提供来的右声道数据和左声道数据执行声音处理，并且把所获得的右声道信号和左声道信号发送给例如一对立体声扬声器30和31。

从而，控制单元11通过一对扬声器30和31，与运动图像的显示同步地输出立体声音，并且还通过扬声器28和29适当地输出音效。这样，控制单元11可允许用户观看通过收集指定人物的部分图像而创建的人生影集。

[2-4被摄人物确定处理过程]

接下来，将参考图12来描述每次控制单元11通过存储/再现单元27从存储介质28中读取视频文件时根据被摄人物确定程序执行的被摄人物确定处理过程RT1。

如果通过存储/再现单元27从存储介质28中读取了视频文件，那么控制单元11从视频文件中加载视频数据并且把视频数据发送到编解码器18。结果，如果原始存储运动图像数据、右声音数据、左声音数据和后声音数据被从编解码器18提供来，那么控制单元11根据预先存储在内部存储器中的被摄人物确定处理开始图12所示的被摄人物确定处理过程RT1。

如果被摄人物确定处理过程RT1开始，那么在步骤SP1中，控制单元11执行被摄物检测处理，以检测基于存储运动图像数据的存储运动图像中的被摄物。接下来，过程进行到步骤SP2。

在步骤SP2中，控制单元11判定在存储运动图像中是否检测到作为被摄物的人物。如果步骤SP2中的判定结果为肯定，那么这表明存储运动图像中的人物有可能被确定并且多个人物之间的关系有可能被判定。从而，如果步骤SP2中的判定结果为肯定，那么控制单元11进行到步骤SP3。

在步骤SP3中，控制单元11执行发声分析/关系推定处理，以分析基于右声音数据、左声音数据和后声音数据的右声音、左声音和后声音，从而提取出在存储运动图像中检测到的每个人物的发声。控制单元11基于每个人物的发声来适当地确定从存储运动图像中检测到的人物，并且计算多个人物之间的亲密度。然后，控制单元11进行到步骤SP4。

在步骤SP4中，控制单元11执行动作分析/关系推定处理以分析存储运动图像，从而推定多个人物的动作并且还从存储运动图像中提取出多个人物之间的亲密程度信息。控制单元11基于推定的动作或人物的发声，适当地确定人物并且适当地推定多个人物之间的关系。然后控制单元11进行到步骤SP5。

在步骤SP5中，控制单元11基于亲密度或亲密程度信息来执行关系判定处理，以适当地判定多个人物之间的推定关系。然后，控制单元11进行到步骤SP6。

在步骤SP6中，控制单元11执行人物确定处理。如果所判定的多个人物中的至少一个人物未被确定，那么控制单元11基于关系和人物登记信息中存储的人物关系信息来适当地确定未确定的人物。然后，控制单元11进行到步骤SP7。

在步骤SP7中，控制单元11生成或更新表示存储运动图像中的人物的人物登记信息，并且还生成表示存储运动图像中的多个人物、多个人物之间的关系等等的文件属性信息。然后，控制单元11进行到步骤SP8。

从而，在步骤SP8中，控制单元11结束被摄人物确定处理过程RT1。如果步骤SP2中的判定结果为否定，那么这表明在存储运动图像中没有人物并且多个人物之间的关系无法被判定。因此，在步骤SP2中，如果判定结果为否定，那么控制单元11进行到步骤SP9。

在步骤SP9中，控制单元11生成表示存储运动图像中的作为被摄物的除人物以外的拍摄对象的文件属性信息，并且进行到步骤SP8。在步骤SP8中，控制单元11结束被摄人物确定处理过程RT1。

[2-4-1被摄物检测处理]

接下来，将参考图13来描述在上述被摄人物确定处理过程RT1的步骤SP1中控制单元11执行的被摄物检测处理。如果被摄人物确定处理过程RT1开始并且过程进行到步骤SP1，那么控制单元11开始图13所示的被摄物检测处理子过程SRT1。

如果被摄物检测处理子过程SRT1开始，那么在步骤SP101中，控制单元11逐一顺次使用构成存储运动图像的多个单位图像，并且从单位图像中提取图像的特征量。然后，控制单元11进行到步骤SP102。

在步骤SP102中，控制单元11从根据被摄物拍摄时单位图像的生成而顺次检测到的拍摄位置和拍摄方向中按检测时间顺序选择一组拍摄位置和拍摄方向。控制单元11基于所选择的那组拍摄位置和拍摄方向来搜索能够被该拍摄位置和拍摄方向拍摄的拍摄对象。然后，控制单元11进行到步骤SP103。

在步骤SP103中，控制单元11判定是否存在能够被该拍摄位置和拍摄方向拍摄的拍摄对象。如果步骤SP103中的判定结果为肯定，那么这表明，当检测到在步骤SP102中选择的拍摄位置和拍摄方向时，数字摄像机10正朝着拍摄对象拍摄。

即，肯定判定结果表明，拍摄对象有可能在当检测到在步骤SP102中选择的拍摄位置和拍摄方向时生成的单个单位图像中。在步骤SP103中，如果判定结果为肯定，那么控制单元11进行到步骤SP104。

在步骤SP104中，控制单元11基于从单位图像中提取的区域外特征量和能够被该拍摄位置和拍摄方向拍摄的拍摄对象的拍摄对象特征量来计算准确度。然后，控制单元11进行到步骤SP105。

在步骤SP105中，控制单元11将该准确度与第一阈值相比较，以判定该准确度是否等于或大于第一阈值。如果在步骤SP105中判定结果为肯定，那么这表明拍摄对象在单位图像中。

在步骤SP105中，如果判定结果为肯定，那么控制单元11进行到步骤SP106。在步骤SP106中，控制单元11将单位图像中的被摄物推定为拍摄对象。然后，控制单元11进行到步骤SP107。

同时，如果步骤SP105中的判定结果为否定，那么这表明拍摄对象不太可能在单位图像中。在步骤SP105中，如果判定结果为否定，那么控制单元11进行到步骤SP108。

在步骤SP108中，控制单元11判定是否从单位图像中检测到表示拍摄对象的字符串。如果步骤SP108中的判定结果为肯定，那么这表明拍摄对象在单位图像中，但拍摄对象在某物的阴影下。从而，在步骤SP108中，如果判定结果为肯定，那么控制单元11进行到步骤SP106。

在步骤SP107中，控制单元11判定是否从单位图像中提取出假定区域特征量。如果步骤SP107中的判定结果为肯定，那么这表明在单位图像中检测到出现人物脸部的假定区域，并且从假定区域中提取出了假定区域特征量。

在步骤SP107中，如果判定结果为肯定，那么控制单元11进行到步骤SP109。从而，在步骤SP109中控制单元11基于假定区域特征量和脸部检测特征量来计算准确度。然后，控制单元11进行到步骤SP110。

在步骤SP110中，控制单元11将准确度与第二阈值相比较，以判定准确度是否等于或大于第二阈值。如果在步骤SP110中判定结果为肯定，那么这表明人物作为被摄物在单位图像中。

在步骤SP110中，如果判定结果为肯定，那么控制单元11进行到步骤SP111。在步骤SP111中，控制单元11将单位图像中的被摄物推定为人物。然后，控制单元11进行到步骤SP112。

在步骤SP112中，控制单元11判定从构成存储运动图像的多个单位图像中提取的特征量是否被完成用于检测被摄物。如果步骤SP112中的判定结果为否定，那么这表明尚未对整个存储运动图像执行被摄物检测处理。从而，在步骤SP112中，如果判定结果为否定，那么控制单元11返回到步骤SP102。

同时，如果步骤SP103中的判定结果为否定，那么这表明数字摄像机10正在不存在拍摄对象的地点拍摄被摄物。在步骤SP103中，如果判定结果为否定，那么控制单元11进行到步骤SP107。

如果步骤SP108中的判定结果为否定，那么这表明拍摄对象不在单位图像中。从而，在步骤SP108中，如果判定结果为否定，那么控制单元11进行到步骤SP107。

如果步骤SP107中的判定结果为否定，那么这表明人物的脸部不在单位图像中。从而，在步骤SP107中，如果判定结果为否定，那么控制单元11进行到步骤SP112。

如果步骤SP110中的判定结果为否定，那么这表明单位图像中的假定区域被错误地检测，并且人物的脸部不在单位图像中。从而，在步骤SP110中，如果判定结果为否定，那么控制单元11进行到步骤SP112。

然后，控制单元11反复执行步骤SP102至SP112，直到在步骤SP112中获得肯定判定结果为止。从而，控制单元11通过顺次使用从构成存储运动图像的多个单位图像中提取的特征量来执行被摄物检测处理。

如果步骤SP112中的判定结果为肯定，那么这表明对于整个存储运动图像完成了被摄物检测处理。从而，在步骤SP112中，如果判定结果为肯定，那么控制单元11进行到步骤SP113。在步骤SP113中，控制单元11结束被摄物检测处理子过程SRT1并且进行被摄人物确定处理过程RT1的步骤SP2。

[2-4-2发声分析/关系推定处理]

接下来，将参考图14和15来描述在被摄人物确定处理过程RT1的步骤SP3中控制单元11执行的发声分析/关系推定处理。如果在被摄人物确定处理过程RT1中过程进行到步骤SP3，那么控制单元11开始图14和15所示的发声分析/关系推定处理子过程SRT2。

如果发声分析/关系推定处理子过程SRT2开始，那么在步骤SP201中，控制单元11基于右声音数据、左声音数据和后声音数据，生成每个人物的发声文本(单独发声文本或交谈中发声文本)。

此时，如果从交谈中的多个人物生成发声文本，那么控制单元11基于发声文本、右声音数据、左声音数据和后声音数据来获得每个人物的发声速度和语音音高。然后，控制单元11进行到步骤SP202。

在步骤SP202中，控制单元11对单独发声的人物或交谈中的多个人物的发声文本进行词素分析，以提取多个单词。然后，控制单元11进行到步骤SP203。在步骤SP203中，控制单元11通过字符匹配方法把从发声文本中提取的单词与预先保存的多个人物姓名相比较。然后，控制单元11进行到步骤SP204。

在步骤SP204中，控制单元11判定是否从发声文本的单词中检测出与人物的姓名相一致的单词。如果步骤SP204中的判定结果为肯定，那么这表明被拍摄的人物或者拍摄排除人物称呼了该人物的姓名。在步骤SP204中，如果判定结果为肯定，那么控制单元11进行到步骤SP205。

在步骤SP205中，此时，如果从交谈中的人物的发声文本中检测到姓名，那么控制单元11检测说出该姓名的人物的位置。然后，控制单元11进行到步骤SP206。在步骤SP206中，控制单元11通过字符匹配方法把从存储运动图像中检测出的字符串与该人物的姓名相比较。然后，控制单元11进行到步骤SP207。

在步骤SP207中，控制单元11判定该字符串和该人物的姓名是否相互一致。如果步骤SP207中的判定结果为肯定，那么这表明被拍摄的人物佩戴着绘出被另一人物称呼的姓名的姓名标签。

在步骤SP207中，如果判定结果为肯定，那么控制单元11进行到步骤SP208。在步骤SP208中，控制单元11把被拍摄的人物(佩戴姓名标签的人物)确定为具有被称呼的姓名的人物。然后，控制单元11进行到步骤SP209。

在步骤SP209中，控制单元11通过字符匹配方法把从发声文本中提取的单词与预先保存的多个人物昵称相比较。然后，控制单元11进行到步骤SP210。

在步骤SP210中，控制单元11判定是否从发声文本的单词中检测出与人物的昵称相一致的单词。如果步骤SP210中的判定结果为肯定，那么这表明被拍摄的人物或者拍摄排除人物称呼了该人物的昵称。

在步骤SP210中，如果判定结果为肯定，那么控制单元11进行到步骤SP211。在步骤SP211中，如果从交谈中的人物的发声文本中检测到昵称，那么控制单元11检测说出该昵称的人物的位置。然后，控制单元11进行到步骤SP212。

在步骤SP212中，控制单元11通过字符匹配方法把从交谈中的人物的发声文本中提取的单词与预先保存的多个方言单词和标准语言单词相比较。然后，控制单元11进行到步骤SP213。

在步骤SP213中，控制单元11通过字符匹配方法把从交谈中的人物的发声文本中提取的单词与预先保存的多个关系推定语句相比较。然后，控制单元11进行到步骤SP214。

在步骤SP214中，控制单元11判定是否从发声文本的单词中检测到了与关系推定语句相一致单词。如果步骤SP214中的判定结果为肯定，那么这表明被拍摄的人物或者拍摄排除人物利用可用于推定人物之间的关系的关系推定语句称呼了另一人物。

在步骤SP214中，如果判定结果为肯定，那么控制单元11进行到步骤SP215。在步骤SP215中，控制单元11检测说出关系推定语句的人物的位置。然后，控制单元11进行到步骤SP216。

在步骤SP216中，控制单元11通过字符匹配方法把从交谈中的人物的发声文本中提取的单词与预先保存的多个动作推定语句相比较。然后，控制单元11进行到步骤SP217。

在步骤SP217中，控制单元11把从交谈中的每个人物的发声文本中检测到的姓名、昵称、方言单词、语气等等定义为用于检测人物的说话方式的发声信息。对于每个人物，控制单元11基于发声信息获得与表示该人物的说话方式的友好判定项目CO相对应的评估值VA。然后，控制单元11进行到步骤SP218。

在步骤SP218中，对于交谈中的每个人物，控制单元11基于交谈速度和语音音高，来推定交谈时的感情。然后，控制单元11进行到步骤SP219。在步骤SP219中，控制单元11通过利用交谈中的每个人物的说话方式的评估值VA或者所推定的交谈时的感情，来计算交谈中的多个人物之间的亲密度。然后，控制单元11进行到步骤SP220。在步骤SP220中，控制单元11结束发声分析/关系推定处理子过程SRT2，并且进行到被摄人物确定处理过程RT1的步骤SP4。

同时，如果步骤SP204中的判定结果为否定，那么这表明被拍摄的人物或者拍摄排除人物没有称呼任何人物的姓名。在步骤SP204中，如果判定结果为否定，那么控制单元11进行到步骤SP209。

如果步骤SP207中的判定结果为否定，那么这表明从存储运动图像中检测到了与人物的姓名不同的字符串，并且无法确定人物的姓名。在步骤SP207中，如果判定结果为否定，那么控制单元11进行到步骤SP209。

如果在步骤SP210中判定结果为否定，那么这表明被拍摄的人物或者拍摄排除人物没有称呼任何人物的昵称。在步骤SP210中，如果判定结果为否定，那么控制单元11进行到步骤SP212。

如果步骤SP214中的判定结果为否定，那么这表明被拍摄的人物或者拍摄排除人物没有利用可用于推定人物之间的关系的关系推定语句称呼另一人物。在步骤SP214中，如果判定结果为否定，那么控制单元11进行到步骤SP216。

虽然没有示出，但是当只生成单独发声的人物的发声文本时，控制单元11只执行步骤SP201至SP204、步骤SP206至SP210以及步骤SP212。

[2-4-3动作分析/关系推定处理]

接下来，将参考图16来描述在被摄人物确定处理过程RT1的步骤SP4中控制单元11执行的动作分析/关系推定处理。如果在被摄人物确定处理过程RT1中过程进行到步骤SP4，那么控制单元11开始图16所示的动作分析/关系推定处理子过程SRT3。

如果动作分析/关系推定处理子过程SRT3开始，那么在步骤SP301中，控制单元11基于一个或多个人物脸部从存储运动图像中顺次检测运动向量。

从而，控制单元11基于运动向量顺次检测存储运动图像的多个连续单位图像中的一个或多个人物。然后，控制单元11进行到步骤SP302。

在步骤SP302中，控制单元11基于从多个连续单位图像中检测到的一个或多个人物，来生成每个人物的剪影图像。然后，控制单元11进行到步骤SP303。

在步骤SP303中，如果从发声文本的单词中检测到与动作推定语句一致的单词，那么控制单元11基于动作推定语句来决定动作推定的预概率。然后，控制单元11进行到步骤SP304。

在步骤SP304中，对于每个人物，控制单元11基于剪影图像执行人体的建模和姿势推定，以生成三维模型数据。然后，控制单元11进行到步骤SP305。

在步骤SP305中，控制单元11基于三维模型数据来推定在拍摄期间人物所做出的动作。然后，控制单元11进行到步骤SP306。在SP306中，控制单元11把多个人物同时做出的动作与关系判定数据库相比较，以推定多个人物之间的关系。然后，控制单元11进行到步骤SP307。

在步骤SP307中，控制单元11判定是否从被拍摄的人物的发声文本的单词中检测到了与关系推定语句相一致的单词。如果步骤SP307中的判定结果为肯定，那么这表明被拍摄的人物有可能利用关系推定语句称呼了被拍摄的另一人物。在步骤SP307中，如果判定结果为肯定，那么控制单元11进行到步骤SP308。

在步骤SP308中，控制单元11判定基于所推定的人物的动作，来判定在被拍摄的人物之中是否存在响应于利用关系推定语句进行的称呼而做出动作的人物。

如果步骤SP308中的判定结果为肯定，那么这表明利用关系推定语句进行称呼的人物和对该称呼做出响应的人物之间的关系能够利用关系推定语句来推定。

在步骤SP308中，如果判定结果为肯定，那么控制单元11进行到步骤SP309。在步骤SP309中，控制单元11根据关系推定语句来推定利用关系推定语句进行称呼的人物和对该称呼做出响应的人物之间的关系。然后，控制单元11进行到步骤SP310。

在步骤SP310中，控制单元11判定在发声文本的单词中是否存在与人物的姓名或昵称相一致的单词。如果步骤SP310中的判定结果为肯定，那么这表明被拍摄的人物有可能是具有姓名或昵称的人物。在步骤SP310，如果判定结果为肯定，那么控制单元11进行到步骤SP311。

在步骤SP311中，控制单元11基于所推定的人物的动作，判定在被拍摄的人物之中是否存在响应于利用姓名或昵称进行的称呼而做出动作的人物。

如果步骤SP311中的判定结果为肯定，那么这表明在被拍摄的人物之中存在具有该姓名或昵称的人物。在步骤SP311，如果判定结果为肯定，那么控制单元11进行到步骤SP312。

在步骤SP312中，控制单元11把对称呼做出响应的人物确定为具有该姓名或昵称的人物。然后，控制单元11进行到步骤SP313。在步骤SP313中，控制单元11结束动作分析/关系推定处理子过程SRT3，并且进行到被摄人物确定处理过程RT1的步骤SP5。

同时，如果步骤SP307中的判定结果为否定，那么这表明，由于被拍摄的人物没有利用关系推定语句称呼被拍摄的另一人物，因此无法利用关系推定语句来推定多个人物之间的关系。在步骤SP307，如果判定结果为否定，那么控制单元11进行到步骤SP310。

如果步骤SP308中的判定结果为否定，那么这表明，由于在被拍摄的人物之中没有对利用关系推定语句进行的称呼做出响应的人物，因此无法利用关系推定语句来推定多个人物之间的关系。在步骤SP308中，如果判定结果为否定，那么控制单元11进行到步骤SP310。

如果步骤SP310中的判定结果为否定，那么这表明在被拍摄的人物之中不存在具有该姓名或昵称的人物。在步骤SP310，如果判定结果为否定，那么控制单元11进行到步骤SP313。

如果步骤SP311中的判定结果为否定，那么这表明在被拍摄的人物之中不存在对利用姓名或昵称进行的称呼做出响应的人物。在步骤SP311中，如果判定结果为否定，那么控制单元11进行到步骤SP313。

[2-4-4关系判定处理]

接下来，将参考图17来描述在被摄人物确定处理过程RT1的步骤SP5中控制单元11执行的关系判定处理。如果在被摄人物确定处理过程RT1中过程进行到步骤SP5，那么控制单元11开始图17所示的关系判定处理子过程SRT4。

如果关系判定处理子过程SRT4开始，那么在步骤SP401中，控制单元11基于亲密度或亲密程度信息来计算多个人物之间的推定关系的关系程度。然后，控制单元11进行到步骤SP402。

在步骤SP402中，控制单元11将关系程度与第三阈值相比较以判定关系程度是否等于或大于第三阈值。如果步骤SP402中的判定结果为肯定，那么这表明多个人物之间的关系被准确地推定。在步骤SP402中，如果判定结果为肯定，那么控制单元11进行到步骤SP403。

在步骤SP403中，控制单元11判定多个人物之间的关系是推定那样的。然后，控制单元11进行到步骤SP404。在步骤SP404中，控制单元11判定关系判定是否结束。

如果步骤SP404中的判定结果为否定，那么这表明仍有关系要推定。在步骤SP404中，如果判定结果为否定，那么控制单元11返回到步骤SP401。

然后，控制单元11反复执行步骤SP401至SP404，直到在步骤SP404中获得肯定判定结果为止。从而，控制单元11顺次判定先前推定的多个人物之间的关系是否准确。

如果步骤SP404中的判定结果为肯定，那么这表明关于所有关系是否准确的判定完成。在步骤SP404，如果判定结果为肯定，那么控制单元11进行到步骤SP405。在步骤SP404中，控制单元11结束关系判定处理子过程SRT4，并且进行到被摄人物确定处理过程RT1的步骤SP6。

[2-4-5人物确定处理]

接下来，将参考图18来描述被摄人物确定处理过程RT1的步骤SP6中控制单元11执行的人物确定处理。如果在被摄人物确定处理过程RT1中过程进行到步骤SP6，那么控制单元11开始图18所示的人物确定处理子过程SRT5。

如果人物确定处理子过程SRT5开始，那么在步骤SP501中，控制单元11基于人物之间的关系的当前判定结果来判定尚未确定的人物和所确定人物之间的关系是否被判定。

如果步骤SP501中的判定结果为肯定，那么这表明尚未确定的人物和另一人物有可能被确定为同一人物。在步骤SP501中，如果判定结果为肯定，那么控制单元11进行到步骤SP502。

在步骤SP502中，控制单元11基于人物登记信息判定是否判定了一所确定人物和另一所确定人物具有相同关系。如果步骤SP502中的判定结果为肯定，那么这表明尚未被步骤SP的人物是与另一所确定人物相同的人物。

在步骤SP502中，如果判定结果为肯定，那么控制单元11进行到步骤SP503。在步骤SP503中，控制单元11把尚未确定的人物确定为与另一所确定人物相同的人物。然后，控制单元11进行到步骤SP504。

在步骤SP504中，控制单元11基于当前人物确定结果，判定是否存在具有新确定的姓名的人物。如果步骤SP504中的判定结果为肯定，那么这表明当前确定的人物有可能被确定为与已确定的人物相同的人物。在步骤SP504中，如果判定结果为肯定，那么控制单元11进行到步骤SP505。

在步骤SP505中，控制单元11基于人物登记信息，判定是否存在具有与具有新确定的姓名的人物的姓名相同的姓名的已经确定的人物。如果SP505中的判定结果为肯定，那么这表明具有新确定的姓名的人物是与具有相同姓名的已经确定的人物相同的人物。

在步骤SP505中，如果判定结果为肯定，那么控制单元11进行到步骤SP506。在步骤SP506中，控制单元11把具有当前确定的姓名的人物确定为与具有相同姓名的已经确定的人物相同的人物。然后，控制单元11进行到步骤SP507。在步骤SP507中，控制单元11结束人物确定处理子过程SRT5，并且进行到被摄人物确定处理过程RT1的步骤SP6。

[2-5人生影集创建处理过程]

接下来，将参考图19来描述根据用户的指示由控制单元11执行的人生影集创建处理过程RT2。如果用户指示创建人生影集，那么控制单元11根据预先存储在内部存储器中的影集创建处理来开始图19所示的人生影集创建处理过程RT2。

如果人生影集创建处理过程RT2开始，那么在步骤SP21中，控制单元11等待，直到用户指定作为人生影集的主角的指定人物为止。如果按姓名指定了作为人生影集的主角的指定人物，那么控制单元11进行到步骤SP22。

在步骤SP22中，控制单元11基于姓名通过存储/再现单元27从存储介质28的人物数据库中读取指定人物的人物登记信息。然后，控制单元11进行到步骤SP23。

在步骤SP23中，控制单元11基于人物登记信息中存储的文件标识信息，通过存储/再现单元27从存储介质28中读取由文件标识信息标识的视频文件。控制单元11从视频文件中加载头部数据，并且还从头部数据中加载文件属性信息。

控制单元11基于文件属性信息中的动作信息来检索通过拍摄指定人物的各种动作生成的视频文件。控制单元11基于检索出的视频文件，从存储运动图像数据、右声音数据、左声音数据和后声音数据中集中提取与动作信息所表示的动作时段相对应的部分作为部分图像。然后，控制单元11进行到步骤SP23。

在步骤SP23中，控制单元11基于指定人物的人物登记信息中的地址信息和文件属性信息中的拍摄位置/方向信息，来检索通过在远离指定人物的住所的位置处拍摄指定人物而生成的视频文件。

控制单元11基于视频文件从存储运动图像数据、右声音数据、左声音数据和后声音数据中集中提取与存在时段相对应的部分作为部分图像。然后，控制单元11进行到步骤SP24。

在步骤SP24中，控制单元11基于文件属性信息中的事件名称信息，来检索通过在特定事件中拍摄指定人物而生成的视频文件。控制单元11基于检索出的视频文件，从存储运动图像数据、右声音数据、左声音数据和后声音数据中集中提取与存在时段相对应的部分作为部分图像。然后，控制单元11进行到步骤SP25。

在步骤SP25中，控制单元11基于文件属性信息中的拍摄日期和时刻信息，通过从最老部分图像到最新部分图像顺次组合多个部分图像，来生成单个运动图像数据。控制单元11还生成与运动图像数据同步再现的三种右声音数据、左声音数据和后声音数据。然后，控制单元11进行到步骤SP26。

在步骤SP26中，控制单元11向运动图像数据中插入标记，并且还向运动图像数据、右声音数据、左声音数据和后声音数据添加音效的音乐数据，以生成人生影集数据。然后，控制单元11进行到步骤SP27。在步骤SP27中，控制单元11结束人生影集创建处理过程RT2。

[2-6第一实施例的操作和效果]

利用上述配置，数字摄像机10的控制单元11拍摄被摄物以生成存储运动图像数据、右声音数据、左声音数据和后声音数据，并且把存储运动图像数据、右声音数据、左声音数据和后声音数据存储在存储介质28中。然后，数字摄像机10的控制单元11从存储介质28中读取存储运动图像数据、右声音数据、左声音数据和后声音数据。

数字摄像机10的控制单元11执行被摄人物确定处理，以检测基于存储运动图像数据的存储运动图像中的人物。数字摄像机10的控制单元11基于对右声音数据、左声音数据和后声音数据的分析结果和对存储运动图像数据的分析结果，来适当地确定人物并且判定该人物与另一人物之间的关系。数字摄像机10的控制单元11把表示人物之间的关系的人物关系信息存储在存储介质28中。

每次从存储介质28中读取新存储的存储运动图像数据、右声音数据、左声音数据和后声音数据时，数字摄像机10的控制单元11就执行被摄人物确定处理以判定人物之间的关系。数字摄像机10的控制单元11把表示所判定的关系的人物关系信息存储在存储介质28中。

在被摄人物确定处理期间，如果判定了未确定的人物和已确定的人物之间的关系，那么数字摄像机10的控制单元11基于所判定的关系和已存储的人物关系信息所表示的人物之间的关系，来确定未确定的人物。

因此，即使当从存储运动图像中检测到的人物是与从另一存储运动图像中检测到的、脸部外观已变化的人物相同的人物时，数字摄像机10的控制单元11也可以把从该存储运动图像中检测到的人物确定为与从另一存储运动图像中检测到的人物相同的人物。

根据上述配置，数字摄像机10拍摄人物以生成存储运动图像数据、右声音数据、左声音数据和后声音数据，如果从基于存储运动图像数据的存储运动图像中检测到的多个人物，则基于对右声音数据、左声音数据和后声音数据的分析结果和对存储运动图像数据的分析结果适当地确定多个人物，并且判定多个人物之间的关系。数字摄像机10把表示所判定的关系的人物关系信息存储在存储介质28中，并且当未确定的人物和已确定的人物之间的关系被判定时，基于所判定的关系和已存储的人物关系信息所表示的多个人物之间的关系，来确定未确定的人物。因此，即使当从存储运动图像中检测到的人物是与从另一存储运动图像中检测到的、脸部外观已变化的人物相同的人物时，数字摄像机10也可以把从该存储运动图像中检测到的人物确定为与从另一存储运动图像中检测到的人物相同的人物。结果，即使当脸部外观随着人物成长而变化时，数字摄像机10也可以准确地检索出该人物出现的存储运动图像。

数字摄像机10的控制单元11分析存储运动图像数据以检测人物的特定动作，并且基于检测到的动作来判定多个人物之间的关系。因此，数字摄像机10的控制单元11可以准确地判定多个人物之间的关系，并且可以基于以这种方式判定的关系来确定人物，从而可以准确地确定人物。

数字摄像机10的控制单元11分析右声音数据、左声音数据和后声音数据以获得拍摄时人物的发声，并且基于人物的发声和动作来判定多个人物之间的关系。

因此，数字摄像机10的控制单元11可以更准确地判定多个人物之间的关系，并且可以基于以这种方式判定的关系来确定人物，从而可以更准确地确定人物。

数字摄像机10的控制单元11分析右声音数据、左声音数据和后声音数据以获得来自交谈的人物之间的亲密度，并且利用动作或者发声和动作的组合来推定多个人物之间的关系。数字摄像机10的控制单元11通过利用亲密度来最终判定所推定的关系。

当多个人物之间的关系被推定时，数字摄像机10的控制单元11从存储运动图像中提取表示多个人物之间的亲密程度的亲密程度信息，并且通过利用亲密程度信息以及亲密度来最终判定所推定的关系。

因此，数字摄像机10的控制单元11可以更准确地确定多个人之间的关系，并且可以基于以这种方式确定的关系指定人物，使得可以更准确地指定人物。

<3.第二实施例>

[3-1打印装置的电路配置]

接下来，将参考图20描述作为上述信息处理装置1(图1)的具体示例的打印装置100的按硬件电路块的电路配置。如图20所示，打印装置100具有例如由微处理器构成的控制单元110。

控制单元110执行对打印装置100的整体控制并且根据预先存储在内部存储器(未示出)中的各种程序来执行预定的运算处理。控制单元110加载根据对例如设置在打印装置100的外壳中的操作键111的操作而输入的输入信号，并且根据该输入信号执行各种处理。

作为操作键111，打印装置100的外壳设置有用于指示从外部装置加载视频文件或图像文件的加载指示键。

作为操作键111，打印装置100的外壳还设置有用于指定要被打印成照片的图像的图像指定键、用于指示打印图像的打印指示键，等等。

实际上，诸如数字摄像机、数字静态相机、配备有相机的移动电话、个人计算机或数据存储装置之类的外部装置可通过外部装置接口112连接到控制单元110。

诸如数字摄像机、数字静态相机或配备有相机的移动电话之类的具有运动图像拍摄功能的外部装置拍摄被摄物以获得运动图像并且生成具有与根据上述第一实施例的数字摄像机10中相同的配置的视频文件。

如果以这种方式对被摄物摄像并且生成视频文件，那么外部装置存储所生成的视频文件。在以下描述中，为获得运动图像而进行的拍摄也被称为摄像。

同时，诸如数字摄像机、数字静态相机或者配备有相机的移动电话之类的具有照片拍摄功能的外部装置拍摄被摄物以获得照片并且生成被摄物的静止图像数据。在以下描述中，为获得照片而进行的拍摄也被称为拍照。

此时，这种外部装置对静止图像数据进行压缩和编码以生成压缩图像数据。外部装置还生成存储静止图像数据的属性信息(以下也称为静止图像属性信息)的头部数据。

外部装置向基于静止图像数据生成的压缩图像数据的头部添加存储静止图像属性信息的头部数据，以生成图像文件。如果被摄物被拍照并且图像文件被生成，则外部装置存储所生成的图像文件。

当被摄物被拍照时，外部装置在添加到压缩图像数据的头部的头部数据中存储用于分别标识图像文件的标识信息(例如，以下也被称为文件标识信息的文件名)，来作为静止图像属性信息。

视频文件的文件标识信息和图像文件的文件标识信息被生成为使得可以例如利用作为文件名的一部分的扩展名来区分相应文件是视频文件还是图像文件。

当被摄物被拍照时，外部装置执行用于疏化通过拍照获得的静止图像数据中的像素的缩减处理。从而，外部装置生成用于检索基于静止图像数据的静止图像的缩减图像(以下也称为缩略图像)的缩减图像数据(以下也称为缩略图数据)。

外部装置还在头部数据中存储缩略图数据作为静止图像属性信息。外部装置还在头部数据中存储表示利用定时器检测到的被摄物拍照的拍摄日期和时刻的拍摄日期和时刻信息、表示利用GPS定位的拍摄位置(纬度和经度)的拍摄位置信息等等，来作为静止图像属性信息。

此外，诸如个人计算机或数据存储装置之类的具有文件保存功能的外部装置从数字摄像机、数字静态相机、配备有相机的移动电话等等中加载并存储视频文件或图像文件。

在通过外部装置接口112连接到外部装置的状态中，如果加载指示键被操作以指示加载视频文件，那么打印装置100的控制单元110从外部装置加载视频文件。

此时，控制单元110把从外部装置加载的视频文件发送到存储/再现单元113，并且通过存储/再现单元113把视频文件存储在存储介质114中。这样，控制单元110可以在存储介质114中保存多个视频文件。

存储/再现单元113例如是结合在打印装置100中的硬盘驱动器，并且存储介质114是设置在该硬盘驱动器中的硬盘。

在通过外部装置接口112连接到外部装置的状态中，如果加载指示键被操作以指示加载图像文件，那么控制单元110从外部装置加载图像文件。

此时，控制单元110把从外部装置加载的图像文件发送到存储/再现单元113，并且通过存储/再现单元113把图像文件存储在存储介质114中。这样，控制单元110可以在存储介质114中保存多个图像文件。

同时，例如，如果操作键111被操作以选择用于手工指定图像的打印份数的打印功能，那么控制单元110被置于打印模式(以下也称为份数指定打印模式)中，在该打印模式中，打印份数被手工指定并且图像被打印。

如果份数指定打印模式被执行，那么控制单元110通过存储/再现单元113从存储介质114中顺次读取多个存储的图像文件。

控制单元110从多个图像文件中加载头部数据，并且还从头部数据中加载缩略图数据以及文件标识信息。控制单元110基于多种缩略图数据和文件标识信息生成缩略图列表图像数据，并且把所生成的缩略图列表图像数据发送给显示单元115。

因此，控制单元110基于缩略图列表图像数据把多个缩略图的列表与表示文件标识信息的文本(字符串)分别相关联地显示在显示单元115上，以允许用户以缩略图的形式确认可打印静止图像。

显示单元115是被结合在打印装置100中或从外部附接到打印装置100的液晶显示器、等离子显示器、有机EL显示器、场发光显示器(FED)等等。

在此状态中，如果打印指示键被操作以缩略图的形式选择显示屏幕上的一个静止图像，并且所选静止图像的打印连同打印份数被指示，那么控制单元110从与所选静止图像相对应的图像文件中加载压缩图像数据。控制单元110把压缩图像数据发送给编解码器116。

此时，编解码器116对从控制单元110提供来的压缩图像数据进行解压缩和解码，以获得原始静止图像数据。编解码器116把静止图像数据发送给控制单元110。

如果静止图像数据被从编解码器116提供来，那么控制单元110把静止图像数据和用于指示基于静止图像数据的静止图像的打印份数的份数指示信号发送给打印单元117作为打印数据。

打印单元117具有馈纸单元(未示出)。如果打印数据被从控制单元110提供来，那么打印单元117基于打印数据在通过馈纸单元顺次加载与所指示的打印份数相对应的打印纸的同时在打印纸上打印静止图像，并且送出打印有静止图像的打印纸。

打印单元117通过诸如激光方法、喷墨方法、热转印方法、点阵撞击式方法等等之类的各种打印方法中的任何打印方法在打印纸上打印静止图像或构成存储运动图像的单位图像。

这样，控制单元110允许了用户从通过对被摄物拍照而获得的多个静止图像中指定要打印的静止图像以及打印份数，并且在与指定的打印份数相对应的打印纸上顺次打印所指定的静止图像，从而以照片的形式提供静止图像。

[3-2被摄人物确定处理]

如果视频文件被存储在存储介质114中，那么控制单元110以与根据第一实施例的数字摄像机10(图2)相同的方式，根据预先存储在内部存储器中的被摄人物确定程序来执行被摄人物确定处理过程RT1(图12)。

即，与根据第一实施例的数字摄像机10的控制单元11(图2)类似，控制单元110保存各种数据库，例如脸部特征数据库48、动作推定语句数据库61、动作数据库63和关系判定数据库64。

在此状态中，控制单元110通过存储/再现单元113从存储介质114中读取视频文件，从视频文件中加载视频数据，并且将视频数据发送给编解码器116。此时，控制单元110还从视频文件中加载被添加到视频数据的头部的头部数据。

如果视频数据被从控制单元110提供来，那么编解码器116基于视频数据生成原始存储运动图像数据以及原始右声音数据、左声音数据和后声音数据。编解码器116把这些存储运动图像数据、右声音数据、左声音数据和后声音数据返回给控制单元110。

这样，每当视频文件被从存储介质114中读取出时，控制单元110就利用编解码器116来获得原始存储运动图像数据、右声音数据、左声音数据和后声音数据。

控制单元110通过利用头部数据以及存储运动图像数据、右声音数据、左声音数据和后声音数据，执行诸如被摄物检测处理、发声分析/关系推定处理以及动作分析/关系推定处理之类的各种处理，作为被摄人物确定处理。

从而，控制单元110判定基于存储运动图像数据的存储运动图像中的多个人物之间的关系，并且确定人物以生成人物登记信息。

控制单元110通过存储/再现单元113把人物登记信息新存储在存储介质114中，以使得人物登记信息被登记在存储介质114中预先构造的人物数据库中。

控制单元110基于多个人物之间的关系来确定基于存储运动图像数据的存储运动图像中的人物，并且更新(统一)所确定人物的人物登记信息的内容。控制单元110通过存储/再现单元113将人物登记信息存储在存储介质114中，从而更新已经登记在人物数据库中的人物登记信息。

控制单元110生成用于判定和确定人物之间的关系的视频文件的文件属性信息，并且再次向视频数据添加存储着所生成的文件属性信息的头部数据，从而更新视频文件的内容。

控制单元110把内容被更新了的视频文件发送到存储/再现单元113，并且通过存储/再现单元113再次将视频文件存储在存储介质114中，以便写在内容被更新前的视频文件上。

这样，控制单元110在存储介质114中存储内容被更新了的视频文件，并且在适当更新内容的同时在存储介质114的人物数据库中登记关于存储运动图像中的多个人物的人物登记信息。

[3-3打印处理]

如上所述，虽然在份数指定打印模式期间，控制单元110可以在手工指定打印份数的同时打印静止图像，但是也可在自动选择打印份数的同时将静止图像或构成存储运动图像的单位图像打印成照片。

下面，将描述其中控制单元110在打印份数被自动选择的同时将静止图像或构成存储运动图像的单位图像打印成照片的打印处理(以下也称为份数选择/打印处理)。

如果操作键被操作以选择用于在打印份数被自动选择的同时将静止图像或构成存储运动图像的单位图像打印成照片的打印功能，那么控制单元110被置于在自动选择打印份数的同时打印图像的打印模式中。

在以下描述中，用于在打印份数被自动选择的同时将静止图像或构成存储运动图像的单位图像打印成照片的打印功能也被称为份数选择/打印功能。在以下描述中，在打印份数被自动选择的同时静止图像或构成存储运动图像的单位图像被打印成照片的打印模式也被称为份数选择/打印模式。

如果份数选择/打印模式被执行，那么控制单元110被这样配置：对于要打印成照片的图像的类型，通过图像指定键来任意指定仅一个静止图像、仅构成存储运动图像的每个单位图像、或者静止图像和单位图像两者。在以下描述中，要打印成照片的图像的类型也被称为打印图像类型。

当打印图像类型被指定为仅静止图像时，控制单元110被配置为使得要打印的图像通过图像指定键被指定为例如通过在期望的拍摄日期对被摄物拍照而生成的静止图像。

当打印图像类型被指定为静止图像和单位图像两者时，控制单元110被配置为使得要打印的图像通过图像指定键被指定为例如通过在期望的拍摄日期对被摄物拍照而生成的静止图像或者通过对被摄物摄像而生成的存储运动图像。

即，当打印图像类型被指定为仅静止图像或静止图像和单位图像两者时，控制单元110被配置为使得要打印的图像通过图像指定键以被摄物的拍摄日期的形式被指定。

此时，控制单元110被配置为使得拍摄日期通过图像指定键被指定为期望的一天或者期望的连续两天或多天的时段(从一个期望日期到另一期望日期的连续几天或一月、两月或多月)。在以下描述中，用于指定要打印的图像的一天的拍摄日期也被称为指定日期，并且连续两天或多天的时段也被称为指定时段。

当打印图像类型被指定为仅单位图像时，控制单元110被配置为使得要打印的图像通过图像指定键被指定为例如做出期望动作的人物的存储运动图像。

即，当打印图像类型被指定为仅单位图像时，控制单元110被配置为使得要打印的图像通过图像指定键以例如期望动作(拥抱、肩背等等)的形式被指定。在以下描述中，通过图像指定键指定的期望动作也被称为指定动作。

下面，首先将描述当图像指定键被操作以将打印图像类型指定为仅静止图像时静止图像的打印。接下来，将描述当图像指定键被操作以将打印图像类型指定为静止图像和单位图像两者时静止图像和单位图像的打印。然后，将描述当图像指定键被操作以将打印图像类型指定为仅单位图像时单位图像的打印。

同时，此时，控制单元110根据预先存储在内部存储器中的打印控制程序来执行诸如份数选择/打印处理之类的各种处理，从而实现各种功能。下面，为了方便，将在把控制单元110根据打印控制程序实现的各种功能称为功能电路块并且把控制单元110执行的各种处理称为由功能电路块执行的处理的同时来参考图21进行描述。

首先，如果图像指定键被操作，并且作为打印图像类型的静止图像和指定日期或指定时段被指定，那么通知单元120向存储/再现控制单元121发送表示指定内容的指定信号。

如果指定信号被从通知单元120提供来，那么存储/再现控制单元121通过存储/再现单元113基于指定信号把存储介质114中的多个图像文件中包括的拍摄日期和时刻信息与指定日期或指定时段相比较。

从而，存储/再现控制单元121从存储介质114中的多个图像文件中检索通过在用户指定的指定日期或指定时段对被摄物拍照而生成的所有图像文件。

存储/再现控制单元121通过存储/再现单元113从存储介质114中顺次读取检索到的图像文件，并且把这些图像文件发送给文件处理单元122。

如果单个图像文件被从存储/再现控制单元121提供来，那么文件处理单元122从该图像文件中加载压缩图像数据，并且把压缩图像数据发送给编解码器116。

此时，编解码器116对从文件处理单元122提供来的压缩图像数据进行解压缩和解码，以生成原始静止图像数据。编解码器116把静止图像数据发送给文件处理单元122。

如果静止图像数据被从编解码器116提供来，那么文件处理单元122把静止图像数据发送给特征量提取单元123。这样，每当图像文件被通过存储/再现控制单元121从存储介质114中读取出时，文件处理单元122就利用编解码器116获得原始静止图像数据，并且把静止图像数据发送给特征量提取单元123。

每当静止图像数据被从文件处理单元122提供来时，特征量提取单元123就执行特征量提取处理。实际上，特征量提取单元123预先保存表示人物的脸部的大致亮度分布和脸部的大致结构的图案的脸部信息，以用在上述的被摄人物确定处理(被摄物检测处理)中。

从而，如果静止图像数据被从文件处理单元122提供来，并且特征量提取处理被执行，那么特征量提取单元123基于脸部信息在基于静止图像数据的静止图像中检索被假定为包括人物的脸部的一个或多个假定区域。

结果，如果在静止图像中检测到一个或多个假定区域，那么对于每个检测到的假定区域，特征量提取单元123从假定区域中提取例如多个轮廓的形状、多个轮廓之间的位置关系、颜色等等，作为假定区域特征量。特征量提取单元123把所提取的假定区域特征量与静止图像数据一起发送给脸部检测单元124。

然而，如果在静止图像中没有检测到任何假定区域，那么特征量提取单元123仅把静止图像的静止图像数据发送给脸部检测单元124。

每当一个或多个假定区域特征量与静止图像数据一起被从特征量提取单元123提供来时，或者每当仅静止图像数据被从特征量提取单元123提花来时，脸部检测单元124就执行脸部检测处理。

即，如果一个或多个假定区域特征量与静止图像数据一起被从特征量提取单元123提供来，并且脸部检测处理被执行，那么脸部检测单元124从脸部特征数据库125中读取用于上述的被摄人物确定处理(被摄物推定处理)中的多类脸部检测特征量。

脸部检测单元124顺次使用多类脸部检测特征量，并且基于脸部检测特征量和假定区域特征量执行运算处理。从而，对于静止图像的每个假定区域，脸部检测单元124计算表示该假定区域中的被摄物有多大可能是按年龄的男性或女性的脸部的多个准确度。

脸部检测单元124把为每个假定区域计算的多个准确度与预先选择的阈值(即，被摄物检测处理中的第二阈值)顺次比较。

结果，如果为静止图像的某个假定区域计算的多个准确度中的至少一个等于或大于该阈值，那么脸部检测单元124推定静止图像中的该假定区域中的被摄物是人物的脸部。

如果推定静止图像的假定区域中被摄物是人物的脸部，那么脸部检测单元124把人物的脸部作为被摄物出现的假定区域的假定区域特征量(即，从该假定区域中提取的假定区域特征量)定义为人物脸部特征量。

这样，脸部检测单元124检测静止图像的假定区域中的人物的脸部，并且检测人物的脸部出现的假定区域的假定区域特征量作为人物的脸部的人物脸部特征量。在以下描述中，从静止图像中检测到的人物的脸部的人物脸部特征量也被具体称为检出人物脸部特征量。

如果为静止图像的某个假定区域计算的多个准确度全都小于阈值，那么脸部检测单元124判定静止图像的该假定区域中的被摄物不是人物的脸部。即，脸部检测单元124判定人物的脸部不在静止图像的该假定区域中。

如果判定静止图像的某个假定区域中的被摄物不是人物的脸部，那么脸部检测单元124丢弃该假定区域的假定区域特征量(即，从该假定区域中提取的假定区域特征量)，而不定义为检出人物脸部特征量。

当以这种方式从静止图像中检测到人物的脸部以及检出人物脸部特征量时，脸部检测单元124把检出人物脸部特征量与静止图像的静止图像数据一起发送给份数选择单元126。

当不能从静止图像中检测到人物的脸部以及任何检出人物脸部特征量时，脸部检测单元124仅将静止图像的静止图像数据发送给份数选择单元126。

当只有静止图像数据被从特征量提取单元123提供来，并且脸部检测处理被执行时，脸部检测单元124仅把静止图像数据按原样发送给份数选择单元126。

每当检出人物脸部特征量与静止图像数据一起被从脸部检测单元124提供来时，或者每当只有静止图像数据被提供来时，份数选择单元126就执行份数选择处理。

实际上，如果检出人物脸部特征量与静止图像数据一起被从脸部检测单元124提供来，并且份数选择处理被执行，那么份数选择单元126检测检出人物脸部特征量的数目。即，份数选择单元126以从静止图像中检测到的检出人物脸部特征量的数目的形式来检测静止图像中的人物的数目。

如果检测到检出人物脸部特征量的数目至少为两个(即，在静止图像中有至少两个人物)，那么份数选择单元126请求存储/再现控制单元121读取人物登记信息。

此时，存储/再现控制单元121根据来自份数选择单元126的读取请求，通过存储/再现单元113从存储介质114中读取所有种类的人物登记信息，并且把所读取的多种人物登记信息发送给份数选择单元126。

如果多种人物登记信息被从存储/再现控制单元121提供来，那么份数选择单元126把多个检出人物脸部特征量与多种人物登记信息的人物信息中存储的人物脸部特征量分别顺次比较。在以下描述中，人物登记信息的人物信息中存储的人物脸部特征量被具体称为登记人物脸部特征量。

从而，份数选择单元126基于检出人物脸部特征量和登记人物脸部特征量的比较结果，判定在多种人物登记信息中是否存在与检出人物脸部特征量一致的登记人物脸部特征量。

即，份数选择单元126判定静止图像中的多个人物中的每一个是否已被登记为人物登记信息。

实际上，在判定静止图像中的多个人物是否已经被登记时，份数选择单元126基于检出人物脸部特征量和登记人物脸部特征量来计算表示检出人物脸部特征量和登记人物脸部特征量相互有多一致的一致程度。

份数选择单元126将一致程度与预先选择的预定阈值相比较，并且如果一致程度等于或大于阈值，则判定人物脸部特征量和人物脸部特征量相互一致。即，如果一致程度等于或大于阈值，那么份数选择单元126判定检出人物脸部特征量和登记人物脸部特征量是同一人物的人物脸部特征量。

份数选择单元126将一致程度与阈值相比较，并且如果一致程度小于阈值，则判定检出人物脸部特征量不与登记人物脸部特征量一致。即，如果一致程度小于阈值，份数选择单元126则判定检出人物脸部特征量和登记人物脸部特征量是不同人物的人物脸部特征量。

当判定检出人物脸部特征量和登记人物脸部特征量相互一致时，份数选择单元126判定具有检出人物脸部特征量的脸部的人物(即，静止图像中的人物)已经被登记。这样，份数选择单元126判定静止图像中的多个人物中的每一个是否已经被登记。

结果，当检测到静止图像中的所有人物都已经被登记时，份数选择单元126基于已登记人物的检出人物脸部特征量和人物登记信息中的人物关系信息来判定多个人物之间的关系，例如家人或朋友。

份数选择单元126基于人物之间的关系的判定结果，从这多个人物中检测例如作为家人的人物的群组的数目以及所有群组中的人物的总数。份数选择单元126还基于人物之间的关系的判定结果，从这多个人物中检测不具有任何亲属的人物的数目。

作为亲属的两个或更多人物是作为夫妻、亲子、兄弟、姐妹、家人等等的人物。在以下描述中，作为亲属的、是夫妻、亲子、兄弟、姐妹、家人等等的两个或更多个人物的群组也被称为人物群组。

在以下描述中，静止图像中的多个人物之中的不具有任何亲属的人物被具体称为群组外人物。

当从这多个人物中检测到一个或多个人物群组时，份数选择单元126将所有人物群组的静止图像的打印份数选择为与人物群组的数目相同，使得为一个人物群组打印一份静止图像。

即，份数选择单元126按人物群组来选择打印份数，使得只有一份静止图像被打印并共享，而不是为属于一个人物群组的两个或更多个人物中的每一个打印静止图像。

当从这多个人物中检测到一个或多个群组外人物时，份数选择单元126将所有群组外人物的静止图像的打印份数选择为与群组外人物的数目相同，使得为每个群组外人物打印一份静止图像。

此时，如果在静止图像中没有群组外人物，并且在静止图像只有一个或多个人物群组中的人物，那么份数选择单元126就把为所有人物群组选择的打印份数决定为静止图像的打印份数。

如果在静止图像中有一个或多个人物群组中的人物和一个或多个群组外人物，那么份数选择单元126把为所有人物群组和为所有群组外人物分别选择的打印份数相加。份数选择单元126把通过相加获得的打印份数(打印份数的总和)决定为静止图像的打印份数。

如果在静止图像中只有一个或多个群组外人物，那么份数选择单元126就把为所有群组外人物选择的打印份数决定为静止图像的打印份数。

同时，作为判定静止图像中的多个人物是否已经被登记的结果，当检测到多个人物之中的两个或更多个人物而不是所有这多个人物已被登记时，份数选择单元126判定多个已登记人物之间的关系。即，此时，份数选择单元126基于多个已登记人物的检出人物脸部特征量和人物登记信息中的人物关系信息，来判定多个已登记人物之间的关系。

在此情况下，份数选择单元126基于关系的判定结果来检测多个人物之中的人物群组的数目以及所有人物群组中的人物总数，并且还检测群组外人物的数目。

此时，由于对于一个或多个未登记人物不存在人物登记信息，并且无法检测作为亲属的人物，因此份数选择单元126将所有未登记人物作为不具有任何亲属的群组外人物来检测其人物数目。

在以下描述中，多个已登记人物之中的一个或多个群组外人物也被称为已登记群组外人物，而一个或多个未登记人物也被称为未登记群组外人物。

当从多个已登记人物中检测一个或多个人物群组时，份数选择单元126将所有人物群组的静止图像的打印份数选择为与人物群组的数目相同，使得为一个群组打印一份静止图像。

当检测到一个或多个已登记群组外人物时，份数选择单元126将所有已登记群组外人物的静止图像的打印份数选择为与已登记群组外人物的数目相同，使得为一个已登记群组外人物打印一份静止图像。

份数选择单元126将所有未登记群组外人物的静止图像的打印份数选择为与未登记群组外人物的数目相同，使得为一个未登记群组外人物打印一份静止图像。

如果在静止图像中没有已登记群组外人物，并且在静止图像有一个或多个人物群组中的人物，那么份数选择单元126把为所有未登记群组外人物和为所有人物群组分别选择的打印份数相加。份数选择单元126把通过相加获得的打印份数(打印份数的总和)决定为静止图像的打印份数。

如果在静止图像中没有人物群组中的人物，并且在静止图像中有一个或多个已登记群组外人物，那么份数选择单元126把为所有未登记群组外人物和为所有已登记群组外人物分别选择的打印份数相加。份数选择单元126把通过相加获得的打印份数(打印份数的总和)决定为静止图像的打印份数。

如果在静止图像中有一个或多个已登记群组外人物和一个或多个人物群组中的人物，那么份数选择单元126把为所有未登记群组外人物、为所有已登记群组外人物和为所有人物群组分别选择的打印份数相加。份数选择单元126把通过相加获得的打印份数(打印份数的总和)决定为静止图像的打印份数。

作为判定静止图像中的多个人物是否已被登记的结果，当判定多个人物之中只有一个人物被登记时，份数选择单元126不判定多个人物之间的关系。

份数选择单元126把静止图像中的所有人物判定为没有任何亲属的群组外人物，无论是否已登记。即，即使当存在两个或更多个未登记人物时，如果只存在一个已登记人物，那么没有未登记人物的人物登记信息，并且无法检测作为亲属的人物，从而份数选择单元126把所有人物都定义为不具有任何亲属的群组外人物。

因此，此时，份数选择单元126选择打印份数，使得按静止图像中的人物数目打印静止图像，而不论人物是已被登记还是未被登记，并且决定所选打印份数。

作为判定静止图像中的多个人物是否已经被登记的结果，当判定所有多个人物都未被登记时，份数选择单元126把所有未登记人物都判定为没有任何亲属的群组外人物。

此时，份数选择单元126选择打印份数，使得按静止图像中的人物数目打印静止图像，并且决定所选打印份数。

这样，如果脸部检测单元124在静止图像中检测到多个人物，那么份数选择单元126基于这多个人物的检出人物脸部特征量和登记人物脸部特征量来判定这多个人物是否已被登记。

结果，如果从静止图像的多个人物中检测到多个已登记人物，那么份数选择单元126基于这多个已登记人物的检出人物脸部特征量和人物登记信息中的人物关系信息，来判定多个已登记人物之间的关系。

如果判定了静止图像中的多个人物之中的多个已登记人物之间的关系，那么份数选择单元126通过使用判定结果来选择静止图像的打印份数。

同时，如果执行份数选择处理并且检测到一个检出人物脸部特征量被从脸部检测单元124提供来(在静止图像中有一个人物)，那么份数选择单元126不请求存储/再现控制单元121读取人物登记信息。

此时，份数选择单元126选择打印份数，使得仅为静止图像中的一个人物打印一份静止图像，并且决定所选的打印份数。

如果以这种方式决定了静止图像的打印份数，那么份数选择单元126把表示所决定的打印份数的份数指示信号与静止图像数据一起作为打印数据发送给打印控制单元127。

同时，打印装置100被配置为使得在份数选择/打印模式中，以指定日期或指定时段的形式指定要打印的图像。因此，在打印装置100中，在份数选择/打印模式中，通过指定日期或指定时段可将有人物出现的静止图像指定为打印对象，或者可将有自然物或人造物出现但没有人物出现的静止图像指定为打印对象。

从而，当通过指定日期或指定时段将没有人物出现的静止图像指定为打印对象时，份数选择单元126被配置为选择性地预先设定是否打印一份静止图像或者不打印静止图像。

即，份数选择单元126被配置为选择性地预先设定当没有人物出现的静止图像被指定为打印对象时的打印份数为一份或零份。

从而，如果仅一个静止图像数据被从脸部检测单元124提供来，而没有检测到人物的脸部以及检出人物脸部特征量，并且份数选择处理被执行，那么份数选择单元126根据用户的设定将静止图像的打印份数选择和决定为一份或零份。

此时，如果静止图像的打印份数被选择和决定为一份，那么份数选择单元126把表示打印份数为一份的份数指示信号与静止图像的静止图像数据一起作为打印数据发送给打印控制单元127。

此时，如果静止图像的打印份数被选择和决定为零份，那么份数选择单元126丢弃静止图像的静止图像数据并且不向打印控制单元127发送任何东西，从而不打印静止图像。

每当打印数据(静止图像数据和份数指示信号)被从份数选择单元126提供来时，打印控制单元127就执行打印控制处理。实际上，如果静止图像数据和份数指示信号作为打印数据被从份数选择单元126提供来，并且打印控制处理被执行，那么打印控制单元127把静止图像数据发送给打印单元117并且还基于份数指示信号来为打印单元117控制静止图像的打印份数。

从而，打印控制单元127使得打印单元117在与份数选择单元126所选择(即决定)的打印份数相对应的打印纸上顺次打印静止图像。

这样，每当静止图像数据和份数指示信号作为打印数据被从份数选择单元126提供来时，打印控制单元127就控制打印单元117在分别与所选择(即，决定)的打印份数相对应的打印纸上打印静止图像。

将参考图22至25来具体描述份数选择/打印模式中的多个静止图像的打印。对于这种打印，如图22和23所示，将描述这样一个示例，其中第一至第四静止图像130至133这四个静止图像被打印，在这些静止图像中，作为夫妻的人物A和人物B和作为该夫妻的共同朋友的人物C以不同的组合出现。

首先，人物A至C这三个人物在第一至第四静止图像130至133这四个静止图像之中的第一静止图像130中。另外，人物B和C这两个人物在第一至第四静止图像130至133这四个静止图像之中的第二静止图像131中。

人物A和C这两个人物在第一至第四静止图像130至133这四个静止图像之中的第三静止图像132中。另外，人物A和B这两个人物在第一至第四静止图像130至133这四个静止图像之中的第四静止图像133中。

在此情况下，第一静止图像130中的人物A和B是夫妻，从而份数选择单元126选择打印份数，使得只为该夫妻(即，人物群组)打印一份第一静止图像130。

第一静止图像130中的人物C不是同时出现在第一静止图像130中的人物A或人物B的亲属，从而份数选择单元126选择打印份数，使得也为人物C(即，群组外人物)打印仅一份第一静止图像130。

对于第一静止图像130，份数选择单元126将夫妻和人物C的打印份数相加，并且选择和决定打印份数，使得总共打印两份。

第二静止图像131中的人物B和人物C不是亲属，从而份数选择单元126选择打印份数，使得为人物B和人物C中的每一个打印一份第二静止图像131。即，对于第二静止图像131，份数选择单元126选择和决定打印份数，使得为人物B和人物C总共打印两份。

第三静止图像132中的人物A和人物C不是亲属，从而份数选择单元126选择打印份数，使得为人物A和人物C中的每一个打印一份第三静止图像132。即，对于第三静止图像132，份数选择单元126选择和决定打印份数，使得为人物A和人物C总共打印两份。

第四静止图像133中的人物A和人物B是夫妻，从而份数选择单元126选择和决定打印份数，使得仅为该夫妻打印一份第四静止图像133。

从而，如图24所示，打印控制单元127可以为人物A和人物B打印一份其中作为夫妻的人物A和人物B这两个人物同时出现的第一静止图像130，而不是为人物A和人物B中的每一个打印一份第一静止图像130。

对于其中作为夫妻的人物A和人物B之一出现的第二和第三静止图像131和132，打印控制单元127可以为人物A和人物B打印一份。

对于其中作为夫妻的人物A和人物B这两个人物同时出现的第四静止图像133，打印控制单元127可以仅为人物A和人物B打印一份，而不是为人物A和人物B中的每一个打印一份。

此外，如图25所示，对于其中人物C出现的第一至第三静止图像130至132，打印控制单元127可以为人物C打印一份。

如果图像指定键被操作，并且静止图像和单位图像被以打印图像类型和指定日期或指定时段的形式指定，那么通知单元120将表示指定内容的指定信号发送给存储/再现控制单元121和文件处理单元122。

如果指定信号被从通知单元120提供来，那么存储/再现控制单元121基于指定信号通过存储/再现单元113把存储介质114中的多个图像文件中包括的拍摄日期和时刻信息与指定日期或指定时段相比较。

此时，存储/再现控制单元121基于指定信号通过存储/再现单元113把存储介质114中的多个视频文件中包括的拍摄日期和时刻信息与指定日期或指定时段相比较。

从而，存储/再现控制单元121从存储介质114中的多个视频文件中检索通过在用户指定的指定日期或指定时段对被摄物摄像而生成的所有视频文件。

如果所有检索到的图像文件已被读取，那么随后，存储/再现控制单元121通过存储/再现单元113从存储介质114中顺次读取检索到的视频文件，并且把这些视频文件发送给文件处理单元122。

每当图像文件被从存储/再现控制单元121提供来时，那么以与上述相同的方式，文件处理单元122利用编解码器116获得原始静止图像数据，并且把静止图像数据发送给特征量提取单元123。

如果对图像文件的处理完成，那么文件处理单元122根据此时从通知单元120提供来的指定信号(将静止图像和单位图像指定为打印图像类型)，来设定用于选择要打印的单位图像数据的对象选择处理的处理内容。

例如，此时，文件处理单元122设定对象选择处理的处理内容，使得基于对被摄物摄像时的高潮来从存储运动图像数据中选择要打印的单位图像数据。

在此状态中，如果在图像文件之后视频文件被从存储/再现控制单元121提供来，那么每当视频文件被提供来时，文件处理单元122就执行对象选择处理。

实际上，如果视频文件被从存储/再现控制单元121提供来，并且对象选择处理被执行，那么首先，文件处理单元122从视频文件加载视频数据和头部数据，并且将视频数据发送给编解码器116。

此时，编解码器116基于从文件处理单元122提供来的视频数据，生成原始存储运动图像数据以及原始右声音数据、左声音数据和后声音数据。编解码器116把这些存储运动图像数据、右声音数据、左声音数据和后声音数据发送给文件处理单元122。

如果存储运动图像数据、右声音数据、左声音数据和后声音数据被从编解码器116提供来，那么文件处理单元122将右声音数据、左声音数据和后声音数据中每一个中从头到尾的数据水平与预定的阈值相比较。

从而，文件处理单元122基于数据水平和阈值之间的比较结果，检测右声音数据、左声音数据和后声音数据之中的一个时段或多个时段中每一个中的开头位置和结尾位置的时刻信息，其中在所述时段中，数据水平等于或大于阈值。

文件处理单元122将该时刻信息所表示的存储运动图像数据中的一个时段或多个时段中的每一个确定为高潮时段，在这种高潮时段中，在对被摄物摄像时现场的气氛达到高潮。

文件处理单元122从存储运动图像数据中的一个高潮时段或多个高潮时段中的每一个中加载预定位置(例如高潮时段的开头或中间)处的单个单位图像数据，来作为打印对象。文件处理单元122把从存储运动图像数据中加载的一种或多种单位图像数据顺次发送给特征量提取单元123。

这样，如果每当通过存储/再现控制单元121从存储介质114中读取视频文件时执行对象选择处理，那么文件处理单元122利用编解码器116来获得原始存储运动图像数据。

文件处理单元122把构成存储运动图像数据的多种单位图像数据之中的高潮时段中的单个单位图像数据作为打印对象发送给特征量提取单元123。

每当静止图像数据被从文件处理单元122提供来时，以与上述相同的方式，特征量提取单元123执行特征量提取处理。从而，特征量提取单元123把一个或多个假定区域特征量与静止图像数据发送给脸部检测单元124，或者仅将静止图像数据发送给脸部检测单元124。

当如上所述单位图像数据被从文件处理单元122提供来时，特征量提取单元123也以与静止图像数据被从文件处理单元122提供来时相同的方式执行特征量提取处理。

从而，特征量提取单元123从单位图像中检测一个或多个假定区域以及一个或多个假定区域特征量，并且把一个或多个检测到的假定区域特征量与单位图像数据一起发送给脸部检测单元124。

然而，如果未检测到单位图像中的任何假定区域，那么特征量提取单元123仅把单位图像的单位图像数据发送给脸部检测单元124。

每当一个或多个假定区域特征量与静止图像数据一起被从特征量提取单元123提供来时，或者每当仅静止图像数据被从特征量提取单元123提供来时，脸部检测单元124就以与上述相同的方式执行脸部检测处理。

从而，脸部检测单元124把一个或多个检出人物脸部特征量与静止图像数据发送给份数选择单元126，或者仅把静止图像数据发送给份数选择单元126。

当如上所述单位图像数据被从特征量提取单元123提供来时，脸部检测单元124也以与当静止图像数据被从特征量提取单元123提供来时相同的方式执行脸部检测处理。

从而，脸部检测单元124从单位图像数据中检测一个或多个人物的脸部以及一个或多个检出人物脸部特征量，并且把一个或多个检出人物脸部特征量与单位图像数据一起发送给份数选择单元126。

然而，当从单位图像中没有检测到人物的脸部以及检出人物脸部特征量时，脸部检测单元124仅把单位图像的单位图像数据发送给份数选择单元126。

当只有单位图像数据被从特征量提取单元123提供来，并且脸部检测处理被执行时，脸部检测单元124仅把单位图像数据按原样发送给份数选择单元126。

每当一个或多个检出人物脸部特征量与静止图像数据一起被从脸部检测单元124提供来时，当者每当仅静止图像数据被从脸部检测单元124提供来时，份数选择单元126以与上述相同的方式执行份数选择处理。从而，份数选择单元126适当地把静止图像数据和份数指示信号作为打印数据发送给打印控制单元127。

每当一个或多个检出人物脸部特征量与单位图像数据一起被从脸部检测单元124提供来时，当者每当仅单位图像数据被从脸部检测单元124提供来时，份数选择单元126执行与当静止图像数据被从脸部检测单元124时基本相同的份数选择处理。

当上述的被摄人物确定处理被执行时，单位图像中的任何人物都已被登记。表示单位图像中的人物之间的关系的人物关系信息已作为文件属性信息被存储在添加到存储运动图像数据的头部数据中。

因此，如果在单位图像中有两个或更多个人物，那么份数选择单元126使得文件处理单元122加载头部数据中的文件属性信息中包括的人物关系信息。基于单位图像中的多个人物的相应检出人物脸部特征量以及人物关系信息，份数选择单元126判定多个人物之间的关系。

如果以这种方式判定了单位图像中的人物之间的关系，那么份数选择单元126以与静止图像数据被从脸部检测单元124提供来时相同的方式执行后续处理，并且选择打印份数。

当单位图像中只有一个人物或者当单位图像中没有人物时，份数选择单元126以与静止图像数据被从脸部检测单元124提供来时相同的方式执行处理，并且选择打印份数。

这样，份数选择单元126适当地选择(决定)单位图像数据的打印份数，并且把表示所选打印份数的份数指示信号与单位图像数据一起作为打印数据发送给打印控制单元127。

每当静止图像数据和份数指示信号作为打印数据被从份数选择单元126提供来时，打印控制单元127就以与上述相同的方式执行打印控制处理。从而，打印控制单元127使得打印单元117在与份数指示信号所表示的打印份数相对应的打印纸上打印基于静止图像数据的静止图像。

当如上所述单位图像数据和份数指示信号作为打印数据被从份数选择单元126提供来时，打印控制单元127以与静止图像数据被从份数选择单元126提供来时相同的方式执行打印控制处理。从而，打印控制单元127使得打印单元117在与份数指示信号所表示的打印份数相对应的打印纸上打印基于单位图像数据的单位图像。

当图像指定键被操作，并且作为打印图像类型的单位图像和指定动作被指定时，通知单元120把表示指定内容的指定信号发送给存储/再现控制单元121和文件处理单元122。

如果指定信号被从通知单元120提供来，那么存储/再现控制单元121基于指定信号通过存储/再现单元113把存储介质114中的多个视频文件中包括的头部数据中的文件属性信息(动作信息)与指定动作相比较。

从而，存储/再现控制单元121从存储介质114中的多个视频文件中检索所有具有其中人物做出指定动作(例如拥抱或肩背)的场景的视频文件。

存储/再现控制单元121通过存储/再现单元113从存储介质114中顺次读取检索到的视频文件，并且把视频文件发送给文件处理单元122。

此时，文件处理单元122根据从通知单元120提供来的指定信号(指定单位图像为打印图像类型)来设定用于选择要打印的单位图像数据的对象选择处理的处理内容。

例如，此时，文件处理单元122设定对象选择处理的处理内容，使得基于指定动作从存储运动图像数据中选择要打印的单位图像数据。

在此状态中，每当视频文件被从存储/再现控制单元121提供来时，文件处理单元122就执行对象选择处理。实际上，如果视频文件被从存储/再现控制单元121提供来并且对象选择处理被执行，那么首先，文件处理单元122从视频文件中加载视频数据和头部数据，并且把视频数据发送给编解码器116。

此时，编解码器116基于从文件处理单元122提供来的视频数据生成原始存储运动图像数据以及原始右声音数据、左声音数据和后声音数据。编解码器116把这些存储运动图像数据、右声音数据、左声音数据和后声音数据发送给文件处理单元122。

如果存储运动图像数据、右声音数据、左声音数据和后声音数据被从编解码器116提供来，那么文件处理单元122从头部数据中的文件属性信息中加载表示其中人物做出指定动作的动作时段的一种或多种动作信息。

基于一种或多种动作信息，文件处理单元122确定存储运动图像数据中由动作信息所表示的动作时段(即，人物做出指定动作的时段)。

文件处理单元122从在存储运动图像数据中确定的一个动作时段或者多个动作时段中的每一个中加载预定位置(例如动作时段的开头或中间)处的单位图像数据，来作为打印对象。

文件处理单元122把从存储运动图像数据中加载的一种或多种单位图像数据(即，做出指定动作的人物出现的单位图像数据)发送给特征量提取单元123。

这样，如果每当视频文件通过存储/再现控制单元121被从存储介质114读取出时执行对象选择处理，那么文件处理单元122利用编解码器116获得原始存储运动图像数据。

文件处理单元122把构成存储运动图像数据的多种单位图像数据之中的其中人物做出指定动作的动作时段中的单个单位图像数据(即，人物出现的单位图像数据)作为打印对象发送给特征量提取单元123。

每当单位图像数据被从文件处理单元122提供来时，特征量提取单元123就以与上述相同的方式执行特征量提取处理。从而，特征量提取单元123将一个或多个假定区域特征量与单位图像数据一起发送给脸部检测单元124。

即，此时，在单位图像中有至少一个做出指定动作的人物，从而特征量提取单元123从单位图像中提取一个或多个假定区域特征量，并且把一个或多个假定区域特征量与单位图像数据一起发送给脸部检测单元124。

每当一个或多个假定区域特征量与单位图像数据一起被从特征量提取单元123提供来时，脸部检测单元124就以与上述相同的方式执行脸部检测处理。从而，脸部检测单元124将一个或多个检出人物脸部特征量与单位图像数据一起发送给份数选择单元126。

每当一个或多个检出人物脸部特征量与单位图像数据一起被从脸部检测单元124提供来时，份数选择单元126就以与上述相同的方式执行份数选择处理。从而，份数选择单元126把单位图像数据和份数指示信号作为打印数据发送给打印控制单元127。

每当打印数据(单位图像数据和份数指示信号)被从份数选择单元126提供来时，打印控制单元127就以与上述相同的方式执行打印控制处理。从而，打印控制单元127使得打印单元117在与份数指示信号所表示的打印份数相对应的打印纸上打印基于单位图像数据的单位图像。

这样，以与以上参考图22至25描述的打印静止图像相同的方式，份数选择单元126和打印控制单元127被配置为使得对于人物群组中的两个或更多个人物，仅打印并共享一份单位图像，并且对于人物群组外的每个人物打印一份单位图像。

[3-4份数选择/打印处理过程]

接下来，将参考图26至30描述在份数选择/打印模式中控制单元110执行的份数选择/打印处理过程RT3。

如果操作键被操作并且份数选择/打印功能被选择，那么控制单元110被置于份数选择/打印模式中，并且根据预先存储在内部存储器中的打印控制程序开始份数选择/打印处理过程RT3。

如果份数选择/打印处理过程RT3开始，那么在步骤SP31中，控制单元110等待，直到用户指定打印图像类型以及要打印的图像(即，指定日期、指定时段或指定动作)为止。如果用户指定了打印图像类型和要打印的图像，那么控制单元110进行到步骤SP32。

在步骤SP32中，控制单元110判定是否仅静止图像被指定为打印图像类型。如果步骤SP32中的判定结果为肯定，那么这表明请求仅打印通过对被摄物拍照而生成的静止图像。在步骤SP32中，如果判定结果为肯定，那么控制单元110进行到步骤SP33。

在步骤SP33中，控制单元110通过存储/再现单元113从存储介质114中的多个图像文件之中检索用户以指定日期或指定时段的形式指定的要打印的静止图像的所有图像文件。然后，控制单元110进行到步骤SP34。

在步骤SP34中，控制单元110利用编解码器116，基于所有检索到的图像文件中之中的一个图像文件来生成原始静止图像数据。然后，控制单元110进行到步骤SP35。

在步骤SP35中，控制单元110基于脸部信息，检测基于静止图像数据的静止图像中被假定为包括人物的脸部的一个或多个假定区域。结果，如果在静止图像中检测到一个或多个假定区域，那么控制单元110从检测到的假定区域中提取假定区域特征量。然后，控制单元110进行到步骤SP36。

在步骤SP35中，即使当基于脸部信息来检索静止图像中的假定区域时，如果未获得任何假定区域，那么控制单元110不获得假定区域特征量。然后，控制单元110进行到步骤SP36。

在步骤SP36中，控制单元110基于多类脸部检测特征量以及一个或多个假定区域特征量来检测静止图像的假定区域中的被摄物是否是人物的脸部。

如果检测到静止图像的假定区域中的被摄物是人物的脸部，那么控制单元110将出现人物的脸部的假定区域的假定区域特征量定义为检出人物脸部特征量。如果以这种方式从静止图像中检测到一个或多个人物的脸部以及一个或多个检出人物脸部特征量，那么控制单元110进行到步骤SP37。

在步骤SP36中，如果检测到在静止图像中没有人物的脸部，那么此时，控制单元110不检测检出人物脸部特征量并且进行到步骤SP37。

在步骤SP37中，控制单元110检测从静止图像中检测到的检出人物脸部特征量的数目(即，静止图像中的人物的数目)，并且判定是否检测到两个或更多个检出人物脸部特征量。

如果步骤SP37中的判定结果为肯定，那么这表明有可能检测静止图像中的多个人物之间的关系。在步骤SP37中，如果判定结果为肯定，那么控制单元110进行到步骤SP38。

在步骤SP38中，控制单元110通过存储/再现单元113从存储介质114中读取所有种类的人物登记信息。控制单元110基于从静止图像中检测到的多个检出人物脸部特征量以及多种人物登记信息中的登记人物脸部特征量，来判定是否已登记了静止图像中的多个人物之中的至少两个人物。

如果步骤SP38中的判定结果为肯定，那么这表明静止图像中的多个人物之中的已被登记的至少两个人物有可能被检测为亲属。在步骤SP38中，如果判定结果为肯定，那么控制单元110进行到步骤SP39。

在步骤SP39中，基于静止图像中的多个人物之中的多个已登记人物的检出人物脸部特征量以及人物登记信息中的人物关系信息，控制单元110判定多个已登记人物之间的关系。

基于人物之间的关系的判定结果，控制单元110检测人物群组的数目，并且还检测已登记群组外人物的数目和未登记群组外人物的数目。然后，控制单元110进行到步骤SP40。

在步骤SP40中，控制单元110基于人物群组的数目、已登记群组外人物的数目和未登记群组外人物的数目(静止图像中的多个人物的数目和多个人物之间的关系)，来选择静止图像的打印份数。然后，控制单元110进行到步骤SP41。

在步骤SP41中，控制单元110控制打印单元117以在与为打印静止图像而选择的打印份数相对应的打印纸上打印基于静止图像数据的静止图像。然后，控制单元110进行到步骤SP42。

在步骤SP42中，控制单元110判定是否打印了用户以指定日期或指定时段的形式指定的所有静止图像。如果步骤SP42中的判定结果为否定，那么这表明在用户指定为打印对象的多个静止图像之中存在尚未打印的静止图像。在步骤SP42中，如果判定结果为否定，那么控制单元110返回到步骤SP34。

同时，如果步骤SP37中的判定结果为否定，那么这表明，由于在静止图像中只有一个人物，或者静止图像中没有人物，因此无法判定人物之间的关系。在步骤SP37中，如果判定结果为否定，那么控制单元110进行到步骤SP43。

如果步骤SP38中的判定结果为否定，那么这表明在静止图像中的多个人物之中有一个人物或没有人物已被登记，并且无法检测作为亲属的人物。在步骤SP38中，如果判定结果为否定，那么控制单元110进行到步骤SP43。

在步骤SP43中，控制单元110基于人物的数目(即，出现人物的静止图像中的人物的数目，或者为没有出现人物的静止图像预先设定的打印份数)来选择静止图像的打印份数。然后，控制单元110进行到步骤SP44。

在步骤SP44中，控制单元110判定所选择的静止图像的打印份数是否等于或大于1。如果步骤SP44中的判定结果为肯定，那么这表明，选择了打印份数，使得出现一个或多个人物的静止图像按人物的数目被打印，或者没有出现人物的静止图像根据预设定被打印一份。在步骤SP44中，如果判定结果为肯定，那么控制单元110进行到步骤SP41。

如果步骤SP44中的判定结果为否定，那么这表明没有出现人物的静止图像的打印份数根据预设定被选择为零份，从而静止图像不被打印。在步骤SP44中，如果判定结果为否定，那么控制单元110进行到步骤SP42。

这样，当只有静止图像被指定为打印图像类型时，控制单元110反复执行步骤SP34至SP44，直到在步骤SP42中获得肯定判定结果为止。从而，当多个静止图像被指定为打印对象时，控制单元110在选择打印份数的同时顺次打印这多个静止图像，使得多个静止图像按所选打印份数被打印。

如果步骤SP42中的判定结果为肯定，那么这表明用户指定为打印对象的多个静止图像的打印已完成。在步骤SP42中，如果判定结果为肯定，那么控制单元110进行到步骤SP45，并且结束份数选择/打印处理过程RT3。

同时，如果步骤SP32中的判定结果为否定，那么这表明静止图像和单位图像两者的打印被请求或者单位图像的打印被请求。在步骤SP32中，如果判定结果为否定，那么控制单元110进行到步骤SP46。

在步骤SP46中，控制单元110判定是否指定了静止图像和单位图像两者作为打印图像类型。如果步骤SP46中的判定结果为肯定，那么这表明请求打印通过对被摄物拍照而生成的静止图像和构成通过对被摄物摄像而生成的存储运动图像的单位图像。在步骤SP46中，如果判定结果为肯定，那么控制单元110进行到步骤SP47。

在步骤SP47中，控制单元110通过存储/再现单元113从存储介质114中的多个图像文件之中检索用户以指定日期或指定时段的形式指定的要打印的静止图像的所有图像文件。

控制单元110还通过存储/再现单元113从存储介质114中的多个视频文件之中检索包括用户以指定日期或指定时段的形式指定的要打印的单位图像的存储运动图像的所有视频文件。然后，控制单元110进行到步骤SP48。

在步骤SP48中，控制单元110利用编解码器116基于所有检索到的图像文件之中的一个图像文件来生成原始静止图像数据。然后，控制单元110进行到步骤SP49。

在步骤SP49中，控制单元110基于脸部信息，检测基于静止图像数据的静止图像中被假定为包括人物的脸部的一个或多个假定区域。结果，如果在静止图像中检测到一个或多个假定区域，那么控制单元110从检测到的假定区域中提取假定区域特征量。然后，控制单元110进行到步骤SP50。

在步骤SP49中，即使当基于脸部信息来检索静止图像中的假定区域时，如果未能检测到任何假定区域，那么控制单元110不获得假定区域特征量，并且进行到步骤SP50。

在步骤SP50中，控制单元110基于多类脸部检测特征量以及一个或多个假定区域特征量来检测静止图像的假定区域中的被摄物是否是人物的脸部。

如果检测到静止图像的假定区域中的被摄物是人物的脸部，那么控制单元110将出现人物的脸部的假定区域的假定区域特征量定义为检出人物脸部特征量。如果从静止图像中检测到一个或多个人物的脸部以及一个或多个检出人物脸部特征量，那么控制单元110进行到步骤SP51。

在步骤SP50中，如果检测到在静止图像中没有人物的脸部，那么控制单元110此时不检测检出人物脸部特征量并且进行到步骤SP51。

在步骤SP51中，控制单元110检测从静止图像中检测到的检出人物脸部特征量的数目(即，静止图像中的人物的数目)，并且判定是否检测到两个或更多个检出人物脸部特征量。

如果步骤SP51中的判定结果为肯定，那么这表明有可能判定静止图像中的多个人物之间的关系。在步骤SP51中，如果判定结果为肯定，那么控制单元110进行到步骤SP52。

在步骤SP52中，控制单元110通过存储/再现单元113从存储介质114中读取所有种类的人物登记信息。控制单元110基于从静止图像中检测到的多个检出人物脸部特征量以及多种人物登记信息中的登记人物脸部特征量，来判定是否已登记了静止图像中的多个人物之中的至少两个人物。

如果步骤SP52中的判定结果为肯定，那么这表明静止图像中的多个人物之中的已被登记的至少两个人物有可能被检测为亲属。在步骤SP52中，如果判定结果为肯定，那么控制单元110进行到步骤SP53。

在步骤SP53中，基于静止图像中的多个人物之中的多个已登记人物的检出人物脸部特征量以及人物登记信息中的人物关系信息，控制单元110判定多个已登记人物之间的关系。

基于人物之间的关系的判定结果，控制单元110检测人物群组的数目、已登记群组外人物的数目和未登记群组外人物的数目。然后，控制单元110进行到步骤SP54。

在步骤SP54中，控制单元110基于人物群组的数目、已登记群组外人物的数目和未登记群组外人物的数目(静止图像中的多个人物的数目和多个人物之间的关系)，来选择静止图像的打印份数。然后，控制单元110进行到步骤SP55。

在步骤SP55中，控制单元110控制打印单元117以在与为打印静止图像而选择的打印份数相对应的打印纸上打印基于静止图像数据的静止图像。然后，控制单元110进行到步骤SP56。

在步骤SP56中，控制单元110判定用户以指定日期或指定时段的形式指定的所有静止图像的打印是否已完成。如果步骤SP56中的判定结果为否定，那么这表明在用户指定为打印对象的多个静止图像之中存在尚未打印的静止图像。在步骤SP56中，如果判定结果为否定，那么控制单元110返回到步骤SP48。

同时，如果步骤SP51中的判定结果为否定，那么这表明在静止图像中只有一个人物或者在静止图像中没有人物，从而无法判定人物之间的关系。在步骤SP51中，如果判定结果为否定，那么控制单元110进行到步骤SP57。

如果步骤SP52中的判定结果为否定，那么这表明在静止图像中的多个人物之中有一个人物或没有人物已被登记，并且无法检测作为亲属的人物。在步骤SP52中，如果判定结果为否定，那么控制单元110进行到步骤SP57。

在步骤SP57中，控制单元110基于人物的数目(即，出现人物的静止图像中的人物的数目，或者为没有出现人物的静止图像预先设定的打印份数)来选择静止图像的打印份数。然后，控制单元110进行到步骤SP58。

在步骤SP58中，控制单元110判定所选择的静止图像的打印份数是否等于或大于1。如果步骤SP58中的判定结果为肯定，那么这表明，设定了打印份数，使得出现一个或多个人物的静止图像按人物的数目被打印，或者没有出现人物的静止图像根据预设定被打印一份。在步骤SP58中，如果判定结果为肯定，那么控制单元110进行到步骤SP55。

如果步骤SP58中的判定结果为否定，那么这表明没有出现人物的静止图像的打印份数根据预设定被选择为零份，从而静止图像不被打印。在步骤SP58中，如果判定结果为否定，那么控制单元110进行到步骤SP56。

这样，当静止图像与单位图像一起被指定为打印图像类型时，控制单元110反复执行步骤SP48至SP58，直到在步骤SP56中获得肯定判定结果为止。

从而，当多个静止图像与单位图像一起被指定为打印对象时，控制单元110在选择打印份数的同时顺次打印这多个静止图像，使得这些静止图像按所选打印份数被打印。

如果步骤SP56中的判定结果为肯定，那么这表明用户指定为打印对象的多个静止图像的打印已完成。在步骤SP56中，如果判定结果为肯定，那么控制单元110进行到步骤SP59。

在步骤SP59中，控制单元110利用编解码器116，基于所有检索到的视频文件之中的一个视频文件，生成原始存储运动图像数据以及原始右声音数据、左声音数据和后声音数据。然后，控制单元110进行到步骤SP60。

在步骤SP60中，控制单元110基于右声音数据、左声音数据和后声音数据的数据水平确定存储运动图像数据中的一个或多个高潮时段。然后，控制单元110进行到步骤SP61。

在步骤SP61中，控制单元110从存储运动图像数据的任何一个高潮时段中选择并加载作为打印对象的单个单位图像数据。然后，控制单元110进行到步骤SP62。

在步骤SP62中，控制单元110基于脸部信息，检测基于单位图像数据的单位图像中被假定为包括人物的脸部的一个或多个假定区域。结果，如果在单位图像中检测到一个或多个假定区域，那么控制单元110从检测到的假定区域中提取假定区域特征量。然后，控制单元110进行到步骤SP63。

在步骤SP62中，即使当基于脸部信息来检索单位图像中的假定区域时，如果未能检测到任何假定区域，那么控制单元110不获得假定区域特征量，并且进行到步骤SP63。

在步骤SP63中，控制单元110基于多类脸部检测特征量以及一个或多个假定区域特征量来检测单位图像的假定区域中的被摄物是否是人物的脸部。

如果检测到单位图像的假定区域中的被摄物是人物的脸部，那么控制单元110将出现人物的脸部的假定区域的假定区域特征量定义为检出人物脸部特征量。如果以这种方式从单位图像中检测到一个或多个人物的脸部以及一个或多个检出人物脸部特征量，那么控制单元110进行到步骤SP64。

在步骤SP63中，如果检测到在单位图像中没有人物的脸部，那么控制单元110此时不检测检出人物脸部特征量并且进行到步骤SP64。

在步骤SP64中，控制单元110检测从单位图像中检测到的检出人物脸部特征量的数目(即，单位图像中的人物的数目)，并且判定是否检测到两个或更多个检出人物脸部特征量。

如果步骤SP64中的判定结果为肯定，那么这表明能够判定单位图像中的多个人物之间的关系。在步骤SP64中，如果判定结果为肯定，那么控制单元110进行到步骤SP65。

在步骤SP65中，控制单元110基于从单位图像中检测到的多个检出人物脸部特征量以及与单位图像相对应的文件属性信息中的人物关系信息，来判定单位图像中的多个人物之间的关系。

基于人物之间的关系的判定结果，控制单元110检测人物群组的数目，并且还检测群组外人物的数目。然后，控制单元110进行到步骤SP66。

在步骤SP66中，控制单元110基于人物群组的数目、群组外人物的数目(单位图像中的多个人物的数目和多个人物之间的关系)，来选择单位图像的打印份数。然后，控制单元110进行到步骤SP67。

在步骤SP67中，控制单元110控制打印单元117以在与为打印单位图像而选择的打印份数相对应的打印纸上打印基于单位图像数据的单位图像。然后，控制单元110进行到步骤SP68。

同时，如果步骤SP64中的判定结果为否定，那么这表明在单位图像中只有一个人物或者在单位图像中没有人物，从而无法判定人物之间的关系。在步骤SP64中，如果判定结果为否定，那么控制单元110进行到步骤SP69。

在步骤SP69中，控制单元110基于人物的数目(即，出现人物的单位图像中的人物的数目，或者为没有出现人物的单位图像预先设定的打印份数)来选择单位图像的打印份数。然后，控制单元110进行到步骤SP70。

在步骤SP70中，控制单元110单位图像的打印份数是否被选择为一份。如果步骤SP70中的判定结果为肯定，那么这表明，设定了打印份数，使得出现一个人物的单位图像为一个人物打印一份，或者没有出现人物的单位图像根据预设定被打印一份。在步骤SP70中，如果判定结果为肯定，那么控制单元110进行到步骤SP67。

如果步骤SP70中的判定结果为否定，那么这表明没有出现人物的单位图像的打印份数根据预设定被选择为零份，从而单位图像不被打印。在步骤SP70中，如果判定结果为否定，那么控制单元110进行到步骤SP68。

在步骤SP68中，控制单元110判定是否从存储运动图像数据的所有高潮时段中选择了要打印的单位图像数据。

如果在步骤SP68中的判定结果为否定，那么这表明在存储运动图像数据中确定了多个高潮时段，并且仍有一个或多个其中未选择要打印的单位图像数据的高潮时段。在步骤SP68中，如果判定结果为否定，那么控制单元110返回到步骤SP61。

从而，当在存储运动图像数据中确定了多个高潮时段时，控制单元110反复执行步骤SP61至SP70，直到在步骤SP68中获得肯定判定结果为止。从而，控制单元110从在存储运动图像数据中确定的多个高潮时段中顺次选择要打印的单位图像数据，并且处理单位图像数据以便打印。

同时，如果步骤SP68中的判定结果为肯定，那么这表明已经从在存储运动图像数据中确定的所有高潮时段中选择了要打印的单位图像数据并且对其进行了处理以便打印。在步骤SP71中，如果判定结果为肯定，那么控制单元110进行到步骤SP69。

在步骤SP71中，控制单元110判定用户以指定日期或指定时段的形式指定的所有要打印的单位图像的打印是否已完成(即，所有检索到的视频文件已被处理以便打印)。

如果步骤SP71中的判定结果为否定，那么这表明在用户指定为打印对象的多个单位图像中有一个或多个尚未被处理以便打印的单位图像。在步骤SP71中，如果判定结果为否定，那么控制单元110返回到步骤SP59。

当以这种方式单位图像与静止图像一起被指定为打印图像类型时，控制单元110反复执行步骤SP59至SP71，直到在步骤SP71中获得肯定判定结果为止。

从而，当多个单位图像与静止图像一起被指定为打印对象时，控制单元110在选择打印份数的同时顺次打印这多个单位图像，使得这些单位图像按打印份数被打印。

如果步骤SP71中的判定结果为肯定，那么这表明用户指定为打印对象的多个单位图像的打印已完成。在步骤SP71中，如果判定结果为肯定，那么控制单元110进行到步骤SP45并且结束份数选择/打印处理过程RT3。

同时，如果步骤SP46中的判定结果为否定，那么这表明仅单位图像的打印被请求。在步骤SP46中，如果判定结果为否定，那么控制单元110进行到步骤SP72。

在步骤SP72中，控制单元110基于指定动作，通过存储/再现单元113从存储介质114中的多个视频文件之中检索具有其中人物做出指定动作的场景的存储运动图像的所有视频文件。然后，控制单元110进行到步骤SP73。

在步骤SP73中，控制单元110利用编解码器116，基于所有检索到的视频文件之中的一个视频文件，生成原始存储运动图像数据以及原始右声音数据、左声音数据和后声音数据。然后，控制单元110进行到步骤SP74。

在步骤SP74中，控制单元110基于指定动作以及与存储运动图像数据相对应的文件属性信息中的一种或多种动作信息，确定存储运动图像数据中人物的指定动作出现的所有动作时段。然后，控制单元110进行到步骤SP75。

在步骤SP75中，控制单元110从存储运动图像数据的任何一个动作时段中选择并加载作为打印对象的单个单位图像数据。然后，控制单元110进行到步骤SP76。

在步骤SP76中，控制单元110基于脸部信息，检测基于单位图像数据的单位图像中被假定为包括人物的脸部的一个或多个假定区域。结果，如果在单位图像中检测到一个或多个假定区域，那么控制单元110从检测到的假定区域中提取假定区域特征量。然后，控制单元110进行到步骤SP77。

在步骤SP77中，控制单元110基于多类脸部检测特征量以及一个或多个假定区域特征量来检测单位图像的假定区域中的被摄物是否是人物的脸部。

如果检测到单位图像的假定区域中的被摄物是人物的脸部，那么控制单元110将出现人物的脸部的假定区域的假定区域特征量定义为检出人物脸部特征量。如果以这种方式从单位图像中检测到一个或多个人物的脸部以及一个或多个检出人物脸部特征量，那么控制单元110进行到步骤SP78。

在步骤SP78中，控制单元110检测从单位图像中检测到的检出人物脸部特征量的数目(即，单位图像中的人物的数目)，并且判定是否检测到两个或更多个检出人物脸部特征量。

如果步骤SP78中的判定结果为肯定，那么这表明能够判定单位图像中的多个人物之间的关系。在步骤SP78中，如果判定结果为肯定，那么控制单元110进行到步骤SP79。

在步骤SP79中，控制单元110基于从单位图像中检测到的多个检出人物脸部特征量以及与单位图像相对应的文件属性信息中的人物关系信息，来判定单位图像中的多个人物之间的关系。

基于人物之间的关系的判定结果，控制单元110检测人物群组的数目，并且还检测群组外人物的数目。然后，控制单元110进行到步骤SP80。

在步骤SP80中，控制单元110基于人物群组的数目以及群组外人物的数目(单位图像中的多个人物的数目和多个人物之间的关系)，来选择单位图像的打印份数。然后，控制单元110进行到步骤SP81。

在步骤SP81中，控制单元110控制打印单元117以在与为打印单位图像而选择的打印份数相对应的打印纸上打印基于单位图像数据的单位图像。然后，控制单元110进行到步骤SP82。

同时，如果步骤SP78中的判定结果为否定，那么这表明在单位图像中只有一个人物，从而无法判定人物之间的关系。在步骤SP78中，如果判定结果为否定，那么控制单元110进行到步骤SP83。

在步骤SP83中，控制单元110基于人物的数目(即，单位图像中的一个人物)来将单位图像的打印份数选择为一份。然后，控制单元110进行到步骤SP81。

从而，在步骤SP81中，控制单元110控制打印单元117以在与为打印单位图像而选择的打印份数相对应的一张打印纸上打印基于单位图像数据的单位图像。然后，控制单元110进行到步骤SP82。

在步骤SP82中，控制单元110判定是否从存储运动图像数据中的所有确定的动作时段中选择了要打印的单位图像数据。

如果在步骤SP82中的判定结果为否定，那么这表明在存储运动图像数据中确定了多个其中出现人物的指定动作的动作时段，并且仍有一个或多个其中未选择要打印的单位图像数据的动作时段。在步骤SP82中，如果判定结果为否定，那么控制单元110返回到步骤SP75。

从而，当在存储运动图像数据中确定了多个动作时段时，控制单元110反复执行步骤SP75至SP83，直到在步骤SP82中获得肯定判定结果为止。从而，控制单元110从在存储运动图像数据中确定的多个动作时段中顺次选择要打印的单位图像数据，并且处理单位图像数据以便打印。

同时，如果步骤SP82中的判定结果为肯定，那么这表明已经从在存储运动图像数据中确定的所有其中出现人物的指定动作的动作时段中选择了要打印的单位图像数据并且对其进行了处理以便打印。在步骤SP82中，如果判定结果为肯定，那么控制单元110进行到步骤SP84。

在步骤SP84中，控制单元110判定用户以指定动作的形式指定的所有要打印的单位图像的打印是否已完成(即，所有检索到的视频文件已被处理以便打印)。

如果步骤SP84中的判定结果为否定，那么这表明在用户指定为打印对象的多个单位图像中仍有一个或多个尚未被处理以便打印的单位图像。在步骤SP84中，如果判定结果为否定，那么控制单元110返回到步骤SP73。

当以这种方式仅单位图像被指定为打印图像类型时，控制单元110反复执行步骤SP73至SP84，直到在步骤SP84中获得肯定判定结果为止。

从而，当多个单位图像被指定为打印对象时，控制单元110在选择打印份数的同时顺次打印这多个单位图像，使得这些单位图像按所选择的打印份数被打印。

如果步骤SP84中的判定结果为肯定，那么这表明用户指定为打印对象的多个单位图像的打印已完成。在步骤SP84中，如果判定结果为肯定，那么控制单元110进行到步骤SP45并且结束份数选择/打印处理过程RT3。

[3-5第二实施例的操作和效果]

利用此配置，打印装置100的控制单元110从外部装置加载和存储通过拍摄被摄物而生成的静止图像的图像文件或者通过对被摄物摄像而生成的存储运动图像的视频文件。

当视频文件被加载和存储时，打印装置100的控制单元110利用视频文件执行被摄人物确定处理。从而，打印装置100的控制单元110根据存储运动图像判定存储运动图像中的人物之间的关系，并且将表示所判定的人物之间的关系的人物关系信息存储在存储介质114中。

在此状态中，如果静止图像或构成存储运动图像的单位图像的打印被请求，那么打印装置100的控制单元110检测要打印的静止图像或单位图像中的多个人物。打印装置100的控制单元110基于人物关系信息来判定静止图像或单位图像中的多个人物之间的关系。

打印装置100的控制单元110基于静止图像或单位图像中的多个人物的数目以及多个人物之间的关系来设定打印份数，使得仅为打印群组打印一份静止图像或单位图像，并且为一个群组外人物打印一份静止图像或单位图像。打印装置100的控制单元110按所选择的打印份数来打印静止图像或单位图像。

从而，打印装置100的控制单元110可以防止由于为打印群组(例如，家人、夫妻、兄弟等等)中的多个人物中的每一个打印一份静止图像或单位图像而浪费打印出的静止图像或单位图像。

根据上述配置，打印装置100加载和存储图像文件或视频文件。当视频文件被加载和存储时，打印装置100利用视频文件执行被摄人物确定处理以判定存储运动图像中的人物之间的关系，并且还将表示所判定的人物之间的关系的人物关系信息存储在存储介质114中。当静止图像或构成存储运动图像的每个单位图像的打印被请求时，打印装置100检测要打印的静止图像或单位图像中的多个人物，基于人物关系信息来多个人物之间的关系，并且基于多个人物的数目以及多个人物之间的关系来选择静止图像或单位图像打印份数。因此，打印装置100可以获得与第一实施例中相同的效果，并且还可以防止由于为打印群组(例如，家人、夫妻、兄弟等等)中的多个人物中的每一个打印一份静止图像或单位图像而浪费打印出的静止图像或单位图像。另外，打印装置100可以为群组或个人准确地打印静止图像或单位图像。

打印装置100的控制单元110在视频文件被加载和存储时判定多个人物之间的关系并且将人物关系信息积累在存储介质114中。当静止图像或单位图像的打印被请求时，打印装置100的控制单元110基于到此时间点为止在存储介质114中积累的人物关系信息来判定要打印的静止图像或单位图像中的多个人物之间的关系。

因此，当静止图像或单位图像被打印时，打印装置100的控制单元110判定静止图像或单位图像中的多个人物之间的关系，防止了因为无法充分判定关系而不准确地选择打印份数。

在打印时，打印装置100的控制单元110利用到该时间点为止存储的多个视频文件来判定人物之间的关系，从而防止了增加额外的处理。

<4.变体>

[4-1变体1]

在第一和第二实施例中，已经描述了这样一种情况，其中，即使当交谈中有三个或更多个人物时，也仅利用基于右声音数据、左声音数据和后声音数据生成的每个人物的发声文本来计算多个人物之间的亲密度。

然而，本发明并不限于此。当交谈中有三个或更多个人物时，将存储运动图像与每个人物的发声文本一起使用，并且从存储运动图像中检测交谈时每个人的脸部的方向或者嘴部的运动。

例如，可以检测进行面对面交谈的人物的组合以及该组合的转变，并且可以计算实际在该交谈中的人物之间的亲密度。利用此配置，可以根据交谈更准确地计算人物之间的亲密度。

[4-2变体2]

在第一实施例中，已经描述了这样一种情况，其中，通过拍摄人物而生成的存储运动图像数据、右声音数据、左声音数据和后声音数据被临时存储在存储介质28中，并且再次被读取以便判定该人物和另一人物之间的关系以及确定该人物。

然而，本发明并不限于此。当通过拍摄人物而生成存储运动图像数据、右声音数据、左声音数据和后声音数据时，可以判定多个人物之间的关系并且可以确定该人物。

另外，如果可以在通过拍摄人物而生成存储运动图像数据、右声音数据、左声音数据和后声音数据的同时判定多个人物之间的关系并且确定该人物，那么在判定或确定完成时，可以自动创建人生影集。

[4-3变体3]

在第一实施例中，已经描述了这样一种情况，其中，通过使用通过拍摄人物而生成的存储运动图像数据、右声音数据、左声音数据和后声音数据，数字摄像机10判定该人物和另一人物之间的关系并且确定该人物。

然而，本发明并不限于此。数字摄像机10加载从外界提供的存储运动图像数据、右声音数据、左声音数据和后声音数据。数字摄像机10可以利用从外界加载的存储运动图像数据、右声音数据、左声音数据和后声音数据来判定多个人物之间的关系并且可以确定人物。

利用此配置，保存在与数字摄像机10不同的装置中的先前的存储运动图像数据、右声音数据、左声音数据和后声音数据可被用于关系判定或人物确定。

利用此配置，保存在与数字摄像机10不同的装置中的先前的存储运动图像数据、右声音数据、左声音数据和后声音数据可被用于生成人生影集。

[4-4变体4]

在第一和第二实施例中，已经描述了这样一种情况，其中，存储运动图像数据、右声音数据、左声音数据和后声音数据被用于多个人物之间的关系的判定和人物确定。

然而，本发明并不限于此。例如，可以只将存储运动图像数据用于多个人物之间的关系的判定和人物确定。利用此配置，可以减轻判定多个人物之间的关系和确定人物时的处理负担。

[4-5变体5]

在第一和第二实施例中，已经描述了这样一种情况，其中，基于右声音数据、左声音数据和后声音数据生成交谈中发声文本，并且从发声文本中检测人物的姓名或昵称或者关系推定语句，并且将其用于多个人物的判定或确定。

然而，本发明并不限于此。例如，可以对右声音数据、左声音数据和后声音数据进行频率分析，以便可以检测姓名或昵称或者关系推定语句，并将其用于多个人物的判定或确定。

[4-6变体6]

在第一和第二实施例中，已经描述了这样一种情况，其中，在基于人物的动作或发声推定了多个人物之间的关系之后，基于亲密度和亲密程度信息来最终判定关系。

然而，本发明并不限于此。例如，可以基于人物的动作和发声之中至少人物的动作来判定多个人物之间的关系，而不使用亲密度和亲密程度信息。

[4-7变体7]

在第一和第二实施例中，已经描述了这样一种情况，其中，在基于人物的动作或发声推定了多个人物之间的关系之后，基于亲密度和亲密程度信息来最终判定关系。然而，本发明并不限于此。例如，可以基于亲密度和亲密程度信息之一以及人物的动作和发声来判定多个人物之间的关系。

[4-8变体8]

在第一和第二实施例中，已经描述了这样一种情况，其中，在基于人物的动作或发声推定了多个人物之间的关系之后，基于亲密度和亲密程度信息来最终判定关系。然而，本发明并不限于此。例如，可以基于亲密度和亲密程度信息中的至少一种以及人物的动作来判定多个人物之间的关系。

[4-9变体9]

在第二实施例中，已经描述了这样一种情况，其中，按指定日期、指定时段或指定动作来指定要打印的静止图像或单位图像。然而，本发明并不限于此。例如，可以通过诸如事件、拍摄地点、存储介质114中存储的所有图像文件或视频文件等等之类的各种其他方法来指定要打印的静止图像或单位图像。

另外，例如，表示事件的信息可被存储在例如通过对被摄物拍照而生成的图像文件的头部数据中，使得要打印的静止图像可以按事件来指定。

[4-10变体10]

在第二实施例中，已经描述了这样一种情况，其中，对于要打印的静止图像或单位图像，控制单元110将打印群组的数目、已登记群组外人物的数目和未登记群组外人物的数目相加来选择打印份数。

然而，本发明并不限于此。例如，控制单元110可以检测要打印的静止图像或单位图像中的所有人物的数目，可以利用打印群组的数目和所有打印群组中的人物的总数目来校正该人物数目，并且可以将打印份数选择为与经校正的数目相同。

[4-11变体11]

在第二实施例中，已经描述了这样一种情况，其中，控制单元110判定要打印的静止图像或单位图像中的多个人物之间的关系，并且基于判定结果来检测打印群组。

然而，本发明并不限于此。例如，在打印之前，用户选择要检测的打印群组的类型，例如夫妻、亲子、兄弟等等。当要打印的静止图像或单位图像中的多个人物之间的关系已被判定时，控制单元110可以基于判定结果从多个人物中检测预先选择的类型在的打印群组。利用此配置，可以按用户的意愿来打印静止图像或单位图像。

另外，诸如足球或棒球之类的俱乐部队的成员的列表或者朋友姓名的列表被预先存储在打印装置100的存储介质114中。如果要打印的静止图像或单位图像的多个人物之间的关系被判定，那么控制单元110利用该列表来检测作为除亲属外的群组的俱乐部队的成员或朋友。从而，控制单元110可以通过打印单元117为除亲属外的群组打印一份要打印的静止图像或单位图像。

[4-12变体12]

在第二实施例中，已经描述了这样一种情况，其中，静止图像或单位图像中的每一种按打印份数被打印。然而，本发明并不限于此。例如，控制单元110可以结合人物之间的关系对静止图像或单位图像的打印份数计数。控制单元110可以基于计数结果来按打印群组或群组外人物打印静止图像或单位图像。

利用此配置，当静止图像或单位图像被打印时，可以省略对打印静止图像或单位图像的打印纸的分拣操作，并且打印装置100的用户友好度可以大大提高。

[4-13变体13]

在第二实施例中，当控制单元110加载和存储视频文件时，多个人物之间的关系被判定，并且人物关系信息被存储在存储介质114中。在第二实施例中，已经描述了这样一种情况，其中，当静止图像或单位图像被打印时，控制单元110使用人物关系信息。

然而，本发明并不限于此。例如，当单位图像被打印时，控制单元110可以利用单位图像的视频文件来判定多个人物之间的关系，并且在选择打印份数可以使用所判定的关系。

[4-14变体14]

在第一和第二实施例中，已经描述了这样一种情况，其中，本发明的信息处理装置被应用到参考图1至30描述的信息处理装置1、数字摄像机10和打印装置100。

然而，本发明并不限于此，并且可被应用到诸如计算机、移动电话、PDA(个人数字助理)、便携式游戏机或打印装置等等之类的能够再现视频文件的信息处理装置。

本发明可被应用到具有各种其他配置的信息处理装置，例如具有摄像功能的数字静态相机，或者存储/再现装置，例如硬盘记录器。

另外，可以构造一打印系统，其中根据第一实施例的数字摄像机10和一打印机相互连接，并且数字摄像机10的控制单元11可实现与根据第二实施例的打印装置100的控制单元110相同的功能。

即，在这种打印系统中，数字摄像机10的控制单元11可以执行参考图26至图30描述的份数选择/打印处理过程RT3。

[4-15变体15]

在第一和第二实施例中，本发明的信息处理程序被应用到预先存储在参考图1至30描述的控制单元11和110的内部存储器中的被摄人物确定程序。

已经描述了这样一种情况，其中控制单元11和110根据被摄人物确定程序来执行参考图12至18描述的被摄人物确定处理过程RT1。

然而，本发明并不限于此。例如，信息处理程序可利用计算机可读存储介质来安装，在该介质中记录了信息处理程序以便能够被数字摄像机10和打印装置100读取。控制单元11和110可根据安装的信息处理程序来执行被摄人物确定处理过程RT1。

数字摄像机10和打印装置100可利用诸如局域网、因特网或数字卫星广播之类的有线或无线通信介质从外界安装信息处理程序。

使得信息处理程序可被安装并运行在数字摄像机10和打印装置100上的计算机可读存储介质例如可利用诸如柔性盘之类的封装介质来实现。

使得信息处理程序可被安装并运行在数字摄像机10和打印装置100上的计算机可读存储介质例如可利用诸如CD-ROM(压缩盘-只读存储器)之类的封装介质来实现。

使得信息处理程序可被安装并运行在数字摄像机10和打印装置100上的计算机可读存储介质例如可利用诸如DVD(数字多功能盘)之类的封装介质来实现。

计算机可读存储介质可利用其中临时或永久存储了各种程序的半导体存储器或磁盘以及封装介质来实现。

作为用于在计算机可读存储介质中存储信息处理程序的装置，可以使用诸如局域网、因特网或数字卫星广播之类的有线或无线通信介质。信息处理程序可通过诸如路由器或调制解调器之类的各种通信接口被存储在计算机可读存储介质中。

[4-16变体16]

在第一和第二实施例中，已经描述了这样一种情况，其中，参考图1至30描述的存储单元2和存储/再现单元27和113可被用作在存储介质中存储表示作为被摄物的多个人物之间的关系的人物关系信息的存储单元。

然而，本发明并不限于此。例如，可以使用具有各种其他功能的存储单元，例如设置在数字摄像机10和打印装置100外部的存储单元。

[4-17变体17]

在第一和第二实施例中，已经描述了这样一种情况，其中，参考图1至30描述的获取单元4、透镜单元13、成像单元14、模数转换单元15、数字处理单元16和外部装置接口112被用作获取通过拍摄作为被摄物的人物而生成的图像数据的获取单元。

然而，本发明并不限于此。例如，可以使用具有各种其他配置的获取单元，比如通过无线通信或有线通信从外界获取图像数据的通信接口。

[4-18变体18]

在第一和第二实施例中，已经描述了这样一种情况，其中，参考图1至30描述的检测单元5和控制单元11和110可被用作检测基于由获取单元获取的图像数据的图像中的人物的检测单元。

然而，本发明并不限于此，而是可以使用CPU(中央处理单元)或DSP(数字信号处理器)。可以使用具有各种其他配置的检测单元，比如具有硬件电路配置的、检测基于由获取单元获取的图像数据的图像中的人物的检测单元

[4-19变体19]

在第一和第二实施例中，已经描述了这样一种情况，其中，参考图1至30描述的确定单元6以及控制单元11和110被用作确定由检测单元从图像中检测的人物的确定单元。

然而，本发明并不限于此，而是可以使用CPU或DSP。另外，可以使用具有各种其他配置的确定单元，比如具有硬件电路配置的、确定由检测单元从图像中检测的人物的确定单元。

[4-20变体20]

在第一和第二实施例中，已经描述了这样一种情况，其中，参考图1至30描述的判定单元7以及控制单元11和110被用作判定由检测单元从图像中检测到的多个人物之间的关系的判定单元。

然而，本发明并不限于此，而是可以使用CPU或DSP。另外，可以使用具有各种其他配置的判定单元，比如具有硬件电路配置的、判定由检测单元从图像中检测到的多个人物之间的关系的判定单元。

[4-21变体21]

在第一和第二实施例中，已经描述了这样一种情况，其中，参考图1至30描述的控制单元11和110被用作分析由获取单元获取的图像数据以推定由检测单元检测到的人物的动作的动作推定单元。

然而，本发明并不限于此，而是可以使用CPU或DSP。另外，可以使用具有各种其他配置的动作推定单元，比如具有硬件电路配置的、分析由获取单元获取的图像数据以推定由检测单元检测到的人物的动作的动作推定单元。

[4-22变体22]

在第一和第二实施例中，已经描述了这样一种情况，其中，参考图1至30描述的控制单元11和110被用作分析由获取单元获取的声音数据以提取人物的发声的发声提取单元。

然而，本发明并不限于此，而是可以使用CPU或DSP。另外，可以使用具有各种其他配置的发声提取单元，比如具有硬件电路配置的、分析由获取单元获取的声音数据以提取人物的发声的发声提取单元。

[4-23变体23]

在第一和第二实施例中，已经描述了这样一种情况，其中，参考图1至30描述的控制单元11和110被用作基于由发声提取单元提取的多个人物之间的交谈的发声来计算多个人物之间的亲密度的亲密度计算单元。

然而，本发明并不限于此，而是可以使用CPU或DSP。另外，可以使用具有各种其他配置的亲密度计算单元，比如具有硬件电路配置的、基于由发声提取单元提取的多个人物之间的交谈的发声来计算多个人物之间的亲密度的亲密度计算单元。

[4-24变体24]

在第一和第二实施例中，已经描述了这样一种情况，其中，参考图1至30描述的控制单元11和110被用作从基于图像数据的图像中提取表示多个人物之间的亲密程度的亲密程度信息的亲密程度提取单元。

然而，本发明并不限于此，而是可以使用CPU或DSP。另外，可以广泛使用具有各种其他配置的亲密程度提取单元，比如具有硬件电路配置的、从基于图像数据的图像中提取表示多个人物之间的亲密程度的亲密程度信息的亲密程度提取单元。

[4-25变体25]

在第一和第二实施例中，已经描述了这样一种情况，其中，参考图1至30描述的控制单元110被用作基于由检测单元从图像中检测到的人物的数目和由判定单元判定的多个人物之间的关系来选择图像的打印份数的份数选择单元。

然而，本发明并不限于此，而是可以使用CPU或DSP。另外，可以广泛使用具有各种其他配置的份数选择单元，比如具有硬件电路配置的、基于由检测单元从图像中检测到的人物的数目和由判定单元判定的多个人物之间的关系来选择图像的打印份数的份数选择单元。

本发明可用于数字摄像机、计算机或者诸如打印装置之类的信息处理装置中。

本申请包含与2010年3月12日向日本专利局提交的日本优先权专利申请JP 2010-056390中公开的主题相关的主题，这里通过引用将该申请的全部内容并入。

本领域的技术人员应当理解，取决于设计要求和其他因素，可以进行各种修改、组合、子组合和变更，只要它们处于所附权利要求或其等同物的范围之内即可。

Claims

1.一种信息处理装置，包括：

存储单元，该存储单元在存储介质中存储表示作为被摄物的多个人物之间的关系的人物关系信息；

获取单元，该获取单元获取通过拍摄作为被摄物的人物而生成的图像数据；

检测单元，该检测单元检测基于由所述获取单元获取的图像数据的图像中的每个人物；

确定单元，该确定单元确定由所述检测单元从所述图像中检测到的每个人物；以及

判定单元，该判定单元判定由所述检测单元从所述图像中检测到的多个人物之间的关系，

其中，当由所述检测单元从所述图像中检测到的多个人物之中的至少一个人物被确定而另一人物未能被确定时，所述确定单元基于由所述判定单元判定的多个人物之间的关系和存储在所述存储介质中的人物关系信息来确定另一人物。

2.根据权利要求1所述的信息处理装置，还包括：

动作推定单元，该动作推定单元分析由所述获取单元获取的图像数据以推定由所述检测单元检测到的每个人物的动作，

其中，所述判定单元基于由所述动作推定单元推定的每个人物的特定动作来判定多个人物之间的关系。

3.根据权利要求2所述的信息处理装置，

其中，所述获取单元获取通过拍摄人物而与图像数据一起生成的声音数据，并且

所述判定单元基于由所述动作推定单元推定的每个人物的特定动作和由所述获取单元获取的声音数据来判定多个人物之间的关系。

4.根据权利要求3所述的信息处理装置，包括：

发声提取单元，该发声提取单元分析由所述获取单元获取的声音数据以提取每个人物的发声；以及

亲密度计算单元，该亲密度计算单元基于由所述发声提取单元提取的多个人物之间的交谈的发声来计算多个人物之间的亲密度，

其中，所述判定单元基于由所述动作推定单元推定的每个人物的特定动作和由所述亲密度计算单元计算出的多个人物之间的亲密度来判定多个人物之间的关系。

5.根据权利要求4所述的信息处理装置，还包括：

亲密程度提取单元，该亲密程度提取单元从基于图像数据的图像中提取表示多个人物之间的亲密程度的亲密程度信息，

其中，所述判定单元基于由所述动作推定单元推定的每个人物的特定动作、由所述亲密度计算单元计算出的多个人物之间的亲密度以及由所述亲密程度提取单元提取的多个人物之间的亲密程度信息，来判定多个人物之间的关系。

6.根据权利要求5所述的信息处理装置，还包括：

份数选择单元，该份数选择单元基于由所述检测单元从所述图像中检测到的人物的数目和由所述判定单元判定的多个人物之间的关系来选择所述图像的打印份数。

7.根据权利要求3所述的信息处理装置，还包括：

发声提取单元，该发声提取单元分析由所述获取单元获取的声音数据以提取每个人物的发声，

其中，所述判定单元基于由所述动作推定单元推定的每个人物的特定动作和由所述发声提取单元提取的每个人物的发声来判定多个人物之间的关系。

8.根据权利要求7所述的信息处理装置，还包括：

其中，所述判定单元基于由所述动作推定单元推定的每个人物的特定动作、由所述发声提取单元提取的每个人物的发声以及由所述亲密度计算单元计算出的多个人物之间的亲密度，来判定多个人物之间的关系。

9.根据权利要求8所述的信息处理装置，还包括：

其中，所述判定单元基于由所述动作推定单元推定的每个人物的特定动作、由所述发声提取单元提取的每个人物的发声、由所述亲密度计算单元计算出的多个人物之间的亲密度以及由所述亲密程度提取单元提取的多个人物之间的亲密程度信息，来判定多个人物之间的关系。

10.根据权利要求9所述的信息处理装置，还包括：

11.一种信息处理方法，包括以下步骤：

在存储介质中存储表示作为被摄物的多个人物之间的关系的人物关系信息；

获取通过拍摄作为被摄物的人物而生成的图像数据；

检测基于所获取的图像数据的图像中的每个人物；

确定从所述图像中检测到的每个人物；

判定从所述图像中检测到的多个人物之间的关系；以及

当从所述图像中检测到的多个人物之中的至少一个人物被确定而另一人物未能被确定时，基于所判定的多个人物之间的关系和存储在所述存储介质中的人物关系信息来确定另一人物。

12.一种使得计算机执行以下步骤的信息处理程序：

获取通过拍摄作为被摄物的人物而生成的图像数据；

检测基于所获取的图像数据的图像中的每个人物；

确定从所述图像中检测到的每个人物；

判定从所述图像中检测到的多个人物之间的关系；以及

13.一种信息处理装置，包括：

判定单元，该判定单元判定由所述检测单元从所述图像中检测到的多个人物之间的关系；以及

14.根据权利要求13所述的信息处理装置，还包括：

存储单元，该存储单元在存储介质中存储表示作为被摄物的多个人物之间的关系的人物关系信息，

其中，所述判定单元基于存储在所述存储介质中的人物关系信息来判定由所述检测单元检测到的多个人物之间的关系。

15.根据权利要求14所述的信息处理装置，还包括：

16.根据权利要求15所述的信息处理装置，

17.一种信息处理方法，包括以下步骤：

获取通过拍摄作为被摄物的人物而生成的图像数据；

检测基于所获取的图像数据的图像中的每个人物；

判定从所述图像中检测到的多个人物之间的关系；以及

基于从所述图像中检测到的人物的数目和所判定的多个人物之间的关系来选择所述图像的打印份数。

18.一种使得计算机执行以下步骤的信息处理程序：

获取通过拍摄作为被摄物的人物而生成的图像数据；

检测基于所获取的图像数据的图像中的每个人物；

判定从所述图像中检测到的多个人物之间的关系；以及