Nothing Special   »   [go: up one dir, main page]

CN103731604B - 追踪装置及追踪方法 - Google Patents

追踪装置及追踪方法 Download PDF

Info

Publication number
CN103731604B
CN103731604B CN201310479013.7A CN201310479013A CN103731604B CN 103731604 B CN103731604 B CN 103731604B CN 201310479013 A CN201310479013 A CN 201310479013A CN 103731604 B CN103731604 B CN 103731604B
Authority
CN
China
Prior art keywords
focus detection
trace location
group
detection region
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201310479013.7A
Other languages
English (en)
Other versions
CN103731604A (zh
Inventor
米山尚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aozhixin Digital Technology Co ltd
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN103731604A publication Critical patent/CN103731604A/zh
Application granted granted Critical
Publication of CN103731604B publication Critical patent/CN103731604B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Abstract

本发明提供追踪装置及追踪方法。追踪装置包含群组化设定部、追踪特征检测部和追踪部。所述群组化设定部根据对焦状态对多个焦点检测区域进行群组化。所述追踪特征检测部检测进行所述群组化后的所述焦点检测区域内的所述追踪对象的特征量。所述追踪部根据群组数，按照作为处于所述对焦状态的所述焦点检测区域的第1追踪位置或者作为所述特征量的部分的第2追踪位置来追踪所述追踪对象。

Description

追踪装置及追踪方法
对相关申请的交叉引用
本申请基于2012年10月15日提交的在先日本专利申请2012-227758并主张其优先权，在此以参考的方式并入其全部内容。
技术领域
本发明涉及例如应用于数码相机等摄像装置的、提高了对于作为追踪对象的被摄体的追踪性能的追踪装置。
背景技术
作为追踪被摄体的技术，例如有日本特开2007-011054号公报、日本特开2009-268086号公报。日本特开2007-011054号公报公开了利用例如在对比度自动对焦(对比度AF)中使用的AF评价值来追踪被摄体的技术。该公报公开了如下技术：在驱动对焦透镜的同时，针对多个AF区域，根据摄像元件的输出信号运算对比度检测信号，根据该运算出的对比度检测信号来检测在AF区域间的被摄体移动，根据该检测结果求出对焦位置。
日本特开2009-268086号公报公开了使用用于追踪被摄体的至少2个区域来追踪被摄体的技术。该公报公开了如下技术：在对被摄体摄像而取得的图像数据上具有用于追踪被摄体的第1区域和第2区域，始终将第1区域作为基准区域进行被摄体的追踪，将第2区域独立于第1区域进行被摄体的追踪。
图21示出追踪动作中的某个时刻的帧图像的一例。图22示出追踪动作中的1帧后的帧图像的一例。在数码相机的摄像画面1中，存在作为追踪对象的人物等被摄体(追踪被摄体)A，并且在追踪位置B1显示有用于追踪被摄体A的追踪框W。摄像画面1中示出了配置成二维状的多个焦点检测区域C。这些焦点检测区域C检测对于被摄体A的对焦状态。这些焦点检测区域C例如与摄像元件中被配置成二维状的多个焦点检测用像素对应，该摄像元件是在数码相机中将多个像素配置成二维状而成的。
追踪框W是根据被摄体A的尺寸而设定的。在追踪框W中，用于追踪被摄体A的焦点检测区域C的个数可以根据该追踪框W的尺寸而变化。例如在图21所示的帧图像中，追踪框W具有与被摄体A的尺寸对应的大小。在追踪框W内，根据该追踪框W的尺寸例如包含10个焦点检测区域C。在图22所示的1帧后的帧图像中，追踪框W追踪向右侧移动的被摄体A，而向该右侧移动到达追踪位置B1。追踪框W的尺寸不会伴随追踪而变化，该追踪框W中所包含的焦点检测区域C的个数也是10个。
如图23所示，在被摄体A附近或与被摄体A相邻地存在其他被摄体E，然后，如图24所示，存在被摄体A与被摄体E分离的情况。该情况下，如图23所示，当与被摄体A相邻地存在被摄体E时，追踪框W位于追踪位置B2，以包含2个被摄体A、E，并且其尺寸被设定为较大。在追踪框W内例如包含20个焦点检测区域C。
然而，当从追踪框W包含2个被摄体A、E的状态变化为如图24所示那样被摄体A与被摄体E分离时，追踪框W有可能转换为对其他被摄体E的追踪而位于追踪位置B3。
本发明的目的在于提供一种追踪装置，即便在被摄体附近或与被摄体相邻地存在其他被摄体，也不会从作为追踪对象的被摄体转换到其他被摄体，从而能够提高追踪的可靠性。
发明内容
根据本发明的追踪装置，其具有：群组化设定部，其在包含追踪对象的图像数据中的多个焦点检测区域中，根据对焦状态对所述多个焦点检测区域进行群组化；追踪特征检测部，其检测由所述群组化设定部进行群组化后的所述群组的区域内的所述追踪对象的特征量；以及追踪部，其将对于所述追踪对象处于对焦状态的所述焦点检测区域设定为第1追踪位置，将由所述追踪特征检测部检测出的所述特征量的部分设定为第2追踪位置，根据进行所述群组化后的群组数，并根据所述第1追踪位置或所述第2追踪位置来追踪所述追踪对象。
根据本发明的追踪方法，其包含以下步骤：在包含追踪对象的图像数据中的多个焦点检测区域中，根据对焦状态对所述多个焦点检测区域进行群组化；检测进行所述群组化后的所述群组的区域内的所述追踪对象的特征量；将对于所述追踪对象处于对焦状态的所述焦点检测区域设定为第1追踪位置，将所述追踪对象的特征量的部分设定为第2追踪位置，根据进行所述群组化后的群组数，并根据所述第1追踪位置或所述第2追踪位置来追踪所述追踪对象。
本发明的其他目标和优点将在以下的说明中阐述，部分的目标和优点将通过说明变得清楚，或者可以通过本发明的实践而得知。可以通过以下特别指出的手段和组合实现和获得本发明的目标和优点。
附图说明
被并入且构成说明书的一部分的附图例示了本发明的实施例，并与以上给出的一般说明和以下给出的实施例的详细说明一起用于解释本发明的原理。
图1是示出具有本发明的追踪装置的摄像装置的一个实施方式的结构图。
图2是示出该装置中的群组化设定电路进行的与焦点检测区域的对焦状态对应的群组化的图。
图3是示出该装置中的群组化设定电路进行的具体的群组化动作的图。
图4是示出该装置中的群组化设定电路进行的具体的群组化动作的图。
图5A是用于说明该装置中的脸部检测处理电路从图像数据中检测被摄体的脸部时取得与脸部器官的各相关量的图。
图5B是示出该装置中的脸部检测处理电路从图像数据中检测被摄体的脸部时的相关量成为最大的情况的图。
图6A是用于说明该装置中的亮度追踪处理电路使用亮度信息的(N-1)帧中的追踪的作用的图。
图6B是用于说明该装置中的亮度追踪处理电路使用亮度信息的追踪的作用中的参照图像数据与基准图像数据之间的差分绝对值和的图。
图7A是用于说明该装置中的颜色信息追踪处理电路使用颜色信息的(N-1)帧中的追踪的作用的图。
图7B是用于说明该装置中的颜色信息追踪处理电路使用颜色信息的追踪的作用中的在(N-1)帧中的追踪处理的开始位置的图。
图8是该装置中的摄影动作流程图。
图9示出在由该装置中的脸检测处理电路检测到的脸部上显示的追踪框的图。
图10是示出在由该装置中的脸检测处理电路检测到的脸部上显示的追踪框的图。
图11是该装置中的追踪处理流程图。
图12是示出该装置中的释放AF处理时的释放AF对焦区域的图。
图13是示出通过该装置中的追踪特征检测电路追踪被摄体的亮度/颜色信息追踪区域的图。
图14A是该装置中的第1追踪处理流程图。
图14B是该装置中的第1追踪处理流程图。
图15是该装置中的优先追踪位置判定流程图。
图16是示出在该装置中的优先追踪位置判定中，对于被摄体具有1个焦点检测区域群组的情况下的构图。
图17是示出在该装置中的优先追踪位置判定中，2个被摄体接近的状态下，具有1个焦点检测区域群组的情况下的构图。
图18是示出在该装置中的优先追踪位置判定中，2个被摄体远离的状态下，具有2个焦点检测区域群组的情况下的构图。
图19是用于说明车体进入了该装置的拍摄被摄体的构图内时的追踪动作的图。
图20是用于说明车体进入了该装置的拍摄被摄体的构图内时的追踪结果的图。
图21是用于说明追踪的背景技术的图。
图22是用于说明该背景技术的图。
图23是示出在该背景技术中，在被摄体的附近或与被摄体相邻地存在其他被摄体时的追踪框的图。
图24是示出作为该背景技术的课题、即追踪框转换为其他被摄体的追踪的情况的图。
具体实施方式
以下，参照附图对本发明的一个实施方式进行说明。
图1示出具有追踪装置的摄像装置100的一例的结构图。摄像装置(本装置)100包含摄影光学系统102、焦点调整机构104、光圈106、光圈驱动机构108、快门110、快门驱动机构112、摄像元件114、摄像元件接口(IF)电路116、SDRAM 118、显示元件120、显示元件驱动电路122、触摸面板124、触摸面板驱动电路126、记录介质128、搭载CPU 1301的系统控制器130、相机操作开关132、闪存(FlashROM)134。
摄像部101包含摄影光学系统102、焦点调整机构104、光圈106、光圈驱动机构108、快门110、快门驱动机构112、摄像元件114、摄像元件接口(IF)电路116。
摄影光学系统102将来自被摄体的光束F会聚到摄像元件114的受光面上。摄影光学系统102包含对焦透镜等多个透镜。焦点调整机构104包含电动机和该电动机的驱动电路等。焦点调整机构104根据CPU 1301的控制，在摄影光学系统102内的对焦透镜的光轴方向(图示点划线方向)上驱动该对焦透镜。
光圈106开闭自如，并且调整经由摄影光学系统102入射到摄像元件114的光束F的量。光圈驱动机构108包含用于驱动光圈106的驱动机构。光圈驱动机构108根据系统控制器130内的CPU 1301的控制来驱动光圈106。
快门110将摄像元件114的受光面设为遮光状态或曝光状态，调整摄像元件114的曝光时间。快门驱动机构112包含用于驱动快门110的驱动机构。快门驱动机构112根据系统控制器130内的CPU 1301的控制来驱动快门110。
摄像元件114包含受光面。经由摄影光学系统102会聚的来自被摄体的光束F在摄像元件114的受光面上成像。摄像元件114的受光面是将多个像素配置成二维状而成的。在摄像元件114的受光面的光入射侧设有滤色器。摄像元件114将与在受光面上成像的光束F对应的像(被摄体像)转换为与其光量对应的电信号(以下称作图像信号)。作为摄像元件114，公知有例如CCD方式或CMOS方式等各种结构的摄像元件。滤色器的颜色排列公知有例如拜耳排列等各种的排列。本实施方式的摄像元件114的结构不限于特定的结构，可以使用各种结构的摄像元件。
摄像元件IF电路116按照CPU 1301的控制来驱动摄像元件114，读出通过摄像元件114的驱动而输出的图像信号。摄像元件IF电路116对从摄像元件114读出的图像信号实施CDS(相关双采样)处理和AGC(自动增益控制)处理等模拟处理，将该模拟处理后的图像信号转换为数字信号(以下称作图像数据)。
在SDRAM 118中例如作为存储区域形成有工作区域118a、追踪图像区域118b、追踪色日志区域118c、追踪数据日志区域118d。
在工作区域118a中暂时存储在摄像装置100的各部中产生的数据。工作区域118a中暂时存储的数据例如是通过摄像元件IF电路116得到的图像数据等。
在追踪图像区域118b中暂时存储追踪图像数据。追踪图像数据是包含进行追踪处理时的追踪对象即被摄体的帧的图像数据。
在追踪色日志区域118c中暂时存储对作为追踪对象的被摄体进行追踪时的颜色信息日志。
在追踪数据日志区域118d中暂时存储追踪数据日志。在本实施方式中，使用被摄体的脸部、亮度信息、颜色信息等的多个追踪处理来追踪被摄体。由此，在追踪数据日志区域118d中暂时存储在该追踪处理中所使用的追踪数据。
显示元件120例如是液晶显示器(LCD)。显示元件120对实时取景用的图像和记录介质128中所记录的图像数据等各种图像进行显示。以下，将显示元件120称作LCD120。显示元件驱动电路122根据通过CPU 1301的控制而输入的图像数据来驱动LCD120，在LCD120中显示图像。
触摸面板124在LCD120的显示画面上一体地设置。触摸面板124检测用户的手指等对LCD120的显示画面上的接触(触摸)，输出包含示出该触摸位置的坐标的接触检测信号。触摸面板驱动电路126驱动触摸面板124，并且将来自触摸面板124的接触检测信号发送到CPU 1301。CPU 1301从来自触摸面板124的接触检测信号中检测用户对显示画面上的接触操作，执行与该接触操作对应的处理。
记录介质128例如是存储卡。记录介质128记录由摄影动作得到的图像文件128a。图像文件128a是对图像数据赋予预定的文件头而形成的。在文件头中，记录表示摄影条件的数据和表示追踪位置的数据等作为标签数据。
系统控制器130控制摄像装置100整体的动作。系统控制器130包含CPU 1301、作为各种控制电路的AF控制电路1302、AE控制电路1303、图像处理电路1304、作为焦点检测信息取得电路的测距位置设定电路1305、群组化设定电路1306和追踪特征检测电路1307、作为追踪处理电路的追踪位置设定电路1308和追踪电路1309、脸检测处理电路1310、亮度追踪处理电路1311、颜色信息追踪处理电路1312、以及存储器控制电路1313。
CPU 1301控制焦点调整机构104、光圈驱动机构108、快门驱动机构112、显示元件驱动电路122、触摸面板驱动电路126等的动作，并且控制系统控制器130内部的上述各种控制电路的动作。
本装置100包含通过CPU 1301的动作控制来追踪追踪对象的功能。如上述图21所示，追踪功能包含多个焦点检测区域C。追踪功能根据各焦点检测区域C对于作为图像数据中的追踪对象的被摄体A的各对焦状态来追踪被摄体A。
AF控制电路1302控制对比度AF处理。具体而言，AF控制电路1302提取由摄像元件IF电路116得到的图像数据的高频分量，通过对提取到的高频分量进行累加，由此取得AF用的对焦评价值。CPU 1301一边根据对焦评价值来评价图像数据的对比度，一边控制焦点调整机构104，将摄影光学系统102的对焦透镜调整到成为对焦状态的位置。
AE控制电路1303控制AE动作。具体而言，AE控制电路1303使用由摄像元件IF电路116得到的图像数据来计算被摄体的亮度。AE控制电路1303根据被摄体的亮度来计算曝光时的光圈106的开口量(光圈值)、快门110的开放时间(快门速度值)。
图像处理电路1304对图像数据进行各种图像处理。图像处理例如包含颜色校正处理、伽马(γ)校正处理、压缩处理等。图像处理电路1304还对被压缩的图像数据实施解压缩处理。
焦点检测信息取得电路包含测距位置设定电路1305、群组化设定电路1306和追踪特征检测电路1307。焦点检测信息取得电路取得对于通过图21所示的多个焦点检测区域C检测到的被摄体A的对焦状态。
测距位置设定电路1305在多个焦点检测区域C中设定对于作为追踪对象的被摄体A处于对焦状态的焦点检测区域C。例如图21所示，测距位置设定电路1305在焦点检测区域C内的多个焦点检测用像素中检测对于被摄体A的对焦状态。
群组化设定电路1306根据对焦状态对由测距位置设定电路1305所设定的焦点检测区域C进行群组化。例如图2所示，当存在2组对于被摄体处于对焦状态的多个焦点检测区域C(斜线部分)时，群组化设定电路1306对这些焦点检测区域C的各组进行群组化，并分别设为焦点检测区域群组C1、C2。形成这些焦点检测区域群组C1、C2意味着存在2个被摄体。
具体而言，在进行群组化的情况下，如图3所示，群组化设定电路1306将多个焦点检测区域C中彼此相邻并且为相同的焦距的各焦点检测区域作为相同的1个群组而进行群组化。例如当各焦点检测区域Ca、Cb彼此相邻并且是相同的焦距时，群组化设定电路1306将这些焦点检测区域Ca、Cb作为同1个群组而进行群组化。
关于各焦点检测区域C的相邻，图3的附图中，不限于左右的位置关系的各焦点检测区域Ca、Cb之间，也可以是处于上下关系的各焦点检测区域Ca、Cc之间、处于斜向关系的各焦点检测区域Ca、Cd之间。
在进行群组化的情况下，如图4所示，群组化设定电路1306将由测距位置设定电路1305设定的例如焦点检测区域Ca，以及相对于该焦点检测区域Ca隔开预先设定的像素数的焦点检测区域Ce和与该焦点检测区域Ce相邻的焦点检测区域Cf作为不同的群组，例如焦点检测区域群组C1、C2而进行群组化。
追踪特征检测电路1307检测由群组化设定电路1306进行群组化后的例如焦点检测区域群组C1、C2区域内的作为追踪对象的被摄体A的特征量。追踪特征检测电路1307检测人体的脸部、亮度、颜色作为被摄体A的特征量。
追踪位置设定电路1308将由测距位置设定电路1305设定的焦点检测区域C设定为第1追踪位置。追踪位置设定电路1308将由追踪特征检测部1307检测到的特征量的部分即作为被摄体A的特征量的人体的脸部、亮度、颜色部分设定为第2追踪位置。
追踪电路1309根据由群组化设定电路1306设定的群组的数量，根据由追踪位置设定部1308设定的第1追踪位置(焦点检测区域C)，在由多个连续的帧构成的动态图像上追踪作为追踪对象的被摄体A(第1追踪处理)，或者根据第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)，在由多个连续的帧构成的动态图像上追踪作为追踪对象的被摄体A(第2追踪处理)。
当通过群组化设定电路1306群组化为多个群组、例如焦点检测区域群组C1、C2时，追踪电路1309根据第2追踪位置与多个群组之间的位置关系来选择第1追踪位置(焦点检测区域C)或第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)。
如果不存在由群组化设定电路1306设定的群组，则追踪电路1309选择第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)。如果群组是1个，则追踪电路1309选择第1追踪位置(焦点检测区域C)。如果群组是多个，则追踪电路1309根据第2追踪位置和处于对焦状态的焦点检测区域C来选择第1或第2追踪位置。
如果是由多个连续的帧构成的动态图像，则追踪电路1309按照多个帧图像中的每一个帧图像来更新第1或第2追踪位置，在多个摄像数据上追踪作为追踪对象的被摄体A。
脸检测处理电路1310检测图像数据中的被摄体(人物)的脸部，进行该脸部的追踪。脸检测处理求出在动态图像的各帧中得到的图像数据与例如图5A所示的各脸部器官402、404、406的各相关量。脸部器官402是与人物的鼻部周围的阴影的图案对应的图像数据。脸部器官404是与人物的眼部周围的阴影的图案对应的图像数据。脸部器官406是与人物的嘴部周围的阴影的图案对应的图像数据。如图5B所示，当成为表示人物的脸部的预定配置时，图像数据与各脸部器官402、404、406的各相关量成为最大。设为当各相关量成为最大时，在包含各脸部器官402、404、406的区域408中存在脸。在该图中，将脸部区域设为矩形区域，但也可以设为圆形区域。
亮度追踪处理电路1311使用图像数据的亮度信息来追踪被摄体A。在使用亮度信息的追踪处理中，例如在图6A所示的(N-1)帧中设定了追踪对象的情况下，将(N-1)帧的图像数据作为评价图像数据存储在SDRAM 118中。亮度追踪处理电路1311将包含评价图像数据的追踪对象的预定范围202的图像数据设定为基准图像数据(以下设为基准图像数据202)。然后，亮度追踪处理电路1311从参照图像数据内搜索与评价图像数据中所包含的基准图像数据202对应的部分。
举例对N帧的追踪处理进行说明。首先，亮度追踪处理电路1311将N帧的图像数据作为参照图像数据存储到SDRAM 118中。亮度追踪处理电路1311求出参照图像数据中的预定的搜索范围204的图像数据与基准图像数据202的相关量，从预定的搜索范围204的图像数据内搜索与基准图像数据202对应的部分。相关量是例如根据基准图像数据与参照图像数据的差分绝对值和(按照每个像素求出亮度差的绝对值，并对其进行累加后得到的结果)来判定的。
例如，当设为求出了图6B所示的参照图像数据的区域206内的参照图像数据与基准图像数据202的差分绝对值和时，参照图像数据的区域206与基准图像数据202明显是不同的图像数据，差分绝对值和较大。与此相对，当设为求出参照图像数据的区域208与基准图像数据202的差分绝对值和时，差分绝对值和较小。这样，随着参照图像数据与基准图像数据202的相关量变大，差分绝对值和变小。
在使用亮度信息的追踪处理中，从参照图像数据中搜索相关量最大、即差分绝对值和最小的区域。在图6B所示的例中，差分绝对值和最小的区域为区域208。
在追踪位置日志区域中，将记录区域208中一致度最高的位置记录为追踪位置。在存在多个记录为追踪位置的位置的情况下，例如将靠近区域208的中心的位置作为追踪位置。在下次的追踪处理时，优先将该追踪位置作为追踪处理的开始位置。能够减少追踪处理所需的时间。
颜色信息追踪处理电路1312根据特征信息、例如颜色信息从由摄像部101的摄像所取得的图像数据中进行被摄体、例如人物的脸部的追踪。颜色信息追踪处理电路1312使用由摄像部101的摄像所取得的图像数据的颜色信息来进行人物的脸部的追踪处理。
简单地对使用颜色信息的追踪处理进行说明。使用颜色信息的追踪处理对被判定为是与在评价图像数据内所设定的颜色信息相同的颜色信息的区域、即追踪颜色区域进行追踪。
例如图7A所示，在(N-1)帧中指定了被摄体的某个位置302的情况下，颜色信息追踪处理电路1312取得评价图像数据中的位置302的颜色信息。颜色信息追踪处理电路1312将位置302作为追踪处理的开始位置，搜索具有与该位置302相同的颜色信息的区域。
具体而言，颜色信息追踪处理电路1312以位置302为开始位置朝向周围依次取得颜色信息，判定取得的颜色信息与位置302的颜色信息是否相同。在判定的结果为颜色信息与位置302的颜色信息相同的情况下，颜色信息追踪处理电路1312将位置302包含进追踪颜色区域中。在不能判定为取得的颜色信息与位置302的颜色信息相同的情况下，颜色信息追踪处理电路1312不将位置302包含进追踪颜色区域中。
在这样搜索到追踪颜色区域时，例如，在图7A所示的单色的被摄体的情况下，内接于被摄体的矩形区域304成为追踪颜色区域。设为在追踪位置日志区域中记录的追踪位置与例如追踪颜色区域304的重心位置、例如图7A所示的位置302相同。在下次的追踪处理中，将追踪位置(位置302)设为追踪处理的开始位置。
举例示出N帧的追踪处理，颜色信息追踪处理电路1312在作为图7B所示的参照图像数据而存储的N帧的图像数据的预定搜索范围中，将(N-1)帧的追踪位置302设为追踪处理的开始位置。颜色信息追踪处理电路1312从追踪位置302的周围起依次搜索可判定为与追踪颜色区域304的颜色信息为相同颜色信息的区域作为追踪颜色区域。在该图所示的例中，区域306成为追踪颜色区域。颜色信息追踪处理电路1312将重心位置308作为追踪位置，将该追踪位置308记录在追踪位置日志区域中。在追踪颜色区域日志区域中，记录表示追踪颜色区域306的范围的信息(例如，四角的位置)。
存储器控制电路1313是通过CPU 1301等来进行用于访问SDRAM 118、记录介质128、闪存134的控制的接口。
相机操作开关132是由用户操作的各种操作部件。相机操作开关132例如包含释放按钮、动态图像按钮、模式拨盘、选择键、电源按钮等。
释放按钮包含第1释放开关和第2释放开关。第1释放开关在用户半按下释放按钮时打开。通过打开第1释放开关来进行AF处理等摄影准备动作。第2释放开关在用户全按下释放按钮时打开。通过打开第2释放开关来进行静态图像摄影用的曝光动作。
动态图像按钮是用于指示动态图像摄影的开始或结束的操作部件。当由用户按下动态图像按钮时，动态图像摄影处理开始。当在动态图像摄影处理执行中按下动态图像按钮时，动态图像摄影处理结束。
模式拨盘是用于选择摄像装置的摄影设定的操作部件。在本实施方式中，作为摄像装置的摄影设定，例如可以选择静态图像摄影模式和动态图像摄影模式。静态图像摄影模式是用于对静态图像进行摄影的摄影设定。动态图像摄影模式是用于对动态图像进行摄影的摄影设定。
选择键是用于进行例如菜单画面上的项目的选择和确定的操作部件。当由用户操作了选择键时，进行菜单画面上的项目的选择或确定。
电源按钮是用于接通或断开本装置100的电源的操作部件。当由用户操作了电源按钮时，本装置100起动而成为能够进行动作的状态。在本装置起动的期间内按下电源按钮时，本装置100成为省电待机状态。
在闪存134中存储有用于CPU 1301执行各种处理的程序代码。闪存134中存储有本装置100的摄影动作流程图和摄影光学系统102、光圈106及摄像元件114等的动作所需要的控制参数，以及图像处理电路1304中的图像处理所需要的控制参数等各种控制参数。闪存134中还存储有脸检测处理电路1310中的脸检测中使用的脸部器官的数据和用于显示追踪框的数据等。
接着，参照图8所示的摄影动作流程图来说明如上所述构成的本装置的摄影动作。
CPU 1301从闪存134读入需要的程序代码，控制本装置100的动作。
在步骤S100中，CPU 1301判定当前的本装置100的摄影设定是静态图像摄影模式和动态图像摄影模式中的哪种。摄影设定是利用模式拨盘来设定的。
当判定的结果为摄影设定是静态图像摄影模式时，在步骤S102中，CPU 1301开始实时取景动作。实时取景动作如下所述。CPU 1301在控制快门驱动机构112使快门110开放后，控制摄像元件IF电路116，开始摄像元件114的摄像。CPU 1301将作为摄像元件114的摄像结果而存储在RAM118的工作区域中的图像数据输入到图像处理电路1304，实施实时取景显示用的图像处理。CPU 1301将被图像处理为实时取景显示用的图像数据输入到显示元件驱动电路122，在显示元件120中显示图像。CPU 1301通过反复执行以上的显示动作，对被摄体的图像进行动态图像显示(实时取景显示)。用户可以通过该动态图像显示观察被摄体。
在步骤S104中，CPU 1301判定第1释放开关是否被打开。通过进行该判定，CPU1301继续进行实时取景动作直到判定为第1释放开关打开为止。
当判定的结果为第1释放开关被打开时，在步骤S106中，CPU 1301进行释放AF处理。在该释放AF处理中，CPU 1301通过扫描驱动将对焦透镜驱动至对焦位置。即，在扫描驱动中，CPU 1301控制焦点调整机构104在预定的扫描范围内朝一个方向驱动对焦透镜，同时对由AF控制电路1302依次计算出的对焦评价值进行评价。CPU 1301在对焦评价值的评价结果为对比度成为最大的透镜位置处，停止对焦透镜的驱动。在AF前的对焦透镜的位置与对焦位置的差较大的情况下进行这样的扫描驱动。
在步骤S108中，例如图21所示，CPU 1301控制显示元件驱动电路122，在显示元件120中显示追踪框W。追踪框W被显示在显示元件120的画面上的作为追踪对象的被摄体A的位置上。例如，当将通过释放AF进行了对焦的被摄体A作为追踪对象时，也可以将追踪框W显示在该被摄体A上。
在通过脸检测处理电路1310检测到被摄体A的脸部的情况下，例如图9或图10所示，也可以将追踪框D1显示在脸部上。在通过触摸面板124指定了在显示元件120的画面上显示的被摄体A的情况下，也可以将追踪框D1显示在被摄体A上。
在步骤S110中，CPU 1301进行追踪被摄体A的追踪处理。
在步骤S112中，CPU 1301进行AF处理以对焦到追踪位置的被摄体A，并且进行AE处理以使追踪位置的被摄体A的曝光适当。在追踪处理后的AF处理中，通过扫描驱动或摆动驱动使对焦透镜驱动至对焦位置。在摆动驱动中，CPU 1301判定在驱动了对焦透镜时由AF控制电路1302计算出的对焦评价值是否相对于前次的透镜位置处的对焦评价值增大。
在判定的结果为对焦评价值增大的情况下，CPU 1301在与前次相同的方向上对对焦透镜进行微小驱动。在对焦评价值减小的情况下，CPU 1301在与前次相反的方向上对对焦透镜进行微小驱动。CPU 1301高速地反复进行这样的动作，逐渐将对焦透镜驱动至对焦位置。
在AE处理中，CPU 1301计算用于将由AE控制电路1303计算出的追踪位置的被摄体的亮度设为预先设定的适当量(适当曝光量)的正式曝光时的光圈106的开口量(光圈值)、快门110的开放时间(快门速度值)。
在步骤S114中，CPU 1301判定第2释放开关是否被打开。在判定为第2释放开关未被打开时，CPU 1301执行步骤S110的追踪处理以后的处理。当设定为静态图像摄影模式时，CPU 1301继续进行追踪处理直到第2释放开关被打开为止。
在第2释放开关被打开后，步骤S116中，CPU 1301控制显示元件驱动电路122不显示追踪框D1。
在步骤S118中，CPU 1301进行将静态图像数据记录到记录介质128中的处理。在进行记录处理时，CPU 1301控制快门驱动机构112使快门110关闭。然后，CPU 1301控制光圈驱动机构108而将光圈106缩小至之前计算出的光圈值。接着，CPU 1301控制快门驱动机构112，使快门110开放之前计算出的开放时间，同时进行基于摄像元件114的摄像(曝光)。
CPU 1301将经由摄像元件114得到的静态图像数据在图像处理电路1304中进行处理。CPU 1301对在图像处理电路1304中处理后的静态图像数据赋予文件头来生成静态图像文件，将生成的静态图像文件记录在记录介质128中。
在步骤S120中，CPU 1301将表示作为上述步骤S110的追踪处理的结果而得到的追踪位置的数据补写到之前记录在记录介质128中的静态图像文件中。
另一方面，当在上述步骤S100中判定为摄影设定是动态图像摄影模式时，CPU1301在步骤S122中开始实时取景动作。
在判定为作为动态图像摄影打开的指示的动态图像按钮被打开时，CPU 1301在步骤S126中控制显示元件驱动电路122，在显示元件120中例如图9或图10所示，在脸部上显示追踪框D1。
在步骤S128中，CPU 1301进行追踪被摄体A的追踪处理。
在步骤S130中，CPU 1301向AF控制电路1302指示AF处理以对焦到追踪位置的被摄体A，并且向AE控制电路1303指示AE处理以使得追踪位置的被摄体A的曝光变得适当。在此时的AF处理中，CPU 1301通过摆动驱动使摄影光学系统102的对焦透镜驱动至对焦位置。
在步骤S132中，CPU 1301进行将动态图像数据记录到记录介质128中的处理。在进行该记录处理时，CPU 1301控制光圈驱动机构108，将光圈106缩小至在AE处理中计算出的光圈值。CPU 1301使摄像元件114在与AE处理中计算出的快门速度值对应的时间内执行摄像(曝光)。在曝光结束后，CPU 1301生成动态图像文件并记录在记录介质128中。CPU 1301在图像处理电路1304中对经由摄像元件114得到的动态图像数据进行处理，将在图像处理电路1304中处理后的动态图像数据记录在动态图像文件中。
在步骤S134中，CPU 1301将表示作为上述步骤S128的追踪处理的结果而得到的追踪位置的数据记录到之前记录在记录介质128中的动态图像文件中。
在步骤S136中，CPU 1301判定动态图像按钮是否被关闭。在判定的结果为判定为动态图像按钮未被关闭时，CPU 1301执行步骤S128的追踪处理以后的处理。
这样，在动态图像摄影模式时，在动态图像按钮被关闭之前，继续进行追踪处理和动态图像数据的记录。当判定为动态图像按钮被关闭时，CPU 1301在步骤S138中控制显示元件驱动电路122不显示追踪框D1。
接着，参照图11所示的追踪处理流程图来说明追踪动作。
在步骤S200中，CPU 1301判定是否是开始追踪被摄体A的第1帧的图像数据。
当判定的结果为是追踪开始的第1帧时，步骤S202中，当第1释放开关被打开时，CPU 1301进行对图12所示的释放AF对焦区域AFE的释放AF处理。在该释放AF处理中，CPU1301进行扫描驱动，将对焦透镜驱动至对焦位置。CPU 1301进行释放AF处理，在对被摄体A的对焦位置处停止对焦透镜的驱动。CPU 1301将对被摄体A的对焦位置更新作为基准焦点信息。
在步骤S204中，如图12所示，测距位置设定电路1305在释放AF对焦区域AFE中，更新作为基准的焦点检测区域C(斜线部分)。
在步骤S206中，CPU 1301通过摄像元件114进行摄像，通过摄像元件IF电路116取得帧图像数据。在步骤S208中，CPU 1301将该帧图像数据取入到SDRAM 118中。
在步骤S210中，CPU 1301设定成根据由测距位置设定电路1305设定的焦点检测区域F、即多个焦点检测区域C中对于作为追踪对象的被摄体A处于对焦状态的焦点检测区域F，来进行对被摄体A的第1追踪处理。
在步骤S212中，追踪特征检测电路1307检测由群组化设定电路1306群组化后的例如焦点检测区域群组C1、C2的区域内的第2追踪处理用的被摄体A的特征量。追踪特征检测电路1307检测人体的脸部、亮度、颜色作为被摄体A的特征量。
在步骤S214中，追踪特征检测电路1307根据作为被摄体A的特征量的人体的脸部、亮度、颜色信息来计算被摄体A的追踪位置。图13示出根据对于被摄体A的亮度、颜色信息来追踪被摄体A的亮度/颜色信息追踪区域G1。
在步骤S216中，CPU 1301进行优先追踪位置的判定，在该优先追踪位置的判定中，判定优先进行根据对于作为追踪对象的被摄体A处于对焦状态的焦点检测区域F来追踪被摄体A的第1追踪处理、或者根据作为被摄体A的特征量的人体的脸部、亮度、颜色来追踪被摄体A的第2追踪处理中的哪个处理。
在步骤S218中，CPU 1301判定优先追踪位置的判定结果即该所判定的第1追踪处理或第2追踪处理的可靠性。在步骤S220中，CPU 1301计算被摄体A的追踪位置。在步骤S222中，CPU 1301更新图21所示的追踪框W的位置和尺寸。
接着，参照图14A和图14B所示的第1追踪处理流程图来说明第1追踪处理的动作。
在步骤S300中，群组化设定电路1306将根据对焦状态对焦点检测区域C进行群组化时的群组号(No)初始化为“0”。例如将对图2所示的焦点检测区域群组C1、C2赋予的群组号初始化为“0”。
在步骤S302中，测距位置设定电路1305输出来自摄像元件114中的全部焦点检测用像素的图像信号，取得对于全部焦点检测区域C中的被摄体A的对焦状态等焦点信息。能够通过焦点信息来判别例如在图12所示的多个焦点检测区域C中，分别对于被摄体A是已经对焦还是未对焦。
在步骤S304中，群组化设定电路1306设定焦点检测区域C的区域数i。首先，群组化设定电路1306将区域数i设定为“1”，然后，重复循环“1”。在循环“1”中，判定多个焦点检测区域C的每个(i＝1、2、3、…、n)被群组化到焦点检测区域群组C1、C2等中的哪一个群组中。
在步骤S306中，如下式(1)所示，群组化设定电路1306求出焦点检测区域C的焦点信息与基准焦点信息的差分的绝对值，判定该绝对值是否小于预先设定的阈值。
|焦点检测区域C的焦点信息-基准焦点信息|＜阈值…(1)
当判定的结果为焦点检测区域C的焦点信息与基准焦点信息的差分的绝对值小于阈值时，群组化设定电路1306在步骤S308中判定焦点检测区域C的区域数i是否不为“0”。
当判定的结果为焦点检测区域C的区域数i不为“0”即为“1”时，群组化设定电路1306在步骤S310中转移到循环“2”。
在循环“2”中，群组化设定电路1306将焦点检测区域群组号设定为J(＝1)。
在步骤S312中，群组化设定电路1306判定是否是与该焦点检测区域群组号J(＝1)同一群组的焦点检测区域C。在该判定中，判定作为判定对象的焦点检测区域C是否与焦点检测区域群组号为J(＝1)的焦点检测区域C相邻。
当判定的结果为相邻时，在步骤S314中，群组化设定电路1306将作为判定对象的焦点检测区域C追加为与焦点检测区域群组号J(＝1)同一群组。
当上述判定的结果为不相邻时，群组化设定电路1306不将作为判定对象的焦点检测区域C追加为与焦点检测区域群组号J(＝1)同一群组。群组化设定电路1306重复步骤S312、S314，按照每个焦点检测区域群组号J(＝1、2、3、…、m)判定相邻而成为同一群组的焦点检测区域C。
在步骤S318中，群组化设定电路1306判定作为判定对象的焦点检测区域C是否与多个焦点检测区域群组、例如群组号J(＝1、2、3)相邻。
当判定的结果为作为判定对象的焦点检测区域C与多个焦点检测区域群组相邻时，在步骤S320中，群组化设定电路1306将该相邻的多个焦点检测区域群组、例如群组号J(＝1、2、3)合并为1个群组号J(＝1)。
在步骤S322中，群组化设定电路1306根据下式(2)来修正群组号J。
群组号J＝群组号J-相邻群组数-1…(2)
在步骤S324中，群组化设定电路1306判定作为判定对象的焦点检测区域C的相邻的焦点检测区域群组号J是否不存在。
当判定的结果为不存在相邻的焦点检测区域群组号J时，群组化设定电路1306在步骤S326中将焦点检测区域群组号J递增1。在步骤S328中，群组化设定电路1306向焦点检测区域群组号J追加焦点检测区域C(i＝1、2、3、…、n)。
在步骤S330中，群组化设定电路1306重复以上的循环“1”。
在步骤S332中，群组化设定电路1306搜索包含基准焦点检测区域C的焦点检测区域群组号J。
群组化设定电路1306在步骤S334中判定搜索的结果是否具有包含基准焦点检测区域C的焦点检测区域群组号J。
当判定的结果为具有包含基准焦点检测区域C的焦点检测区域群组号J时，群组化设定电路1306在步骤S336中将包含基准焦点检测区域C的焦点检测区域群组号J作为第1追踪位置。
另一方面，当不存在包含基准焦点检测区域C的焦点检测区域群组号J时，群组化设定电路1306在步骤S338中将全部的焦点检测区域群组号J作为第1追踪位置。
如以上那样，当如图3所示，多个焦点检测区域C中彼此相邻并且为相同的焦距的各焦点检测区域，例如各焦点检测区域Ca、Cb彼此相邻并且为相同的焦距时，群组化设定电路1306将这些焦点检测区域Ca、Cb作为相同的1个群组而进行群组化。
关于各焦点检测区域C的相邻，图3的附图中，不限于左右的位置关系的各焦点检测区域Ca、Cb之间，也可以是处于上下关系的各焦点检测区域Ca、Cc之间、处于斜向关系的各焦点检测区域Ca、Cd之间。
如图4所示，群组化设定电路1306搜索相对于由测距位置设定电路1305设定的例如焦点检测区域Ca相离预先设定的像素数的焦点检测区域Ce和该焦点检测区域Ce，将这些焦点检测区域Ce和与该焦点检测区域Ce相邻的焦点检测区域Cf作为另外的群组，例如焦点检测区域群组C1、C2而进行群组化。
接着，参照图15所示的优先追踪位置判定流程图来说明优先追踪位置判定的动作。
追踪电路1309根据由群组化设定电路1306设定的群组的数量，并按照由追踪位置设定部1308设定的第1追踪位置(焦点检测区域C)或第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)来追踪作为追踪对象的被摄体A。
具体而言，在步骤S400中，追踪电路1309判定第1追踪位置(焦点检测区域C)的群组数是“0”、“1”或“2以上”中的哪一个。
当判定的结果为第1追踪位置(焦点检测区域C)的群组数是“0”时，追踪电路1309在步骤S404中选择第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)，将第2追踪位置作为追踪位置。
当上述判定的结果为第1追踪位置(焦点检测区域C)的群组数是“1”时，追踪电路1309在步骤S406中选择第1追踪位置(焦点检测区域C)，将第1追踪位置作为追踪位置。例如，图16示出具有1个焦点检测区域群组C1的被摄体A的构图。
在步骤S412中，追踪电路1309根据第1追踪位置(焦点检测区域C)的焦点信息来更新基准焦点信息。
在步骤S414中，追踪电路1309根据第1追踪位置(焦点检测区域C)的焦点信息来更新基准焦点检测区域C。
在步骤S416中，追踪电路1309根据第1追踪位置(焦点检测区域C)来校正第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)。
当上述判定的结果为第1追踪位置(焦点检测区域C)的群组数是“2以上”时，追踪电路1309在步骤S402中判定是否存在含有第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)的焦点检测区域群组C1、C2等。例如，图17示出2个被摄体A、E接近的状态的构图。图18示出2个被摄体A、E离开的状态的构图。2个被摄体A、E离开的状态相当于具有2个焦点检测区域群组C1、C2即2以上的群组数的状态。
当上述判定的结果为存在含有第2追踪位置的焦点检测区域群组C1、C2等时，在步骤S408中，追踪电路1309将含有第2追踪位置的焦点检测区域群组C1、C2等作为第1追踪位置(焦点检测区域C)，根据该第1追踪位置的焦点信息来更新基准焦点检测区域C，转移到步骤S412。
另一方面，当不存在含有第2追踪位置的焦点检测区域群组C1、C2等时，在步骤S410中，追踪电路1309根据第2追踪位置(作为被摄体A的特征量的脸部、亮度、颜色部分)来更新基准焦点检测区域C。
由此，上述第1实施方式设定多个焦点检测区域C中的对于被摄体A处于对焦状态的焦点检测区域C，根据对焦状态对焦点检测区域C进行群组化，检测焦点检测区域群组C1、C2等区域内的被摄体A的特征量，设定处于对焦状态的焦点检测区域C作为第1追踪位置，或者设定被摄体A的特征量部分作为第2追踪位置，根据焦点检测区域群组C1、C2等的群组数，并根据第1或第2追踪位置来追踪被摄体A。由此，在上述第1实施方式中，即便在被摄体A的附近或与被摄体A相邻地存在其他的被摄体E，也不会从作为追踪对象的被摄体A转换到其他的被摄体E，能够可靠地追踪作为追踪对象的被摄体A，能够提高追踪的可靠性。
在将焦点检测区域C作为焦点检测区域群组而进行了群组化的情况下，如果不存在焦点检测区域群组，则选择第2追踪位置。如果群组数是1个，则选择第1追踪位置。如果群组数是2以上的多个，则根据第2追踪位置和处于对焦状态的焦点检测区域C来选择第1或第2追踪位置。由此，例如图17所示，即便从2个被摄体A、E接近的状态成为图18所示2个被摄体A、E离开的状态，追踪对象也不会从被摄体A转移到被摄体E，能够将追踪对象设为被摄体A而继续追踪。
如图19所示，当车体H作为其他被摄体进入拍摄被摄体A的构图内时，追踪特征检测电路1307根据作为车体H的特征量的亮度、颜色信息来计算车体H的追踪位置，根据这些亮度、颜色信息来设定追踪车体H的亮度/颜色信息追踪区域G2。
另外，具有该图所示的被摄体A和车体H是指，例如图18所示，在作为焦点检测区域群组C1、C2，第1追踪位置(焦点检测区域C)的群组数为“2以上”，并且是图19所示的情况下时，在被摄体A的焦点检测区域群组C1内不包含车体H的第2追踪位置(作为车体H的特征量的脸部、亮度、颜色部分)。
如图20所示，追踪电路1309将含有第2追踪位置的焦点检测区域群组C1作为第1追踪位置(焦点检测区域C)，根据该第1追踪位置的焦点信息来更新基准焦点检测区域C。
因此，即便车体H进入了拍摄被摄体A的构图内，追踪对象也不会从被摄体A转移到被摄体H，能够将追踪对象设为被摄体A来继续追踪。
本领域技术人员将容易地想起其他优点和变形例。因此，本发明的更广的方面不限于这里给出和描述的具体细节和代表性实施例。因此，可以在不脱离如用所附权利要求及它们的等同例定义的一般发明概念的精神或范围的情况下进行各种变形。

Claims (8)

1.一种追踪装置，其具有：
群组化设定部，其在包含追踪对象的图像数据中的多个焦点检测区域中，根据对焦状态对所述多个焦点检测区域进行群组化；
追踪特征检测部，其检测由所述群组化设定部进行群组化后的所述群组的区域内的所述追踪对象的特征量；以及
追踪部，其将对于所述追踪对象处于对焦状态的所述焦点检测区域设定为第1追踪位置，将由所述追踪特征检测部检测出的所述特征量的部分设定为第2追踪位置，根据进行所述群组化后的群组数，并按照所述第1追踪位置或所述第2追踪位置，从多个帧图像构成的图像数据中来追踪所述追踪对象；
其中，所述群组化设定部将所述多个焦点检测区域中彼此相邻并且为相同焦距的所述各焦点检测区域作为1个群组；将与被设定为对于所述追踪对象处于对焦状态的所述焦点检测区域相分离的所述焦点检测区域、以及与该焦点检测区域相邻的所述焦点检测区域群组化为另外的群组，
在由所述群组化设定部群组化为多个群组后，所述追踪部根据所述第2追踪位置与所述多个群组之间的位置关系来选择所述第1追踪位置或所述第2追踪位置，当不存在由所述群组化设定部设定的所述群组时，所述追踪部选择所述第2追踪位置，当所述群组是1个时，所述追踪部选择所述第1追踪位置，当所述群组是多个时，所述追踪部根据所述第2追踪位置和处于所述对焦状态的所述焦点检测区域来选择所述第1追踪位置或所述第2追踪位置。
2.一种追踪装置，其具有：
追踪部，其具有多个焦点检测区域，根据所述各焦点检测区域对于图像数据中包含的追踪对象的各对焦状态来追踪所述追踪对象；
测距位置设定部，其在所述多个焦点检测区域中设定对于所述追踪对象处于对焦状态的所述焦点检测区域；
群组化设定部，其根据对焦状态对由所述测距位置设定部设定的所述焦点检测区域进行群组化；
追踪特征检测部，其检测由所述群组化设定部进行群组化后的所述群组的区域内的所述追踪对象的特征量；以及
追踪位置设定部，其将由所述测距位置设定部设定的所述焦点检测区域设定为第1追踪位置，将由所述追踪特征检测部检测出的所述特征量的部分设定为第2追踪位置，
其中，所述追踪部根据由所述群组化设定部设定的所述群组的数量，并按照由所述追踪位置设定部设定的所述第1追踪位置或所述第2追踪位置，从多个帧图像构成的图像数据中追踪所述追踪对象；
其中，所述群组化设定部将所述多个焦点检测区域中彼此相邻并且为相同焦距的所述各焦点检测区域作为1个群组；将与被设定为对于所述追踪对象处于对焦状态的所述焦点检测区域相分离的所述焦点检测区域、以及与该焦点检测区域相邻的所述焦点检测区域群组化为另外的群组，
在由所述群组化设定部群组化为多个群组后，所述追踪部根据所述第2追踪位置与所述多个群组之间的位置关系来选择所述第1追踪位置或所述第2追踪位置，当不存在由所述群组化设定部设定的所述群组时，所述追踪部选择所述第2追踪位置，当所述群组是1个时，所述追踪部选择所述第1追踪位置，当所述群组是多个时，所述追踪部根据所述第2追踪位置和处于所述对焦状态的所述焦点检测区域来选择所述第1追踪位置或所述第2追踪位置。
3.根据权利要求1或2所述的追踪装置，其中，
所述追踪特征检测部检测脸部、亮度、颜色作为所述追踪对象的特征量。
4.根据权利要求1或2所述的追踪装置，其中，
所述图像数据由连续的多个帧图像构成，
所述追踪部按照所述多个帧图像中的每一个帧图像来更新所述第1追踪位置或所述第2追踪位置，从所述多个帧图像构成的所述图像数据中追踪所述追踪对象。
5.一种追踪方法，其包含以下步骤：
在包含追踪对象的图像数据中的多个焦点检测区域中，根据对焦状态对所述多个焦点检测区域进行群组化；
检测进行所述群组化后的所述群组的区域内的所述追踪对象的特征量；
将对于所述追踪对象处于对焦状态的所述焦点检测区域设定为第1追踪位置，将所述追踪对象的特征量的部分设定为第2追踪位置，根据进行所述群组化后的群组数，并按照所述第1追踪位置或所述第2追踪位置，从多个帧图像构成的图像数据中来追踪所述追踪对象；
在所述群组化中，将所述多个焦点检测区域中彼此相邻并且为相同焦距的所述各焦点检测区域作为1个群组；将与被设定为对于所述追踪对象处于对焦状态的所述焦点检测区域相分离的所述焦点检测区域、以及与该焦点检测区域相邻的所述焦点检测区域群组化为另外的群组，
其中，当群组化为多个群组时，在所述追踪中，根据所述第2追踪位置与所述多个群组之间的位置关系来选择所述第1追踪位置或所述第2追踪位置，在所述追踪中，如果不存在所述群组，则选择所述第2追踪位置，如果所述群组是1个，则选择所述第1追踪位置，如果所述群组是多个，则根据所述第2追踪位置和处于所述对焦状态的所述焦点检测区域来选择所述第1追踪位置或所述第2追踪位置。
6.一种追踪方法，其包含以下步骤：
在根据多个焦点检测区域对于包含追踪对象的图像数据中的追踪对象的各对焦状态来追踪所述追踪对象的情况下，
在所述多个焦点检测区域中，设定对于所述追踪对象处于对焦状态的所述焦点检测区域；
根据对焦状态对进行了所述设定的所述焦点检测区域进行群组化；
检测进行所述群组化后的所述群组的区域内的所述追踪对象的特征量；
将处于所述对焦状态的所述焦点检测区域设定为第1追踪位置，或者将所述追踪对象的所述特征量的部分设定为第2追踪位置；
根据进行所述群组化后的所述群组的数量，并按照所述设定后的所述第1追踪位置或所述第2追踪位置，从多个帧图像构成的图像数据中追踪所述追踪对象；
在所述群组化中，将所述多个焦点检测区域中彼此相邻并且为相同焦距的所述各焦点检测区域作为1个群组；将与被设定为对于所述追踪对象处于对焦状态的所述焦点检测区域相分离的所述焦点检测区域、以及与该焦点检测区域相邻的所述焦点检测区域群组化为另外的群组，
其中，当群组化为多个群组时，在所述追踪中，根据所述第2追踪位置与所述多个群组之间的位置关系来选择所述第1追踪位置或所述第2追踪位置，在所述追踪中，如果不存在所述群组，则选择所述第2追踪位置，如果所述群组是1个，则选择所述第1追踪位置，如果所述群组是多个，则根据所述第2追踪位置和处于所述对焦状态的所述焦点检测区域来选择所述第1追踪位置或所述第2追踪位置。
7.根据权利要求5或6所述的追踪方法，其中，
检测脸部、亮度、颜色作为所述追踪对象的特征量。
8.根据权利要求5或6所述的追踪方法，其中，
所述图像数据由连续的多个帧图像构成，
在所述追踪中，按照所述多个帧图像中的每一个帧图像来更新所述第1追踪位置或所述第2追踪位置，从所述多个帧图像构成的所述图像数据中追踪所述追踪对象。
CN201310479013.7A 2012-10-15 2013-10-14 追踪装置及追踪方法 Expired - Fee Related CN103731604B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012227758A JP2014081420A (ja) 2012-10-15 2012-10-15 追尾装置及びその方法
JP2012-227758 2012-10-15

Publications (2)

Publication Number Publication Date
CN103731604A CN103731604A (zh) 2014-04-16
CN103731604B true CN103731604B (zh) 2017-06-20

Family

ID=50455516

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310479013.7A Expired - Fee Related CN103731604B (zh) 2012-10-15 2013-10-14 追踪装置及追踪方法

Country Status (3)

Country Link
US (2) US9317748B2 (zh)
JP (1) JP2014081420A (zh)
CN (1) CN103731604B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6157288B2 (ja) * 2012-12-19 2017-07-05 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置
KR20140102443A (ko) * 2013-02-14 2014-08-22 삼성전자주식회사 카메라를 이용한 물체 추적 방법 및 이를 위한 카메라 시스템
JP2016118634A (ja) * 2014-12-19 2016-06-30 オリンパス株式会社 撮影装置及び撮影方法
JP6421032B2 (ja) * 2014-12-26 2018-11-07 オリンパス株式会社 焦点検出装置、焦点検出方法及び焦点検出プログラム
KR102328098B1 (ko) * 2015-02-13 2021-11-17 삼성전자주식회사 전자장치의 초점 검출 장치 및 방법
KR102432806B1 (ko) * 2015-10-26 2022-08-12 한화테크윈 주식회사 감시 시스템 및 그 제어 방법
WO2018218640A1 (en) * 2017-06-02 2018-12-06 SZ DJI Technology Co., Ltd. Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
JP7406880B2 (ja) * 2019-04-10 2023-12-28 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
CN110222942B (zh) * 2019-05-14 2022-11-25 北京天正聚合科技有限公司 一种识别导购员的方法、装置、电子设备及存储介质
CN110276788B (zh) * 2019-06-12 2021-08-24 北京轩宇空间科技有限公司 用于红外成像式导引头目标跟踪的方法和装置
JP7095002B2 (ja) * 2020-02-19 2022-07-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム及び記憶媒体
JP2022137760A (ja) * 2021-03-09 2022-09-22 オリンパス株式会社 焦点調節装置および焦点調節方法
CN116758111B (zh) * 2023-08-21 2023-11-17 中通信息服务有限公司 基于ai算法的施工现场目标物追踪方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911670A (zh) * 2008-01-07 2010-12-08 摩托罗拉公司 使用存储对象识别的数码相机对焦

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7844076B2 (en) * 2003-06-26 2010-11-30 Fotonation Vision Limited Digital image processing using face detection and skin tone information
US20060182433A1 (en) * 2005-02-15 2006-08-17 Nikon Corporation Electronic camera
JP2007011054A (ja) 2005-06-30 2007-01-18 Canon Inc 撮像装置、撮像装置の制御方法、及びコンピュータプログラム
US8130282B2 (en) 2008-03-31 2012-03-06 Panasonic Corporation Image capture device
JP2011027847A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Ａｆ枠自動追尾システム
US8648959B2 (en) * 2010-11-11 2014-02-11 DigitalOptics Corporation Europe Limited Rapid auto-focus using classifier chains, MEMS and/or multiple object focusing
JP2013055381A (ja) * 2011-08-31 2013-03-21 Ricoh Co Ltd 撮像装置及び撮像方法並びに携帯情報端末装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101911670A (zh) * 2008-01-07 2010-12-08 摩托罗拉公司 使用存储对象识别的数码相机对焦

Also Published As

Publication number Publication date
US9761010B2 (en) 2017-09-12
US20140105454A1 (en) 2014-04-17
CN103731604A (zh) 2014-04-16
US9317748B2 (en) 2016-04-19
JP2014081420A (ja) 2014-05-08
US20160196663A1 (en) 2016-07-07

Similar Documents

Publication Publication Date Title
CN103731604B (zh) 追踪装置及追踪方法
CN103430073B (zh) 摄像装置及摄像装置的控制方法
US8102465B2 (en) Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject
TWI425826B (zh) 影像選擇裝置、影像選擇方法
US8089536B2 (en) Image processing apparatus, image processing method, and program
CN104038702B (zh) 摄像设备及其控制方法
US7991241B2 (en) Image processing apparatus, control method therefor, and program
CN104702824B (zh) 摄像装置及摄像装置的控制方法
CN1604621A (zh) 摄像装置及其控制方法
CN105359502B (zh) 追踪装置、追踪方法以及存储了追踪程序的非易失性存储介质
CN105516611A (zh) 摄像装置和摄影方法
CN107566741A (zh) 对焦方法、装置、计算机可读存储介质和计算机设备
US20120121129A1 (en) Image processing apparatus
CN101909152A (zh) 摄像装置
CN103004179A (zh) 跟踪装置和跟踪方法
CN104243804B (zh) 摄像设备、图像处理设备及其控制方法
JP4506779B2 (ja) 撮像装置及びプログラム
US20130307994A1 (en) Photometric device, imaging device, and camera
JP2008301047A (ja) 撮像装置
CN104038689B (zh) 图像处理装置和图像处理方法
CN108141515A (zh) 摄影装置及其控制方法
CN110291779A (zh) 摄影装置及其控制方法和工作程序
JP4948248B2 (ja) 撮像装置およびその制御方法
JP5044472B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
JP4854417B2 (ja) 撮像装置及び方法、並びにプログラム及び記憶媒体

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20151209

Address after: Tokyo, Japan

Applicant after: OLYMPUS Corp.

Address before: Tokyo, Japan

Applicant before: Olympus Imaging Corp.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211206

Address after: Tokyo, Japan

Patentee after: Aozhixin Digital Technology Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: OLYMPUS Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170620