Nothing Special   »   [go: up one dir, main page]

CN101246541A - 图像处理设备和方法、图像拾取设备、以及计算机程序 - Google Patents

图像处理设备和方法、图像拾取设备、以及计算机程序 Download PDF

Info

Publication number
CN101246541A
CN101246541A CNA2008100056514A CN200810005651A CN101246541A CN 101246541 A CN101246541 A CN 101246541A CN A2008100056514 A CNA2008100056514 A CN A2008100056514A CN 200810005651 A CN200810005651 A CN 200810005651A CN 101246541 A CN101246541 A CN 101246541A
Authority
CN
China
Prior art keywords
image
importance
face
detected face
priority
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100056514A
Other languages
English (en)
Other versions
CN101246541B (zh
Inventor
德世明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN101246541A publication Critical patent/CN101246541A/zh
Application granted granted Critical
Publication of CN101246541B publication Critical patent/CN101246541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

一种配置为处理包括至少一个面部图像的图像数据的图像处理设备包括：配置为输入图像数据的图像输入单元；配置为从输入的图像数据的图像帧中检测所述至少一个面部图像的面部检测单元；配置为确定所述至少一个检测到的面部图像中的每一个的重要性的重要性确定单元；和配置为基于确定的重要性，确定所述至少一个检测到的面部图像中的每一个的优先级的优先级确定单元。重要性确定单元考虑关于图像帧中所示的检测到的面部图像的大小和位置的数据，以及由优先级确定单元上次确定的优先级确定重要性。

Description

图像处理设备和方法、图像拾取设备、以及计算机程序
对相关申请的交叉引用
本发明包含与2007年2月16日提交于日本专利局的日本专利申请JP 2007-037165有关的主题，通过引用将其整个内容结合在此。
技术领域
本发明涉及被提供用来处理包括关于对象诸如人物的图像的数据的图像数据的图像处理设备和图像处理方法、图像拾取设备、以及计算机程序，并且尤其涉及被提供用来检测包括在图像数据内的对象图像数据，并且执行适合于该对象图像数据的图像处理的图像处理设备和图像处理方法、图像拾取设备、以及计算机程序。
更具体地，本发明涉及被提供用来处理包括关于至少两个对象图像的数据的图像数据的图像处理设备和图像处理方法、图像拾取设备、以及计算机程序，并且尤其涉及被提供用来确定其数据被包括在所述图像数据内的对象图像的重要性的图像处理设备和图像处理方法，和配置为基于重要性确定结果执行成像处理的图像拾取设备，以及计算机程序。
背景技术
作为用于记录可视数据的设备，照相机具有很长的历史。近来，取代配置为使用胶片和/或感光板进行曝光的卤化银照相机，广泛地采用配置为数字化由包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等的固态图像传感器拍摄的图像的数字照相机。数字照相机可以在存储器内存储关于数字编码的图像的数据，并且通过使用计算机执行图像处理和/或图像管理。另外，数字照相机没有由于胶片寿命而产生的麻烦。
卤化银照相机的基本照相机操作与数字照相机相同。即，首先摄影师将对象置于焦点，调整照相机的光圈，即曝光量，执行定格从而形成包括对象图像的适当构图，并且按下照相机的快门。为了减少手的抖动，摄影师握住照相机的主体和/或将照相机安装在三脚架上。
因为已经发展出了涉及上述照相机操作的自动技术，即使照相机的用户缺乏照相机操作的经验，错误曝光的可能性也是很低的。例如，已经实现了自动对焦(AF)功能、自动曝光(AE)功能、手抖动校正功能、自动快门功能等。在使用数字照相机的情况下，不仅可以使用光学系统执行AF处理和/或AE处理，并且还可以通过执行数字处理执行AF处理和/或AE处理。另外，通过数字处理，为关于拍摄的图像的数据执行图像质量调整，诸如通过自动白平衡(AWB)处理对关于拾取的图像的数据应用白平衡增益，从而可以再现适当的颜色状态。
应当为图像帧中示出的至少一个对象图像中的任意一个使用自动聚焦功能、图像质量校正功能等。在以前，照相机的用户手工地确定重要的对象。最近，引入了通过使用面部检测技术实现的成像技术。根据面部检测技术，从拾取的图像中检测面部图像，并且例如自动对面部图像聚焦和/或为检测到的面部图像自动执行图像质量校正。
此处，作为从拾取的图像的信号中检测面部图像数据的方法(例如，见日本待审专利申请公开号2003-271933(0051到0053段和图6))，使用关于平均面部图像的数据作为模板数据，对模板数据和输入的图像信号进行比较，从而确定模板数据是否与输入的图像数据匹配的方法是本领域公知的。另外，当拾取的面部图像倾斜时，难以正确地检测面部图像。因此在该情况下，检测显示面部图像的角度，根据检测值旋转面部图像，并且执行匹配处理等。根据检测显示面部图像的角度的方法，检测面部图像的中心线，并且基于面部的左右对称，计算指示检测到的中心线相应于面部真正的中心线的可能程度。如果检测到的中心线的计算程度高，则将检测到的中心线的角度确定为显示面部图像的角度，并且输出关于该角度的数据(例如，见日本待审专利申请公开号9-171560(0032到0044段和图4))。
另外，作为通过使用面部检测实现的图像拾取技术(例如，见日本待审专利申请公开号2003-92700)，已经提出了一种数字照相机图像拾取设备，其配置为按下被配置为响应对通过光学系统获得的图像信号中的面部图像的检测拍摄对象的释放键。
另外，已经提出了配置为从拾取的图像中检测对象的面部部分的图像，并且对检测到的面部图像执行图像处理，从而减少红眼现象的电子照相机(例如，见日本待审专利申请公开号2005-86271)。
随着面部检测到的准确性的增加，对于用户来说，通过使用面部检测实现的照相机操作自动技术和/或图像处理技术变得更为方便和有效。即，如果提供了确定对于摄影师来说检测到的面部图像是否重要的功能，可以稳定地对必要的面部图像执行聚焦和/或图像质量校正。
例如，已经提出了对抗人物的移动和/或手的抖动的图像拾取设备(例如，见日本待审专利申请公开号2005-318554)。在该图像拾取设备中，将图像数据作为在RAW压缩系统之下压缩的数据存储在存储器空间A中，将通过对该图像数据进行γ校正、插值、矩阵转换等而产生的视频数据存储在存储器空间B内，并且基于具有小于存储器空间A的容量的存储器空间B内的图像数据，在短的时间间隔内检测面部区域。
另外，已经提出了一种电子静态照相机，其配置为将对象的眼睛置于焦点，从而对象的整个面部被置于焦点，并且确定对象的深度，从而将以焦距间隔开的两个10cm的范围粗略地置于焦点(例如，见日本专利号3164692)。
然而实际上，检测到的面部图像不必然是聚焦和/或图像质量校正的对象。因此，可能对不是上述处理的对象的检测到的面部图像执行聚焦和/或图像质量校正。特别地，当在拾取的图像中产生至少两个对象的图像时，难以确定将谁置于焦点(即，应当将哪个对象确定为主部分)。
根据直觉，可以估计显示在拾取的图像中心附近的对象图像和/或显示在拾取的图像中的大的对象图像的重要性高，并且该对象图像是主部分。因此，在通过面部检测处理等指定显示在拾取的图像中的对象图像之后，基于从拾取的图像的中心到该对象图像的距离和/或该对象范围的大小，赋予该对象图像优先级。随后，可以确定主部分。
例如，已经提出了一种面部重要性确定设备，其配置为通过获取从图像信号检测到的面部大小信息和面部位置信息，基于该大小信息计算第一重要性因子，基于位置信息计算第二重要性因子，和基于第一和第二重要性因子计算最后的重要性，精确地为摄影师确定对象的重要性(例如，见日本专利申请号2006-20137，其权利已被转移给本申请人)。
另外，已经提出了一种图像拾取设备，其配置为事先存储关于对象的特征的信息，从图像数据中检测面部图像，检测与预定的特征数据匹配的检测到的面部图像，并且将检测到的面部图像置于焦点(例如，见日本待审专利申请公开号2002-333652)。上述的图像拾取设备存储关于对象特征的信息和关于分配给对象特征的优先级的信息。如果图像数据中包括关于多个人物的数据，上述的图像拾取设备以对象特征优先级的降序顺序进行匹配确定。
另外，已经提出了一种焦点调整设备，其配置为检测关于其数据被包括在图像数据内的人物的眼睛的数据，基于每个检测到的眼睛的位置和/或大小设置焦点框，检测每个焦点框的焦点位置，并且将这些焦点位置中最近的焦点位置确定为最后的焦点位置(例如，见日本待审专利申请公开号2005-128156)。在该情况下，根据检测到的焦点位置是否是最近的焦点位置进行主对象确定。
另外，已经提出了一种易于执行面部图像检测的数字照相机(例如，见日本待审专利申请公开号2006-33437)。当通过使用直通图(through image)执行面部图像检测时，该数字照相机增加直通图的亮度，从而直通图的亮度比未执行面部图像检测时显示的直通图的亮度高，从而可以容易地执行面部图像检测。在上述的数字照相机中，当检测到至少两个面部的图像时，将最大的面部图像和/或最近的面部图像的框确定为AF区域。
另外，已经提出了一种图像拾取设备，其配置为调整拍摄镜头的焦点，从而将所有检测到的面部图像中的显示在距离图像拾取设备最短距离处的面部图像置于焦点，在液晶显示器上产生围绕着被置于焦点的面部图像的框的图像，并且当该框图像所围绕的面部图像未示出所希望的人物的面部时，通过使用十字键等执行的用户操作，将框图像移动到另一个面部图像(例如，见日本待审专利申请公开号2006-145629)。基本上，在图像拾取设备中，根据检测到的面部图像是否比其它检测到的面部图像更靠近图像拾取设备，进行主对象确定。
然而，当拍摄人物和/或动物诸如宠物时，在拾取的图像中显示的上述对象图像的位置和/或大小不是固定的，而是随时改变的。即，在直通图和/或视频中，作为主部分的对象图像的确定结果频繁地改变，从而在时间方向上自动聚焦操作和/或图像质量校正操作成为是不稳定的。
发明内容
实现本发明以便提供可以检测其数据被包括在图像数据内的对象图像，并且执行适合于检测到的对象图像的图像处理的图像处理设备和图像处理方法、图像拾取设备和计算机程序。
本发明还提供可以正确地确定其数据被包括在图像数据内的每个对象图像的重要性，并且执行适合于具有高重要性的对象图像的图像处理的图像处理设备和图像处理方法、图像拾取设备和计算机程序。
本发明还提供可以从包括对象图像的数据的图像数据中稳定地检测具有高重要性的对象图像，并且执行适合于具有高重要性的对象图像的图像处理的图像处理设备和图像处理方法、图像拾取设备和计算机程序，其中每个对象图像的位置和大小随时间而改变。
因此，配置为处理包括至少两个面部图像的图像数据的根据本发明的实施例的图像处理设备包括配置为输入图像数据的图像输入单元；配置为从输入的图像数据的图像帧中检测至少一个面部图像的面部检测单元；配置为确定所述至少一个检测到的面部图像中的每一个的重要性的重要性确定单元；和配置为基于确定的重要性，确定所述至少一个确定的面部图像中的每一个的优先级的优先级确定单元，其中重要性确定单元考虑关于该图像帧中所示的检测到的面部图像的大小和位置的数据，以及由优先级确定单元上次确定的优先级，确定重要性。
近来，已经发展出了涉及上述照相机操作的自动技术，其中该自动技术包括AF功能、AE功能、手抖动校正功能、自动快门功能等。在使用数字照相机的情况下，不仅可以使用光学系统执行AF处理和/或AE处理，并且还可以通过执行数字处理执行AF处理和/或AE处理。另外，通过数字处理，针对关于摄影图像的数据执行图像质量调整，诸如对关于拾取的图像的数据应用白平衡增益，从而可以再现适当的颜色状态。
由于应当对图像帧中所显示的至少一个对象图像中的任意一个使用自动聚焦功能、图像质量校正功能等，引入了通过使用面部检测技术，对显示在图像中的检测到的面部图像执行AE处理、AF处理和图像质量校正处理的技术。此处，当拾取的图像中显示出至少两个对象的图像时，应当适当地确定将谁置于焦点(即，哪个对象应被确定为主部分)。
根据直觉，可以估计显示在拾取的图像中心附近的对象图像和/或显示在拾取的图像中的大的对象图像的重要性高，并且该对象图像是主部分。然而，当从视频诸如直通图中检测面部图像时，对象图像的位置和/或大小不是固定的，而是随时改变的。因此，主对象图像频繁地改变，这使得在时间方向上自动聚焦操作和/或图像质量校正操作不稳定。
因此，使用根据本发明的实施例的方法，其中该方法包括步骤：在每次为通过执行面部图像检测，从包括直通图的视频帧中检测到的对象图像中的每一个执行重要性确定和/或优先级分配时，参考在前一个图像帧内进行的优先级确定的结果。根据上述的方法，在时间方向上稳定优先级确定的结果，即使图像帧中产生的每个对象图像的位置和/或大小随时改变。结果，当对在监视过程中检测到的对象执行控制诸如自动聚焦时，防止具有高优先级的对象图像，即，主对象图像高频率地改变。继而可以实现稳定的控制。
另外，根据本发明的实施例，引入了确定方法，以便抑制在屏幕图像中快速四处移动的对象图像的重要性，由此在时间方向上稳定优先级确定的结果。
根据本发明的实施例，根据用于包括在视频中的至少一个检测到的面部图像中的每一个的下列等式，计算重要性Wf，并且基于该重要性确定所述至少一个检测到的面部图像中的每一个的优先级。然后当在数字照相机等中执行包括AF处理、AE处理等的照相机控制和/或诸如AWB处理的图像调整时，根据具有高优先级的检测到的面部图像，执行上述处理。
Wf＝(大小系数)×(屏幕图像中产生的检测到的面部图像的大小)-(系数x)×(从屏幕图像的中心到检测到的面部图像的距离x)-(系数y)×(从屏幕图像的中心到检测到的面部图像的距离y)-(系数v)×(检测到的面部图像在屏幕图像中移动的平均速度)+(优先常数[以前的顺序])
如果在上述的重要性计算等式中大小系数高，当在拾取的图像中产生的对象图像的大小增加时，对象图像更易于被确定为主对象图像。另外，当系数x和y中的每一个的值高时，当对象图像在水平和垂直方向中的每一个上离拾取的图像的中心更近时，对象图像更易于被确定为主对象图像。
另外，在重要性计算等式中，从重要性Wf中减去与屏幕图像中示出的检测到的面部图像的平均速度有关的因子(系数v)×(平均速度)，从而抑制大的运动的检测到的面部图像的优先级。另外，当系数v的值增加时，检测到的面部图像的速度变得越低，检测到的面部图像越易于被确定为主对象图像。
此处，在上述重要性计算等式的右侧中使用的系数间的基本数量关系可以被，例如，表示如下。
系数v＞大小系数＞系数x＞系数y
根据上述的数量关系，可以减小在屏幕图像中快速移动的对象图像的优先级。另外，在多个图像帧上的固定的对象图像中，给在水平方向上靠近图像帧的中心的大尺寸的对象图像分配优先级。然而，本发明的实施例的主旨不必限于上述等式中所示的系数间的数量关系。即，重要性系数间的数量关系可以根据给照相机设置的摄影模式和/或操作模式，诸如肖像摄影模式、背景摄影模式、运动摄影模式等，照相机的摄影环境和/或操作环境，诸如夜景、黑暗等，动态地改变。
另外，在上述的重要性计算等式的右侧的第五项中，给重要性Wf添加优先常数。上述的优先常数是根据以前的优先级确定的权重常数。当检测到的面部图像的以前的优先级较高时，给予检测到的面部图像的优先常数的值增加，从而减少在每个控制周期发生的优先级改变。继而在时间方向上稳定自动聚焦操作和/或图像质量校正操作。虽然以检测到的面部图像的大小和检测到的面部图像和屏幕图像中心间的距离中的每一个的10％改变它们，优选地优先常数被设置为这样的值，该值不改变最后被分配了最高的重要性Wf的对象图像的优先级。
然而，如果对象图像被从前面依次对齐，如同组摄影的情况，估计其图像示于屏幕图像下部的对象比其它对象更接近照相机。因此，重要性计算等式可以改变为如下，从而当对象图像的位置低时，对象图像的优先级变得较高。
Wf＝(大小系数)×(屏幕图像中产生的检测到的面部图像的大小)-(系数x)×(从屏幕图像的中心到检测到的面部图像的距离x)-(系数y)×(从屏幕图像的下端到检测到的面部图像的距离y)-(系数v)×(检测到的面部图像在屏幕图像中移动的平均速度)+(优先常数[以前的顺序])
另外，根据考虑背景图像产生的构图，多个对象图像在距屏幕图像中心一个距离处对齐。因此如下面的等式所示，取代“从屏幕图像的中心到检测到的面部图像的距离x”，可以基于“距每个对象图像的重心的距离x”计算重要性Wf。
Wf＝(大小系数)×(屏幕图像中产生的检测到的面部图像的大小)-(系数x)×(从每个对象图像的重心到检测到的面部图像的距离x)-(系数y)×(从屏幕图像的中心到检测到的面部图像的距离y)-(系数v)×(检测到的面部图像在屏幕图像中移动的平均速度)+(优先常数[以前的顺序])
另外，可以不仅使用检测到的面部图像信息，而且使用面部识别结果信息计算重要性。下面的等式示出了通过进一步使用面部识别结果信息，计算检测到的面部图像的重要性Wf的示例方法。
Wf＝(大小系数)×(屏幕图像中产生的检测到的面部图像的大小)-(系数x)×(从屏幕图像的中心到检测到的面部图像的距离x)-(系数y)×(从屏幕图像的中心到检测到的面部图像的距离y)-(系数v)×(检测到的面部图像在屏幕图像中移动的平均速度)+(优先常数[以前的顺序])+(识别常数)
根据上述的重要性计算等式，当检测到的面部图像是其数据已经被面部识别单元记录的面部的图像时，检测到的面部图像更易于被确定为主对象图像。
因此，根据一个实施例的图像处理设备可以从示出多个对象图像的视频中稳定地确定主对象图像。然后，当将上述技术用于图像拾取设备诸如照相机时，可以根据主对象图像，控制包括AF处理、AE处理等的照相机操作和/或执行包括AWB处理、锐度和饱和度调整的图像质量调整，闪光控制、红眼减弱等。
另外，根据本发明的另一个实施例的计算机程序-以计算机可读的格式编写该计算机程序，以便在计算机上处理包括至少一个面部图像的图像数据-使得计算机执行步骤：输入图像数据；从输入的图像数据的图像帧中检测至少一个面部图像；确定所述至少一个检测到的面部图像中的每一个的重要性；和基于确定的重要性，确定所述至少一个确定的面部图像中的每一个的优先级，其中在重要性确定步骤，使得计算机考虑关于该图像帧中所示的检测到的面部图像的大小和位置的数据，以及在优先级确定步骤上次确定的优先级，确定重要性。
根据上述实施例的计算机程序定义了以计算机可读格式编写的计算机程序，以便在计算机上实现预定的处理。即，通过在计算机上安装根据上述实施例的计算机程序，在计算机上产生组合效果，从而可以获得与根据上述实施例的图像处理设备相同的效果。
本发明还可以提供可以确定其数据被包括在图像数据内的每个对象图像的重要性，并且执行适合于具有高重要性的对象图像的图像处理的图像处理设备和图像处理方法、图像拾取设备和计算机程序。
本发明还可以提供可以从包括对象图像的数据的图像数据中稳定地检测具有高重要性的对象图像，并且执行适合于具有高重要性的对象图像的图像处理的图像处理设备和图像处理方法、图像拾取设备和计算机程序，其中每个对象图像的位置和大小随时间而改变。
根据本发明的实施例，当为通过执行面部图像检测，从包括直通图的视频帧中检测到的每个对象图像执行重要性确定和/或优先级分配时，即使图像帧中产生的每个对象图像的位置和/或大小随时改变，通过参考在以前的图像帧中做出的优先级确定的结果，在时间方向上稳定优先级确定的结果。结果，当对在监视过程中检测到的对象执行控制诸如自动聚焦时，防止具有高优先级的对象图像，即，主对象图像高频率地改变。继而可以实现稳定的控制。
参考附图，从下面对示例实施例的描述中将明了本发明的其它特征和/或优点。
附图说明
图1示出了根据本发明的实施例的数字静态照相机的配置；
图2示出了面部识别系统的示例配置；
图3示出了用于基于面部识别的结果，执行包括AF处理、AE处理等的照相机信号处理和/或包括图像质量校正等的信号校正处理的功能配置；
图4是示出了一个处理过程的流程图，执行该处理过程，以便基于面部检测结果，在数字静态照相机中执行曝光控制和闪光发射控制；
图5是示出了一个示例处理过程的流程图，执行该处理过程，以便基于关于面部图像的大小和位置的信息，确定面部图像的重要性，其中从图像信号检测该信息；
图6是示出了面部比例和面部大小重要性因子间的对应关系的图；
图7示出了用于计算包括在视频中的每个检测到的面部图像的重要性，并且确定每个检测到的面部图像的优先级的算法的配置；
图8给出了示出了从前面依次对齐的对象图像的示例的拾取的图像；
图9示出了对在距屏幕图像的中心一个距离处对齐的多个对象进行摄影而获得的示例图像；
图10示出了用于基于面部识别的结果和肤色追踪的结果，执行包括AF处理、AE处理等的照相机信号处理和/或包括图像质量校正等的信号校正处理的功能配置；
图11以PAD格式示出了用于执行肤色追踪的算法的配置；和
图12示出了如何根据对象图像的重要性控制图像的再现。
具体实施方式
此后，将参考附图详细描述本发明的实施例。
图1示出了根据本发明的实施例的数字静态照相机的配置。
图1中所示的数字照相机包括图像拾取元件11、预处理单元12、和照相机数字信号处理(DSP)单元16。
光学系统10包括用于将来自对象的光聚集在图像拾取元件11上的透镜、配置为移动透镜，从而执行聚焦和/或缩放的驱动机构、快门机构-打开和/或关闭该快门机构，以便在预定的时间段上将来自对象的光入射到图像拾取元件11上、以及限制来自对象的射线束条的方向和范围的可变光阑(光圈)机构。上述的聚集透镜、驱动机构、快门机构和可变光阑机构均未示出。驱动器10a根据从后面描述的中央处理单元(CPU)29传输的控制信号，控制光学系统10中驱动的每个机构。
在图像拾取元件11中，具有光电转换效果的像素被二维地排列，其中该像素包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等，从而将来自对象的入射光转换为电信号。在图像拾取元件11的光接受侧上提供G方格以及RB彩色编码信号板等。在每个像素上积累相应于通过滤色镜入射的光量的信号电荷。另外，从每个像素读取三个颜色的信号电荷，并且基于该三个颜色的信号电荷的数量，可以再现像素位置处的入射光的颜色。另外，来自图像拾取元件11的模拟图像信号输出是原色信号，其中原色包括红、绿和蓝。然而，模拟图像信号可以是补色信号。
模拟前端(AFE)单元12包括相关双采样(CDS)/自动增益控制(AGC)/模数转换(ADC)模块13、定时产生器14、V驱动器15。例如，作为单个集成电路(IC)芯片提供AFE单元12。
在CDS/AGC/ADC模块13中，以高的精确度(相关双采样)抑制从图像拾取元件211传输的信号的低噪声，其中该信号被包括在像素信号中。之后，执行采样保持，并且通过AGC电路对该信号进行适当的增益控制，以及AD转换，从而输出数字图像信号。
定时产生器14产生用于驱动图像拾取元件11的定时脉冲信号。V驱动器15输出用于根据定时脉冲信号，在垂直方向并且按行输出图像拾取元件11的像素的电荷的驱动信号。
照相机DSP单元16包括照相机信号处理单元17、分辨率改变单元18、图像编码解码处理单元19、存储器控制单元20、显示控制单元21和介质控制单元22。照相机DSP单元16配置为例如单个IC芯片。
照相机信号处理单元17对从AFE单元12传输的图像信号执行预处理，包括缺陷像素校正、数字钳位(clamp)处理、数字增益控制等。之后，通过自动白平衡(AWB)处理对图像信号应用白平衡增益，并且对该图像信号进行包括锐度和饱和度对比度调整等的图像质量校正处理，从而再现适当的颜色状态。然后，对图像信号进行去马赛克(demosaic)，从而产生RGB图像信号(图像质量调整可以包括闪光控制、红眼减弱等)。另外，照相机信号处理单元17对RGB图像信号执行γ校正，从而将RGB图像信号改变为适合于向监视器输出图像信息，打印输出该图像信息和记录该图像信息的灰度。另外，照相机信号处理单元17基于从AFE单元12输出的图像信号，检测亮度信息，并且执行直方图检测，以便计算每个指定范围的直方图，并且执行颜色检测，以便检测每个指定范围的颜色信息。将关于直方图检测和颜色检测的结果的信息输出到后面描述的控制单元27。
分辨率改变单元28改变图像的大小。图像编码解码处理单元19对RGB图像信号执行颜色空间转换，从而将RGB图像信号转换为亮度信号和色差信号(Y/Cr/Cb)，并且执行编码诸如联合图像专家组(JPEG)压缩。
存储器控制单元20控制访问操作，以便向和/或从包括同步动态随机访问存储器(SDRAM)等的存储器设备24写和/或读数据，诸如关于拍摄的图像的信息。
监视显示器25包括例如液晶显示器(LCD)。显示控制单元21控制监视显示器25的驱动，将从照相机信号处理单元17输出的图像数据和/或保持在存储器设备24中的图像数据转换为用于在监视显示器25上产生图像的信号，并且将该信号输出到监视显示器25。另外响应从后面描述的控制单元27传输的请求，显示控制单元21合成关于菜单屏幕图像的数据、关于各种类型的设置屏幕图像的数据、各种类型的警告信息等。然后，显示控制单元21输出该数据和信息，从而实现屏幕上的显示(OSD)输出。
为介质控制单元22提供槽，将可移动记录介质诸如“MEMORYSTICK(注册商标)”插入其中，从而向和/或从记录介质26写和/或读数据。例如，介质控制单元22存储保留在记录介质26内的存储器设备24中的拍摄的图像文件数据。
另外通过总线接口单元(BIU)23将照相机DSP单元16连接到控制单元27。控制单元27包括由用户使用以便操作快门按键、执行缩放操作、以及指定其它的照相机操作的操作单元28。控制单元27还包括根据用户的操作对整个设备的操作进行集中控制的中央处理单元(CPU)29、作为CPU29的主存储存储器提供的RAM30、以及配置为以非易失方式保持程序代码、设备信息等的电可擦可编程只读存储器(EEPROM)31。
例如，操作单元28包括快门释放键、提供用来进行各种设置诸如打开/关闭闪光发射等的按键和/或拨盘。将相应于上述的用户操作的控制信号传输到CPU29。
闪光发射单元32根据从控制单元27传输的闪光控制信息发出闪光。
在数字静态照相机1中，由图像拾取元件11接收光，并且对其进行光电转换，从而获得信号。将信号依次传输到AFE单元12，对其进行CDS处理和/或AFE处理，并且将其改变为数字图像信号。照相机信号处理单元17对从AFE单元12传输的数字图像信号执行图像质量校正。最终将数字图像信号改变为亮度信号(Y)和色差信号(R-Y和B-Y)，并且输出。
由显示控制单元21将从照相机信号处理单元17输出的图像数据转换为用于显示的图像的信号，并且在监视显示器25上产生直通图。另外，当用户通过操作操作单元28指挥控制单元27存储图像数据时，例如，将从照相机信号处理单元17输出的图像数据传输到图像编码解码处理单元19，对其进行预定的压缩和编码处理，并且通过存储器控制单元20存储在存储器设备24中和/或通过介质控制单元22存储在记录介质26中。当存储关于静止图像的数据时，将相应于单个帧的图像数据从照相机信号处理单元17传输到图像编码解码处理单元19。当存储关于视频的数据时，将处理的图像数据项连续地传输到图像编码解码处理单元19。
根据上述实施例，基于面部识别的结果，执行包括AF处理、AE处理等的照相机信号处理和/或诸如图像质量校正的信号校正处理。因此，在控制单元27中，CPU29执行预定的控制程序，从而执行上述的照相机信号处理。随后，基于通过上述的照相机信号处理获得的图像信号，为关于作为对象的面部的图像的数据执行面部识别处理。这里，如果该图像数据包括关于至少两个面部图像的数据，确定每个面部图像的重要性和/或给面部图像分配优先级。然后，控制单元27向驱动器11a传输控制信号，从而对具有最高优先级的对象图像执行AF处理和/或AE处理。否则，控制单元27向在照相机DSP单元13中提供的照相机信号处理单元17传输控制信号，以便对具有最高优先级的对象图像执行包括AF处理、AE处理等的照相机信号处理和/或诸如AWB处理的图像质量校正处理。
根据面部识别系统，执行图像识别处理，并且确定是否记录了相应于该面部图像数据的人物。即，执行包括面部检测过程和面部识别过程的两个处理过程。根据面部检测过程，从图像数据中检测面部图像数据，并且从面部图像数据中提取面部区域数据。从关于单个图像的数据中检测关于人物的面部的数据(单个照片、视频的单个图片(单个场和/或单个帧))，并且输出关于人物的面部的位置和大小的数据。根据面部识别过程，确定检测到的关于单个面部的数据是否与已经记录的面部数据相符。
图2示出了面部识别系统50的示例配置，面部识别系统50包括图像获取单元51、面部检测单元52、面部图像改变单元53、面部识别处理单元54、面部识别数据库55和识别结果输出单元56。面部检测单元52以两种模式工作，包括学习模式和识别模式。在学习模式中，面部识别系统50通过使用用于学习的图像数据学习识别处理，并且产生用于在识别模式中执行识别处理的识别器。另外，在识别模式中，面部识别系统50通过使用在学习模式中产生的识别器识别图像数据，并且确定用于识别的图像数据是否包括关于已经被记录的人物的面部的数据。
当将面部识别系统50安装在图1所示的数字静态照相机1上时，图像获取单元51从照相机信号处理单元17获取关于拍摄的图像的数据。获取的图像数据至少包括关于人物的面部的数据。在学习模式中，从拍摄的图像数据中获取关于预定人物的多个用于学习的图像的数据。该多个用于学习的图像示出了不同大小的面部图像和从不同方向观看的面部图像。另外，在学习模式中，获取关于未示出任何人物面部图像的多个图像的数据。另外，在识别模式中，获取关于示出了用于识别的人物的面部的拾取的图像的数据。将由图像获取单元51获取的图像数据传输到面部检测单元52。
面部检测单元52通过分析从图像获取单元51传输的图像数据，提取关于人物面部的数据(面部的位置和大小)，并且检测提取的面部数据的图像，即，“面部图像”。从图像获取单元51传输的图像数据包括关于用于识别的人物和/或动物诸如宠物面部的数据。然而，该图像数据不仅可以包括面部图像数据，而且还可以包括关于用于识别的人物和/或动物整体的图像的数据。面部检测单元52确定人物面部的区域，并且提取关于相应于面部区域的图像的数据。将由面部检测单元52检测到的面部图像数据传输到被提供在面部图像改变单元53内的面部特征检测单元61和面部对齐单元62。
如上所述，面部图像改变单元53包括面部特征检测单元61和面部对齐单元62。
面部特征检测单元61从传输自面部检测单元52的面部图像数据中检测关于用于对齐的特征的数据，其中用于对齐的特征的数据被用于由面部对齐单元62执行的形素(morphing)处理。用于对齐的特征的数据包括关于人物面部的特征部分，诸如眼睛、鼻子、嘴等，即，面部特征部分的数据。另外，用于对齐的特征的数据还可以包括通过将面部图像数据划分为小部分而获得的数据，从而可以检测面部特征。例如，通过使用活动外貌模型(AAM)等，可以检测面部特征的位置。
通过分析从面部检测单元52传输的面部图像数据和从面部特征检测单元61传输的用于对齐的特征的数据，面部对齐单元62确定检测到的数据的面部图像朝向哪个方向，并且执行包括仿射变换的形素处理，从而使得面部特征位置与参考位置相符。例如，当面部图像示出从前面观看的脸时，以下面的方式执行形素处理。即，以脸的眼睛间的预定距离在水平位置内示出脸的眼睛，在定位在眼睛之间的中途的点之下示出鼻子，并且在鼻子之下示出嘴。虽然从面部检测单元52传输的面部图像数据未示出从前面观看的脸，面部图像被改变为近似等同于从前面观看的脸的图像的图像。结果，即使由图像获取单元51获取的面部图像未示出从前面观看的脸的图像，在后级中提供的面部识别处理单元54可以识别面部图像。
面部识别处理单元54包括局部特征计算单元71、识别器产生单元72、学习数据存储单元73和面部识别单元74。
在调整外部特征数据，从而在参考位置示出面部图像中所示的特征之后，将面部图像数据传输到局部特征计算单元71。局部特征计算单元71计算包括在传输的数据的面部图像中所示的多个特征点中的局部特征量。用于获得局部特征量的特征点可以与由图像获取单元51检测到的用于对齐的特征点相同。否则，可以提供与用于对齐的特征点不同的多个点作为用于获得局部特征量的特征点。
局部特征计算单元71包括具有不同的频率分量的多个选择性方位滤波器。即，作为配置为提取关于面部图像特征量的数据的“Gabor滤波器”提供局部特征计算单元71。已经确定人类光感受器官包括对预定的方位具有选择性的细胞。上述的细胞包括响应垂直线的细胞和响应水平线的细胞。同样，Gabor滤波器是包括多个选择性方位滤波器的空间滤波器。Gabor滤波器的空间表示被如下实现。即，使用Gaussian函数作为窗口函数，并且使用通过使用正弦函数和/或余弦函数作为基本函数而获得的Gabor函数作为频率响应。滤波器窗口的大小被确定并固定为24×24。另外，当给定5种类型的频率f和8个方向上的角度θ时，提供40种Gabor滤波器。
Gabor滤波器的操作是使用Gabor滤波器和Gabor滤波器的系数进行的像素的卷积。Gabor滤波器的系数可以分为实部和虚部，在实部中频率响应包括余弦函数，在虚部中频率响应包括正弦函数。对实部和虚部的每一个执行卷积操作，并且合并实部分量和虚部分量，从而可以获得Gabor滤波器的结果，其中该结果是单个标量值。通过使用40种极大的Gabor滤波器，同时改变频率f和角度θ，执行上述操作。随后，可以获得包括一组40个最大标量值的特征量向量，即，“Gabor jet”。在水平方向和垂直方向上在预定的间隔处在面部图像数据上检测到的每个特征量提取位置处获得Gabor jet作为局部特征量。即使特征量提取位置发生转移和/或某种程度的变形，Gabor jet也是不变的。
在学习模式中，局部特征计算单元71在每个特征点处将包括40或更少参数的多个特征量向量传输到识别器产生单元72。另外，在识别模式中，局部特征计算单元71计算相应于这样的特征点的局部特征量，该特征点相应于用于识别的特征的量，其中用于识别的特征量数据存储在学习数据存储单元73内。然后，局部特征计算单元71将局部特征量数据传输到面部识别单元74。用于识别的特征量数据指示由识别器产生单元72通过学习产生的识别器使用哪个特征点的哪个局部特征量。即，用于识别的特征量数据示出使用Gabor滤波器的哪个部分。随后，可以为每个特征点执行相关系数的计算，其中在产生识别器时和在执行面部识别时执行相关系数计算。另外，不仅可以使用每个维度为包括特征量向量的单一种类的相关系数执行相关系数计算，而且还可以使用部分维度为包括特征量向量的多个相关系数执行相关系数计算。即，可以为学习和识别使用关于不同维度的多个特征量的数据。
在学习模式中，识别器产生单元72通过使用关于用于学习的图像的特征量的数据和关于用于学习的模型的特征量的数据，通过自适应提升(Adaboost)执行统计学习处理，其中由局部特征计算单元71计算用于学习的图像的特征量，并且事先保留关于用于学习的模型的数据。在识别模式中，识别器产生单元72产生用于执行识别处理的识别器，并且在学习数据存储单元73中存储产生的识别器和关于产生的识别器的信息(关于相关值的数据和示出识别器的似然性的信息)。另外，在识别器学习数据的同时，识别器产生单元72仅提取关于明显影响对象面部图像的识别的模型特征量的值。识别器产生单元72传输模型特征量数据，并且将其作为用于识别的特征量数据存储在学习数据存储单元73中。用于识别的特征量数据指示识别器使用哪个特征点的哪个局部特征量。即，用于识别的特征量数据示出识别器使用Gabor滤波器的哪个矩形区域部分。
此处，术语“Adaboost”代表解释可以通过组合许多略好于随机分类器的弱分类器配置强分类器的理论，其中弱分类器通常称为弱学习器。由Freund等在1996年提出上述理论。由识别器产生单元72产生的识别器代表上述的略好于随机分类器的弱分类器。产生每一个识别器，从而识别器将重点放在以前产生的识别器难以执行的识别上。然后，在识别处理过程中，根据每个弱识别器的置信程度计算置信度。然后，基于计算的置信度进行多数判定。
学习数据存储单元73存储由识别器产生单元72产生的识别器、关于产生的识别器的信息、和用于识别的特征量数据。
在识别模式中，面部识别单元74计算由局部特征计算单元71计算的特征量和记录在面部识别数据库55中的记录的面部图像数据间的相关系数，确定记录的面部图像数据是否与关于记录的人物的数据相符，并且将关于确定结果的数据传输到识别结果输出单元36。即，面部识别单元74基于存储在学习数据存储单元73内的识别器的置信度，对识别器做出的确定结果进行多数判定，并且确定记录的面部图像数据是否与关于记录的人物的数据相符。
以面部识别数据库55记录关于识别记录的人物所需的特征量的信息。可以用面部识别数据库55记录相应于记录的人物的面部图像的每个特征点的上述的Gabor jet。然而只有关于相应于用于识别的特征量的特征量的信息可以用面部识别数据库55记录。
识别结果输出单元56输出从面部识别单元74传输的确定结果数据。例如，当面部识别数据库55记录了与包括在传输的图像数据内的面部图像数据相符的记录的面部图像数据时，从面部识别数据库55中读取和与该面部图像数据相符的记录的面部图像数据有关的人物的名称等信息，并且从识别结果输出单元36输出关于名称等的信息。
此处，对于面部识别系统的细节，参考日本专利申请号2006-332302，日本专利申请号2006-332302的权利已经转移给了本申请人。
近来，为数字照相机引入了关于照相机操作和/或图像质量校正的自动技术。当组合使用该自动技术和面部识别技术，以便指定包括在图像数据中的对象图像数据时，提高了上述自动技术的便利性。
图3示出了用于基于面部识别的结果，执行包括AF处理、AE处理等的照相机信号处理和/或包括图像质量校正等的信号校正处理的功能配置。图3中所示的功能模块包括面部识别单元101、优先级计算单元102和照相机控制单元103。实际上，由执行预定控制程序的控制单元27构造每个功能模块101到103。另外，面部识别单元101包括图2中所示的面部识别系统。
在照相机DSP单元13内提供的照相机信号处理单元17将关于直通图的数据传输到面部识别单元101。然后执行上述的面部检测处理和面部识别处理，并且向在后级中提供的优先级计算单元102输出关于示出了图像帧中所示的每个检测到的面部图像的位置、大小等的面部检测结果的数据，以及关于示出了相应于检测到的面部图像的人物的信息的面部识别结果的数据。此处，为产生直通图的每个图像帧和/或以预定的帧间隔执行面部检测处理，并且依次向优先级计算单元102输出关于检测到的面部图像的数据项。
优先级计算单元102基于面部检测结果和/或面部识别结果，为包括在图像帧中的每个检测到的面部图像计算重要性(得分)Wf。另外，优先级计算单元102根据每个得分值给每个检测到的面部图像分配优先级，并且将关于优先级分配结果的数据传输到照相机控制单元103。
当确定通过面部识别从视频帧诸如直通图检测到的多个对象图像的重要性时，图像帧中所示的对象图像的位置和/或大小随时改变。随后，优先级确定的结果在时间方向上成为是不稳定的，即，图像帧中所示的主部分频繁地改变。因此在上述实施例中，通过参考在以前的视频帧中做出的优先级确定的结果，在时间方向上稳定优先级确定的结果。稍后将描述优先级计算的过程的细节。
在收到关于每个检测到的面部图像的优先级的数据之后-从优先级计算单元102传输该数据-照相机控制单元103输出控制信号，以便根据具有高优先级的检测到的面部图像，实现自动聚焦功能、图像质量校正功能等。更具体地，照相机控制单元103向驱动光学系统11的驱动器11a传输涉及AF处理和AE处理的控制信号。否则，照相机控制单元103向照相机信号处理单元17传输用于执行包括AF处理、AE处理等的照相机信号处理和/或诸如AWB处理的图像质量调整处理的控制信号。否则，照相机控制单元103向闪光发射单元32传输用于控制闪光发射时间的控制信号。
自然地，随着面部检测精度的提高，对于用户来说使用面部检测系统的照相机操作自动技术和/或图像处理技术变得更为方便和有效。当图像帧中示出了至少两个对象图像时，难以确定将谁置于焦点。在另一方面，在上述实施例中，当为视频帧进行重要性确定时，通过参考在以前的视频帧中进行的优先级确定的结果，在时间方向上稳定优先级确定的结果。因此，因为在时间方向上稳定用于聚焦和/或图像质量校正的对象图像，抑制了由照相机控制单元103执行的照相机控制的时间变化，从而可以稳定地执行照相机控制。
接着，将描述在数字静态照相机1中执行用于基于面部检测到的结果，实现曝光控制和/或闪光发射控制的处理操作。如果在通过图像拾取元件11拍摄的图像帧中示出了至少两个对象图像，获得每个检测到的面部图像的重要性和/或优先级，将具有高重要性的检测到的面部图像确定为主部分，并且执行曝光控制和闪光发射控制。图4是示出了上述处理过程的流程图。
首先，在步骤S1，照相机控制单元103基于从照相机信号处理单元17传输的图像信号的检测值，根据普通的AE控制方法计算曝光控制量和闪光控制信息。
上述的“普通的AE控制方法”代表这样的处理，执行该处理，以便如下面的步骤S2，S3，S4，S5，S6，S7，S8，S9和S10所示，通过被广泛执行的处理而不使用面部检测结果数据，计算曝光控制量和闪光控制信息。基本地，基于从整个屏幕图像的拾取的图像信号中检测到的亮度信息，计算曝光控制量和闪光控制信息。另外，曝光控制量用于控制在光学系统10中提供的可变光阑的打开程度，由在图像拾取元件11中提供的机械快门和/或电子快门获得的快门速度，AFE单元12的AGC增益量等。闪光控制信息用于控制闪光发射单元32的光发射操作。
接着，在步骤S2，面部检测单元52从照相机信号处理单元17输出的图像数据中检测关于人物的面部的数据。
此处，在步骤S3，面部识别单元101确定是否由面部检测单元52检测到面部图像。当从图像帧中检测到面部图像时(步骤S3为是)，处理进入随后的步骤，即步骤S4。如果未从图像帧中检测到面部图像(步骤S3为否)，将在步骤S1计算的每个曝光控制量和闪光控制信息确定为最后的值，并且结束整个处理例程。
在收到例如从面部识别单元101传输的示出了图像帧中所示的每个检测到的面部图像的位置、大小等的面部检测结果数据，以及示出了关于与每个检测到的面部图像相符的人物的信息的面部识别结果数据之后，在步骤S4，优先级计算单元102通过使用面部检测结果数据和面部识别结果数据中的至少一个，计算每个检测到的面部图像的重要性Wf。然后，在步骤S5，优先级计算单元102确定是否检测到具有其值高于预定值的计算的重要性Wf的面部图像。
然后，如果检测到具有其值高于预定值的重要性Wf的面部图像(步骤S5为是)，处理进入随后的步骤S6。在另一方面，如果未检测到具有其值高于预定值的重要性Wf的面部图像(步骤S5为否)，则确定任何检测到的面部图像都不重要，即，不应对任何检测到的面部图像执行曝光控制和/或闪光发射。因此，将在步骤S1计算的每个曝光控制量和闪光控制信息确定为最后的值，并且结束整个处理例程。
在步骤S6，照相机控制单元103为每个直方图检测和颜色检测设置用于执行亮度检测和颜色检测到的检测帧。然后，通过使用设置的检测帧，获得相应于每个检测到的面部图像的亮度直方图数据和颜色检测值。另外，在步骤S5检测其重要性被确定为高的至少两个面部图像，在步骤S7，根据每个检测到的面部图像的重要性，为整个面部区域规格化为每个面部图像获得的亮度直方图数据。
接着，在步骤S8，照相机控制单元103确定为检测到的面部图像获得的直方图的峰值。然后，基于在峰值处获得的频率值和亮度，照相机控制单元103搜索定义峰值范围的极限亮度值Yf_l和Yf_h。
接着，在步骤S9，照相机控制单元103基于面部图像的重要性和颜色以及外部光线信息，设置面部图像的目标亮度范围。
在步骤S10，基于面部直方图数据(当使用分裂检测法时，在步骤S7规格化该直方图数据)，在步骤S9设置的目标亮度范围，和在步骤S1计算的曝光控制量和闪光控制信息，重新计算最后的曝光控制量和闪光控制信息。然后，照相机控制单元103将曝光控制信号传输到驱动器11a和/或照相机信号处理单元17，并且将闪光控制信号传输到闪光发射单元32。
根据上述的处理过程，在步骤S3从拾取的图像中检测面部图像。在步骤S5，如果在上述的面部图像中包括具有高于某个程度的重要性的面部图像，在步骤S6到S10，考虑面部图像和背景间的亮度平衡执行曝光控制。如果在上述的面部图像中不包括具有高于某个程度的重要性的面部图像，以被广泛使用的自动成像模式执行曝光控制。
因此，可以执行曝光控制，从而可以用适当的亮度拾取面部图像，尤其是摄影师认为重要的面部图像，并且可以适当地保持面部图像和背景图像间的亮度平衡。即使摄影师未执行设置操作，可以在普通的自动成像模式中，仅在检测到面部图像时，考虑面部图像和背景图像间的亮度平衡，自动执行上述的曝光控制。
另外，对于关于图4所示的流程图中示出的步骤S1处的根据普通AE控制方法执行的控制值计算处理、步骤S6和S7处的对亮度直方图数据和颜色数据执行的检测处理、步骤S8处的被执行以便确定直方图数据的峰值的处理、步骤S9处的被执行以便确定面部图像的目标亮度范围的处理、步骤S10处的对曝光控制量和闪光控制信息执行的重新计算处理的详细描述，参考日本专利申请号2006-20137。日本专利申请号2006-20137的权利已经转移给本申请人。
接着，将描述图4所示的流程图中所示的步骤S4和S5处的处理，执行该处理，以便确定关于检测到的面部图像的数据的重要性-所述数据包括在图像数据内，并且给检测到的面部图像分配优先级。
自然地，随着面部检测精度的提高，对于用户来说使用上述的面部检测实现的照相机操作自动技术和/或图像处理技术变得更为方便和有效。当图像数据中示出至少两个对象图像时，应当确定每个对象图像的重要性，以便确定应当对哪个对象图像执行AF处理、AE处理、或图像质量校正处理。按照直觉，可以估计显示在拾取的图像中心附近的对象图像和/或显示在拾取的图像中的大的对象图像的重要性高，从而该对象图像是主部分。因此，在通过面部检测处理等指定拾取的图像中所示的对象图像之后，基于从拾取的图像的中心到该对象图像的距离和/或该对象范围的大小，赋予该对象图像优先级。随后，可以进行主部分确定。
图5给出了示出了一个示例处理过程的流程图，执行该处理过程，以便基于从图像信号中检测到的面部大小信息和面部位置信息，确定面部重要性。在图4所示的流程图的步骤S4处执行该处理过程。根据图5所示的处理过程，获得从图像信号中检测到的面部大小信息和面部位置信息，基于大小信息计算第一重要因子，基于位置信息计算第二重要因子，并且基于第一和第二重要因子计算最后的重要性，从而确定由摄影师估值的重要性。
首先，在步骤S21，优先级计算单元102从面部识别单元101获取关于每个检测到的面部图像的大小、位置和倾向的信息作为关于检测到的面部图像的信息。
接着，在步骤S22，优先级计算单元102计算每个检测到的面部图像的大小和整个屏幕图像的大小之间的比例(面部比例)，并且将关于该比例的数据临时存储在RAM内(未示出)。
接着，在步骤S23，优先级计算单元102基于在步骤S22执行的计算的结果，为每个检测到的面部图像计算指示根据整个屏幕图像和面部大小间的比例得出的重要性的面部大小重要性因子Wsize。例如，根据面部比例r_size的大小，通过下面的等式(1)和(2)计算面部大小重要性因子Wsize。另外，Rfb1和Rfb2的每一个代表阈值，并且满足不等式Rfb1＜Rfb2。
如果r_size＞Rfb2，则：
Wsize＝100[％]…等式(1)
如果Rfb1＜r_size≤Rfb2，则：
Wsize＝(r_size-Rfb1)/(Rfb2-Rfb1)…等式(2)
如果r_size＜Rfb1，则：
Wsize＝0  …等式(3)
图6给出了示出了面部比例r_size和面部大小重要性因子Wsize间的对应关系的图。根据上述的等式(1)到(3)和图6，当屏幕图像和面部图像间的面部比例r_size的值等于或大于预定的阈值Rfb2时，确定摄影师确定特意拾取该面部图像，并且将面部大小重要性因子Wsize设置为其最大值，即100％。相反，如果面部比例r_size的值小于预定的阈值Rfb1，确定该面部不是成像的对象，而另一个面部、背景等是成像的对象，并且将面部大小重要性因子Wsize设置为0。另外，当面部比例r_size的值落在从Rfb1到Rfb2的预定范围内时，难以明确地确定该面部是否是成像对象。因此在该情况下，根据该比例连续地改变面部大小重要性因子Wsize的值。即，当面部比例r_size增大时，该面部是成像对象的可能性增大，从而该面部的重要性被确定为高。
然后，在步骤S24，优先级计算单元102确定面部大小重要性因子Wsize的值是否是0。如果因子Wsize的值不是0(步骤S24为否)，执行相应于随后的步骤S25的处理。如果因子Wsize的值是0(步骤S24为是)，执行相应于步骤S10的处理。
在步骤S25，计算预定的图像中心区域和面部图像间的距离L。然后，在步骤S26，计算指示根据屏幕图像中所示的面部图像的位置得出的重要性的面部位置重要性因子PosW。此处，根据在步骤S25计算的距离L，计算面部位置重要性因子的最大值PosWh和最小值PosWl。
接着，在步骤S27，优先级计算单元102基于关于面部图像的位置和倾向的信息，计算从面部图像向腿部图像延伸的估计重心斜线LineA与从面部图像向图像中心延伸的斜线LineB所成的夹角ang。
然后，在步骤S28，基于在步骤S26和S27执行的每个计算的结果，计算面部位置姿态重要性因子Wpos的值。面部位置姿态重要性因子Wpos示出从屏幕图像中所示的面部图像的位置和倾向得出的重要性。基于在步骤S25执行的计算的结果，根据图像中心区域和面部图像间的距离L的值，限制面部位置姿态重要性因子Wpos的范围。
然后，在步骤S29，优先级计算单元102根据下面的等式(4)计算检测到的面部图像的最后的重要性Wf。
Wf＝Wsize×Wpos…等式(4)
通过使用上述的等式(4)，基于指示屏幕图像中产生的面部图像的大小、位置和倾向的3个参数，确定面部重要性Wf。
此处，提供下面的等式(5)作为面部重要性Wf的计算等式的修改。根据等式(5)，基于屏幕图像中产生的面部图像的大小、位置和倾向确定重要性Wf。
Wf＝(大小系数)×r_size
-(系数x)×(从屏幕图像的中心到检测到的面部图像的距离x)
-(系数y)×(从屏幕图像的中心到检测到的面部图像的距离y)…等式(5)
如果在上述的等式(5)中大小系数的值高，当拾取的图像中产生的对象图像的大小增加时，该对象图像更易于被确定为主对象图像。另外，当每个系数x和y的值高时，当对象图像在水平和垂直方向中的每一个上离拾取的图像的中心更近时，该对象图像更易于被确定为主对象图像。
另外，当在上述的步骤S23计算的面部重要性Wf的值是0时(步骤S24为是)，在步骤S30，优先级计算单元102将最后的面部重要性Wf的值设置为0。
在执行相应于步骤S29和/或步骤S30的处理之后，在步骤S31，优先级计算单元102确定是否为由面部识别单元101检测到的每个面部图像完成了重要性Wf的计算。如果重要性Wf的计算未完成(步骤S31为否)，处理返回步骤S23，从而以与上述相同的方式对其它检测到的面部图像执行重要性Wf的计算。如果完成了对每个面部图像的重要性Wf的计算(步骤S31为是)，结束整个处理例程。
此处，对于关于在步骤S25、S26、S27和S28执行的处理过程的细节，请参考日本专利申请号2006-20137，日本专利申请号2006-20137的权利已经转移给了本申请人。
通过使用上述的等式(4)和(5)，优先级计算单元102为每个检测到的面部图像计算重要性Wf，并且以重要性Wf的降序的顺序给检测到的面部图像分配优先级。因此，可以适当地确定用户是否故意选择具有最高优先级的检测到的面部图像作为成像对象。即，照相机控制单元103应当对具有最高优先级的检测到的面部图像执行包括AF处理、AE处理等的照相机信号处理和/或诸如AWB处理的图像质量调整控制。
当为包括人物和/或动物诸如宠物的对象执行成像时，拾取的图像中所示的每个对象图像的位置和/或大小不是固定的，而是随时改变的。如果将单个静止图像确定为处理对象，根据一个确定算法，唯一地确定重要性确定结果。在另一方面，如果通过使用视频诸如直通图确定对象图像的重要性，每个对象图像的位置和大小不是固定的，而是在基于时间连续产生的所有图像帧中随时改变的。
根据例如使用上述等式(4)和(5)的重要性确定方法，基于单个静止图像计算重要性。因此，如果检测到的面部图像的大小和/或位置随着图像帧的不同而不同，检测到的面部图像的重要性，即，为检测到的面部图像进行的优先级确定的结果可能根据上述的不同而改变。结果，主对象图像频繁改变，这使得在时间方向上自动聚焦操作和/或图像质量校正操作不稳定。
为了解决上述问题，申请人等提出了在为通过面部图像检测，从包括直通图的视频帧中检测到的每个对象图像执行重要性确定和/或优先级分配时，参考在以前的图像帧中进行的优先级确定结果的方法。根据上述方法，即使图像帧中所示的每个对象图像的位置和/或大小随时改变，在时间方向上稳定优先级确定的结果。结果，当为在监视过程中检测到的对象图像执行控制自动聚焦等时，防止具有高优先级的对象图像，即主对象图像高频次地改变，这使得可以稳定地执行控制。
另外，申请人等提出了稳定地为视频中所示的对象图像进行重要性确定和/或执行优先级分配的另一种方法。根据上述方法，使用预定的计算等式，从而在屏幕图像中快速移动的对象图像的重要性变得低，并且该对象图像抗拒被确定为主对象图像。在该情况下，也在时间方向上稳定优先级确定的结果。
下面的等式(6)示出了计算从视频中检测到的面部图像的重要性Wf的示例方法。
Wf＝(大小系数)×(r_size：屏幕图像中所示的检测到的面部图像的大小)-(系数x)×(从屏幕图像的中心到检测到的面部图像的距离x)-(系数y)×(从屏幕图像的中心到检测到的面部图像的距离y)-(系数v)×(检测到的面部图像在屏幕图像中移动的平均速度)+(优先常数[以前的顺序])  …等式(6)
上述等式(6)的右侧的第一、第二和第三项与重要性计算表达式，即，等式(5)相同。当重要的对象图像大面积地显示在屏幕图像中心附近时，实现上述的第一到第三项。当大小系数的值高时，大面积示出在拾取的图像中的对象图像更易于被确定为主对象图像。另外，当每个系数x和y的值高时，当对象图像在水平和垂直方向中的每一个上更接近拾取的图像的中心时，对象图像更易于被确定为主对象图像。
此处，将描述基于视频诸如直通图，确定检测到的面部图像的重要性的例子。如果其位置随着视频帧的不同而明显改变的检测到的面部图像的重要性被确定为高，即使根据在预定的时间产生的图像帧和/或诸图像帧中执行的计算，直到等式(6)右侧的第三项给出了高值，自动聚焦操作和/或图像校正操作在时间方向上成为是不稳定的。因此，在等式(6)的第四项中，从重要性Wf中减去与屏幕图像中所示的检测到的面部图像的平均速度有关的因子(系数v)×(平均速度)，从而降低大运动中的检测到的面部图像的优先级。另外，当系数v的值增加时，当检测到的面部图像的速度减小时，检测到的面部图像更易于被确定为主对象图像。
此处，等式(6)右侧中使用的系数间的基本数量关系可以例如表达如下。
系数v＞大小系数＞系数x＞系数y…不等式(7)
根据上述的数量关系，首先可以降低在屏幕图像中快速移动的对象图像的优先级。另外，将在多个图像帧上稳定的对象图像中的，在水平方向上接近图像帧的中心的大尺寸的对象图像置于高优先级。然而，本发明的主旨不必限于不等式(7)中所示的系数间的数量关系。即，重要性系数间的数量关系可以根据摄影模式和/或给照相机设置的操作模式诸如肖像摄影模式、背景摄影模式、运动摄影模式等，照相机的摄影环境和/或操作环境，诸如夜景、黑暗等，动态地改变。
与上述情况相反，在使用数字静态照相机的情况下，通过选择包括“运动模式”、“视频模式”等的摄影模式，可以增加运动的对象图像的优先级。另外，在使用摄像机的情况下，通过给系数v设置负号和/或减小系数v的绝对值，增加运动中的对象图像的优先级。
另外，当每个检测到的面部图像的大小和/或位置随着包括直通图等的视频的图像帧的不同而改变时，由等式(6)的右侧的第一到第三项所示的计算-检测到的面部图像的重要性Wf的计算结果可能改变。当简单地遵从上述现象时，高频次地改变主对象图像，从而在时间方向上以很少的稳定性执行自动聚焦操作和/或图像质量校正操作。因此，在等式(6)的右侧的第五项中，给重要性Wf增加优先常数。上述的优先常数是根据以前的优先级确定的常数。当检测到的面部图像的以前的优先级较高时，增加赋给检测到的面部图像的优先常数的值，从而减少在每个控制周期发生的优先级改变。继而，在时间方向上稳定自动聚焦操作和/或图像质量校正操作。
虽然以检测到的面部图像的大小和检测到的面部图像和屏幕图像中心间的距离中的每一个的10％改变它们，优选地优先常数被设置为这样的值，该值不改变最后被分配了最高的重要性Wf的对象图像的优先级。
在如等式(6)所示计算重要性Wf的情况下，以图7中所示的处理过程取代在图4的流程图内所示的步骤S4处执行的面部重要性计算。即，在步骤S31处所示的面部循环中，在步骤S32为由面部检测单元52从图像数据中检测到的每个面部图像计算平均速度，并且在步骤S33考虑计算的平均速度和基于以前的优先级确定的优先常数计算重要性Wf。然后，在步骤S34，基于计算的重要性Wf更新每个检测到的面部图像的优先级。
在图7中，以不同于日本工业标准(JIS)流程图的被称为问题分析图(PAD)的程序图符号示出了该算法配置。本质上，算法可以表示为三个基本单元的组合，包括串联、重复和选择，并且通过使用上述三种基本单元的描述方法，实现PAD。然而，根据本发明的实施例被执行以便确定检测到的面部图像的优先级的处理不限于预定的图表符号。
在用于以上述方式确定重要性的等式(6)中，使用关于屏幕图像中所示的检测到的面部图像的大小和检测到的面部图像的位置的信息作为关于从图像数据获得的检测到的面部图像的几何信息。当确定检测到的面部图像的重要性时，可以用若干方法解释关于屏幕图像中所示的检测到的面部图像的位置的信息。
在上述的等式(6)中，基于从屏幕图像中心到检测到的面部图像的距离计算重要性。然而，如果对象图像从前面依次对齐，如同组摄影的情况，估计其图像示于屏幕图像的下部的对象比其它对象更接近照相机(见图8)，从而应当给予示于下部的对象图像高的优先级。因此，取代从屏幕图像中心到检测到的面部图像的距离y，基于从屏幕图像下端到检测到的面部图像的距离y计算重要性Wf。
Wf＝(大小系数)×(r_size：屏幕图像中产生的检测到的面部图像的大小)-(系数x)×(从屏幕图像的中心到检测到的面部图像的距离x)-(系数y)×(从屏幕图像的下端到检测到的面部图像的距离y)-(系数v)×(检测到的面部图像在屏幕图像中移动的平均速度)+(优先常数[以前的顺序])…等式(8)
在上述的等式(6)中，基于从屏幕图像中心到检测到的面部图像的距离计算重要性。然而，根据一个示例构图，例如考虑背景，多个对象图像可以在距屏幕图像中心一个距离处对齐(见图9)。在该情况下，如同下面所示的等式(9)的情况，取代“从屏幕图像的中心到检测到的面部图像的距离x”，可以基于“从每个对象图像的重心到检测到的面部图像的距离x”计算重要性Wf。
Wf＝(大小系数)×(r_size：屏幕图像中产生的检测到的面部图像的大小)-(系数x)×(从每个对象图像的重心到检测到的面部图像的距离x)-(系数y)×(从屏幕图像的中心到检测到的面部图像的距离y)-(系数v)×(检测到的面部图像在屏幕图像中移动的平均速度)+(优先常数[以前的顺序])…等式(9)
如上所述，根据用于计算重要性的等式(6)、(8)和(9)中的每一个，通过使用从面部检测单元52输出的检测到的面部图像信息计算重要性。然而，还可以使用关于由提供在面部检测单元52的后级中的面部识别单元74执行的面部识别的结果的信息计算该重要性。等式(10)示出了通过进一步使用面部识别结果信息，计算检测到的面部图像的重要性Wf的示例方法。
Wf＝(大小系数)×(r_size：屏幕图像中产生的检测到的面部图像的大小)-(系数x)×(从屏幕图像的中心到检测到的面部图像的距离x)-(系数y)×(从屏幕图像的中心到检测到的面部图像的距离y)-(系数v)×(检测到的面部图像在屏幕图像中移动的平均速度)+(优先常数[以前的顺序])+(识别常数)…等式(10)
除了在其右侧增加了识别常数作为第六项之外，上述的等式(10)与等式(6)相同。即，根据第六项，给作为记录的面部图像，由面部识别单元74识别的检测到的面部图像的值增加预定的常数，从而该检测到的面部图像的重要性增加。结果，易于将记录的面部图像选择为主对象图像。
可以确定上述等式(10)中使用的识别常数，从而给予已经以学习数据存储单元73记录的面部图像唯一的值。否则，根据以学习数据存储单元73记录了其数据的顺序和/或其它规则，识别常数的值可以随着人物的不同而不同。
[表1]
  人物   识别常数
  A先生   100
  B先生   50
  C先生   30
  …
另外，面部识别单元101不仅可以识别人物，而且可以识别宠物。在用于识别的面部是宠物的面部的情况下，优选地给宠物分配高于人物的识别常数。这是因为当故意确定包括宠物图像的构图时，宠物图像是主对象图像的可能性高。
因此，可以根据由优先级计算单元102确定的优先级确定图像帧中所示的主对象图像。然后，照相机控制单元103可以控制包括AF处理、AE处理等的照相机控制和/或包括AWB处理、锐度和饱和度调整的图像质量调整，闪光控制、红眼减弱等。
到目前为止，已经描述了与配置为主要基于面部检测结果计算对象的重要性和优先级的系统有关的实施例。在另一方面，可以提供本发明的另一个实施例，使用对象追踪技术的实施例。
对象追踪技术用于通过根据目标对象的移动，移动视线方向，跟踪作为照相机的目标的对象。例如，日本专利申请号2005-78376公开了用于基于肤色信息追踪目标对象的技术，日本专利申请号2005-78376的权利已经转移给了本申请人。
图10示出了用于基于面部识别的结果和肤色追踪的结果，执行包括AF处理、AE处理等的照相机信号处理和/或包括图像质量校正等的信号校正处理的功能配置。由优先级计算单元102确定的每个对象的优先级被反馈给肤色追踪单元104。
图11以PAD格式示出了用于执行肤色追踪的算法的配置。
在步骤S41，确定是否从以前的图像帧获得了至少一个检测结果。
此处，如果从以前的图像帧检测到了单个对象或人物的面部图像，在步骤S42，基于最后被分配了最高优先级的面部颜色数据执行区域提取处理。
在另一方面，如果未检测到任何对象或人物的图像，在步骤S43，基于预定的颜色诸如典型的肤色执行区域提取处理。
然后，在步骤S44，通过使用关于区域提取处理的结果的信息，基于颜色数据执行追踪处理。
如上所述，根据本发明的实施例，可以基于面部检测结果和/或面部识别结果，计算图像帧中产生的每个对象图像的重要性，从而获得每个对象图像的优先级。另外，可以基于每个对象图像的优先级，适当地执行包括AF处理、AE处理等的对照相机操作的自动控制和/或图像质量调整。另外，不仅当使用数字照相机执行摄影时可以有效地使用根据本发明的实施例的计算对象图像的重要性和优先级的方法，而且当再现拾取的图像时也是如此。
例如，在使用基于相关技术开发的数字静态照相机再现摄影图像的情况下，大多数数字静态照相机简单地以记录顺序从记录介质26读取并且输出关于摄影图像的数据，从而在监视器25上输出显示摄影图像。在另一方面，在使用提供有根据本发明的实施例计算对象的重要性和优先级的技术的数字照相机的情况下，可以获得关于每个对象图像的重要性，作为主对象图像的对象图像，和每个图像帧的主对象图像的重要性的数值数据。随后，可以控制再现图像帧的顺序，以及基于上述的数值数据再现图像帧的方法(见图12)。
(1)将图像帧划分为每个被确定为主部分的人物的组。
(2)以主对象的重要性的降序顺序确定再现图像帧的顺序。
(3)以每个对象图像或若干顶级对象图像的重要性的总值的降序顺序确定再现图像帧的顺序，其中关于对象图像的数据包括在每个图像帧内。
(4)基于关于分配给每个对象图像的重要性的数值数据的大小确定每个图像帧的再现时间。例如，基于上述方法(2)和(3)确定每个图像帧的重要性，从而图像帧的重要性越高，再现图像帧的时间越长。
另外，当从传输自照相机的视频输出转换到另一个视频输出时，广泛地使用通过使用特效诸如擦抹执行屏幕图像转换的方法。例如，当将包括通过数字静态照相机和/或可携式摄像机拍摄的视频、静止图像等的数字图像彼此合并时，可以通过使用特效诸如擦抹执行屏幕图像转换和/或场景转换。在使用提供有根据本发明的实施例的计算对象图像的重要性和优先级的技术的数字照相机的情况下，可以基于对象图像的重要性，高效地执行屏幕图像转变处理。例如，可以给出通过关注于具有高重要性的高级别对象图像而产生的幻灯放映。另外，可以自动执行处理，诸如增加再现具有高重要性的人物的图像的时间，根据重要性改变关于特效的细节。
本领域的技术人员应当理解，根据设计要求和其它因素，可以做出各种修改、组合、子组合和替代，只要它们落在所附的权利要求或其等同物的范围内。

Claims (19)

1.一种配置为处理包括至少一个面部图像的图像数据的图像处理设备，该图像处理设备包括：
配置为输入所述图像数据的图像输入装置；
配置为从所述输入的图像数据的图像帧中检测所述至少一个面部图像的面部检测装置；
配置为确定所述至少一个检测到的面部图像中的每一个的重要性的重要性确定装置；和
配置为基于所述确定的重要性，确定所述至少一个检测到的面部图像中的每一个的优先级的优先级确定装置，
其中所述重要性确定装置考虑关于所述图像帧中所示的所述检测到的面部图像的大小和位置的数据、以及由所述优先级确定装置上次确定的优先级，确定所述重要性。
2.如权利要求1的图像处理设备，其中所述图像输入装置输入视频作为所述图像数据，并且
其中所述重要性确定装置进一步考虑所述检测到的面部图像在所述视频中的移动速度确定所述重要性。
3.如权利要求1的图像处理设备，其中所述重要性确定装置给所述图像帧中心附近的检测到的面部图像分配较高的优先级。
4.如权利要求2的图像处理设备，其中所述重要性确定装置按所述检测到的面部图像在所述视频中的移动速度、所述图像帧中示出的检测到的面部图像的大小、以及所述图像帧中示出的检测到的面部图像的位置的顺序确定所述重要性。
5.如权利要求1的图像处理设备，其中所述重要性确定装置给所述图像帧下端附近的检测到的面部图像分配较高的优先级。
6.如权利要求1的图像处理设备，其中当所述图像帧中产生多个对象图像时，所述重要性确定装置给每个对象图像的重心附近的检测到的面部图像分配较高的优先级。
7.如权利要求1的图像处理设备，还包括配置为识别所述至少一个检测到的面部图像中的每一个的面部识别装置，
其中所述重要性确定装置给相应于由所述面部识别装置识别出的人物的检测到的面部图像分配较高的优先级。
8.一种图像处理方法，该方法被提供以便处理包括至少一个面部图像的图像数据，该图像处理方法包括步骤：
输入所述图像数据；
从图像帧中检测所述至少一个面部图像；
确定所述至少一个检测到的面部图像中的每一个的重要性；和
基于所述确定的重要性，确定所述至少一个检测到的面部图像中的每一个的优先级，
其中在所述重要性确定步骤，考虑关于所述图像帧中所示的所述检测到的面部图像的大小和位置的数据，以及在所述优先级确定步骤上次确定的优先级，确定所述重要性。
9.一种配置为拾取对象图像的图像拾取设备，该图像拾取设备包括：
配置为基于来自所述对象的入射光产生图像信号的图像拾取装置；
配置为将来自所述对象的光聚集在所述图像拾取装置的光接收面上的光学系统；
配置为驱动所述光学系统的光学系统驱动装置；
配置为处理所述产生的图像信号的图像信号处理装置；
配置为从传输自所述图像信号处理装置的图像数据的图像帧中检测至少一个面部图像的面部检测装置；
配置为确定所述至少一个检测到的面部图像中的每一个的重要性的重要性确定装置；
配置为基于所述确定的重要性，确定所述至少一个检测到的面部图像中的每一个的优先级的优先级确定装置；和
配置为将具有高优先级的检测到的面部图像确定为主对象，并且控制在所述光学系统驱动装置和/或所述图像信号处理装置中执行的操作的控制装置，
其中所述重要性确定装置考虑关于所述图像帧中所示的所述检测到的面部图像的大小和位置的数据、以及由所述优先级确定装置上次确定的优先级，确定所述重要性。
10.如权利要求9的图像拾取装置，其中确定具有高优先级的检测到的面部图像是主对象的所述控制装置执行在所述光学系统驱动装置内提供的光学系统的自动聚焦和/或自动曝光，和/或所述图像信号处理装置中的自动聚焦、自动曝光和图像质量调整。
11.如权利要求9的图像拾取装置，其中所述重要性确定装置进一步考虑所述检测到的面部图像在传输自所述图像拾取装置的直通图和/或拾取的视频中的移动速度确定所述重要性。
12.如权利要求9的图像拾取装置，其中所述重要性确定装置给所述图像帧中心附近的检测到的面部图像分配较高的优先级。
13.如权利要求9的图像拾取装置，其中所述重要性确定装置按所述检测到的面部图像在所述视频中的移动速度、所述图像帧中示出的检测到的面部图像的大小、以及所述图像帧中示出的检测到的面部图像的位置的顺序确定所述重要性。
14.如权利要求9的图像拾取装置，其中所述重要性确定装置给所述图像帧下端附近的检测到的面部图像分配较高的优先级。
15.如权利要求9的图像拾取装置，其中当所述图像帧中产生多个对象图像时，所述重要性确定装置给每个对象图像的重心附近的检测到的面部图像分配较高的优先级。
16.如权利要求9的图像拾取装置，还包括配置为识别所述至少一个检测到的面部图像中的每一个的面部识别装置，
其中所述重要性确定装置给相应于由所述面部识别装置识别出的人物的检测到的面部图像分配较高的优先级。
17.一种以计算机可读格式编写，以便在计算机上处理包括至少一个面部图像的图像数据的计算机程序，该计算机程序使得计算机执行步骤：
输入所述图像数据；
从所述输入图像数据的图像帧中检测所述至少一个面部图像；
确定所述至少一个检测到的面部图像中的每一个的重要性；和
基于所述确定的重要性，确定所述至少一个检测到的面部图像中的每一个的优先级，
其中在所述重要性确定步骤，使计算机考虑关于所述图像帧中所示的所述检测到的面部图像的大小和位置的数据，以及在所述优先级确定步骤上次确定的优先级，确定所述重要性。
18.一种配置为处理包括至少一个面部图像的图像数据的图像处理设备，该图像处理设备包括：
配置为输入所述图像数据的图像输入单元；
配置为从所述输入的图像数据的图像帧中检测所述至少一个面部图像的面部检测单元；
配置为确定所述至少一个检测到的面部图像中的每一个的重要性的重要性确定单元；和
配置为基于所述确定的重要性，确定所述至少一个检测到的面部图像中的每一个的优先级的优先级确定单元，
其中所述重要性确定单元考虑关于所述图像帧中所示的所述检测到的面部图像的大小和位置的数据，以及由所述优先级确定单元上次确定的优先级，确定所述重要性。
19.一种配置为拾取对象图像的图像拾取设备，该图像拾取设备包括：
配置为基于来自所述对象的入射光产生图像信号的图像拾取单元；
配置为将来自所述对象的光聚集在所述图像拾取单元的光接收面上的光学系统；
配置为驱动所述光学系统的光学系统驱动单元；
配置为处理所述产生的图像信号的图像信号处理单元；
配置为从传输自所述图像信号处理单元的图像数据的图像帧中检测至少一个面部图像的面部检测单元；
配置为确定所述至少一个检测到的面部图像中的每一个的重要性的重要性确定单元；
配置为基于所述确定的重要性，确定所述至少一个检测到的面部图像中的每一个的优先级的优先级确定单元；和
配置为将具有高优先级的检测到的面部图像确定为主对象，并且控制在所述光学系统驱动单元和/或所述图像信号处理单元中执行的操作的控制单元，
其中所述重要性确定单元考虑关于所述图像帧中所示的所述检测到的面部图像的大小和位置的数据，以及由所述优先级确定单元上次确定的优先级，确定所述重要性。
CN2008100056514A 2007-02-16 2008-02-14 图像处理设备和方法、图像拾取设备 Active CN101246541B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007-037165 2007-02-16
JP2007037165A JP4254873B2 (ja) 2007-02-16 2007-02-16 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP2007037165 2007-02-16

Publications (2)

Publication Number Publication Date
CN101246541A true CN101246541A (zh) 2008-08-20
CN101246541B CN101246541B (zh) 2011-05-04

Family

ID=39706701

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100056514A Active CN101246541B (zh) 2007-02-16 2008-02-14 图像处理设备和方法、图像拾取设备

Country Status (3)

Country Link
US (2) US8036430B2 (zh)
JP (1) JP4254873B2 (zh)
CN (1) CN101246541B (zh)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024157A (zh) * 2009-09-09 2011-04-20 索尼公司 信息处理装置、信息处理方法和信息处理程序
CN102300049A (zh) * 2010-06-24 2011-12-28 株式会社日立制作所 图像信号处理装置
CN102625036A (zh) * 2011-01-25 2012-08-01 株式会社尼康 图像处理装置、摄像装置及记录介质
CN102891960A (zh) * 2011-07-19 2013-01-23 安讯士有限公司 用于确定图像调整参数的方法和相机
CN103312959A (zh) * 2012-03-15 2013-09-18 欧姆龙株式会社 拍摄装置及拍摄装置控制方法
CN103905727A (zh) * 2012-12-27 2014-07-02 佳能株式会社 被摄体区域跟踪设备及其控制方法
WO2015032289A1 (zh) * 2013-09-05 2015-03-12 华为技术有限公司 一种聚焦图片的显示方法及图像处理设备
CN105827983A (zh) * 2012-07-12 2016-08-03 奥林巴斯株式会社 摄像装置
CN106454481A (zh) * 2016-09-30 2017-02-22 广州华多网络科技有限公司 一种移动终端直播互动的方法及装置
CN106780298A (zh) * 2016-11-30 2017-05-31 努比亚技术有限公司 图片的处理方法及装置
CN106803056A (zh) * 2015-11-26 2017-06-06 华为技术有限公司 一种肢体关系的估计方法及装置
CN106982331A (zh) * 2011-09-02 2017-07-25 株式会社尼康 照相机和电子设备
CN107836109A (zh) * 2015-08-21 2018-03-23 三星电子株式会社 电子设备自动聚焦于感兴趣区域的方法
CN109165557A (zh) * 2018-07-25 2019-01-08 曹清 景别判断系统及景别判断方法
CN109196856A (zh) * 2016-06-10 2019-01-11 松下知识产权经营株式会社 虚拟化妆装置和虚拟化妆方法
CN109923856A (zh) * 2017-05-11 2019-06-21 深圳市大疆创新科技有限公司 补光控制装置、系统、方法以及移动设备
CN110168601A (zh) * 2017-04-20 2019-08-23 韩国斯诺有限公司 通过分析校正模式的影像校正方法及系统
CN111010525A (zh) * 2018-10-08 2020-04-14 宏碁股份有限公司 动态调整图像清晰度的方法及其图像处理装置
CN111277746A (zh) * 2018-12-05 2020-06-12 杭州海康威视系统技术有限公司 一种室内人脸抓拍方法及系统
CN114731372A (zh) * 2019-12-02 2022-07-08 三星电子株式会社 用于校正相机切换时的图像的电子装置及方法

Families Citing this family (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738015B2 (en) * 1997-10-09 2010-06-15 Fotonation Vision Limited Red-eye filter method and apparatus
US7042505B1 (en) 1997-10-09 2006-05-09 Fotonation Ireland Ltd. Red-eye filter method and apparatus
GB2395781A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
US8306280B2 (en) * 2006-04-11 2012-11-06 Nikon Corporation Electronic camera and image processing apparatus
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US7995804B2 (en) 2007-03-05 2011-08-09 Tessera Technologies Ireland Limited Red eye false positive filtering using face location and orientation
JP5429445B2 (ja) * 2008-04-08 2014-02-26 富士フイルム株式会社 画像処理システム、画像処理方法、およびプログラム
CN103475837B (zh) 2008-05-19 2017-06-23 日立麦克赛尔株式会社 记录再现装置及方法
TWI462575B (zh) * 2008-08-06 2014-11-21 Marketech Int Corp 影像處理裝置及影像處理方法
JP2010068030A (ja) * 2008-09-08 2010-03-25 Panasonic Corp 画像処理装置、画像処理方法、画像処理プログラム、撮像装置
JP5093031B2 (ja) * 2008-09-29 2012-12-05 カシオ計算機株式会社 撮像装置及びプログラム
US8237847B2 (en) * 2008-10-16 2012-08-07 Fujinon Corporation Auto focus system having AF frame auto-tracking function
JP5127686B2 (ja) * 2008-12-11 2013-01-23 キヤノン株式会社 画像処理装置および画像処理方法、ならびに、撮像装置
JP5144487B2 (ja) 2008-12-15 2013-02-13 キヤノン株式会社 主顔選択装置、その制御方法、撮像装置及びプログラム
JP5223663B2 (ja) * 2008-12-25 2013-06-26 株式会社ニコン 撮像装置
JP5267149B2 (ja) * 2009-01-19 2013-08-21 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
EP2413592B1 (en) * 2009-03-25 2016-08-31 Fujitsu Limited Playback control program, playback control method, and playback device
JP4748244B2 (ja) * 2009-03-31 2011-08-17 カシオ計算機株式会社 画像選択装置、画像選択方法及びプログラム
JP2011010276A (ja) * 2009-05-22 2011-01-13 Sanyo Electric Co Ltd 画像再生装置及び撮像装置
JP2011027847A (ja) * 2009-07-22 2011-02-10 Fujifilm Corp Ａｆ枠自動追尾システム
KR101622110B1 (ko) * 2009-08-11 2016-05-18 삼성전자 주식회사 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
JP5401420B2 (ja) * 2009-09-09 2014-01-29 パナソニック株式会社 撮像装置
JP2011087257A (ja) * 2009-10-19 2011-04-28 Panasonic Corp 半導体集積回路及び撮像装置
JP4975134B2 (ja) * 2010-04-06 2012-07-11 キヤノン株式会社 撮像装置及び撮像装置の制御方法
WO2012000135A1 (en) * 2010-07-02 2012-01-05 Intel Corporation Face detecting method and apparatus
JP5562154B2 (ja) 2010-07-13 2014-07-30 キヤノン株式会社 撮像装置、撮影補助システム、撮影補助方法、画像データ解析方法およびプログラム
JP5725793B2 (ja) * 2010-10-26 2015-05-27 キヤノン株式会社 撮像装置およびその制御方法
JP5710940B2 (ja) * 2010-11-09 2015-04-30 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9104909B2 (en) * 2010-12-15 2015-08-11 Canon Kabushiki Kaisha Image processing apparatus and method of processing image
JP5675326B2 (ja) * 2010-12-24 2015-02-25 キヤノン株式会社 画像処理装置、主被写体の選択方法及びプログラム
JP5968068B2 (ja) * 2011-05-24 2016-08-10 キヤノン株式会社 露出制御を行う撮像装置、撮像装置の制御方法、プログラム及び記録媒体
US8836851B2 (en) * 2011-06-01 2014-09-16 Apple Inc. Automatic exposure control based on multiple regions
JP5979967B2 (ja) * 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5987306B2 (ja) * 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8902344B2 (en) * 2011-12-28 2014-12-02 Canon Kabushiki Kaisha Display control apparatus, image capture apparatus, display control method, and image capture apparatus control method
JP2013246790A (ja) * 2012-05-29 2013-12-09 Toshiba Tec Corp 認識辞書作成装置及びプログラム
JP6172428B2 (ja) * 2012-06-15 2017-08-02 株式会社リコー 撮像装置および撮像方法
US9654563B2 (en) 2012-12-14 2017-05-16 Biscotti Inc. Virtual remote functionality
US9485459B2 (en) 2012-12-14 2016-11-01 Biscotti Inc. Virtual window
US9300910B2 (en) 2012-12-14 2016-03-29 Biscotti Inc. Video mail capture, processing and distribution
US8914837B2 (en) 2012-12-14 2014-12-16 Biscotti Inc. Distributed infrastructure
CN104956659B (zh) 2013-01-09 2018-12-14 索尼公司 图像处理装置、图像处理方法和程序
KR101443031B1 (ko) * 2013-04-04 2014-09-23 주식회사 슈프리마 얼굴 인식 서비스 제공 방법
US9405978B2 (en) 2013-06-10 2016-08-02 Globalfoundries Inc. Prioritization of facial recognition matches based on likely route
US10528127B2 (en) 2013-12-09 2020-01-07 Apple Inc. Method for operating an eye tracking device and eye tracking device for providing an active power management
JP6178987B2 (ja) * 2014-02-05 2017-08-16 パナソニックＩｐマネジメント株式会社 撮像装置
US10027883B1 (en) * 2014-06-18 2018-07-17 Amazon Technologies, Inc. Primary user selection for head tracking
US9729865B1 (en) 2014-06-18 2017-08-08 Amazon Technologies, Inc. Object detection and tracking
JP6281426B2 (ja) * 2014-07-08 2018-02-21 富士通株式会社 画像表示制御装置、画像表示制御方法、及び画像表示制御プログラム
US10366506B2 (en) * 2014-11-07 2019-07-30 Lamina Systems, Inc. Hyperacuity system and methods for real time and analog detection and kinematic state tracking
DE102014224557A1 (de) * 2014-12-01 2016-06-02 Osram Gmbh Bildverarbeitung mittels Kreuzkorrelation
CN107005655B (zh) * 2014-12-09 2020-06-23 快图有限公司 图像处理方法
TWI646503B (zh) * 2014-12-30 2019-01-01 香港商富智康〈香港〉有限公司 照片方位校正系統及方法
KR102325822B1 (ko) 2015-03-10 2021-11-11 삼성전자주식회사 사물 인터넷 디바이스 및 사물 인터넷 통신 방법
JP6512897B2 (ja) * 2015-03-30 2019-05-15 キヤノン株式会社 ズーム制御装置、ズーム制御装置の制御方法
US10783365B2 (en) * 2015-07-03 2020-09-22 Hitachi Kokusai Electric Inc. Image processing device and image processing system
KR102429427B1 (ko) 2015-07-20 2022-08-04 삼성전자주식회사 촬영 장치 및 그 동작 방법
CN105205482B (zh) * 2015-11-03 2018-10-26 北京英梅吉科技有限公司 快速人脸特征识别及姿态估算方法
WO2017170048A1 (ja) * 2016-03-30 2017-10-05 富士フイルム株式会社 撮影装置、データ記憶方法、およびプログラム
CN107545227A (zh) * 2016-06-27 2018-01-05 张业 基于物联网和云计算的智能建筑集成系统
KR101828015B1 (ko) * 2016-09-30 2018-02-13 부산대학교 산학협력단 목표물 탐지를 위한 온보드 카메라 기반의 자동 노출 제어 장치 및 방법
JP6890944B2 (ja) * 2016-10-07 2021-06-18 キヤノン株式会社 像ぶれ補正装置およびその制御方法、撮像装置
JP7210872B2 (ja) * 2017-07-19 2023-01-24 富士フイルムビジネスイノベーション株式会社 画像処理装置及び画像処理プログラム
CN108021669B (zh) * 2017-12-05 2021-03-12 Oppo广东移动通信有限公司 图像分类方法和装置、电子设备、计算机可读存储介质
CN108830160B (zh) * 2018-05-18 2021-03-12 Oppo（重庆）智能科技有限公司 面部特征采集方法、移动终端及存储介质
JP7315321B2 (ja) * 2018-12-14 2023-07-26 ヤフー株式会社 生成装置、生成方法および生成プログラム
CN110248096B (zh) * 2019-06-28 2021-03-12 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
JP7438706B2 (ja) * 2019-09-30 2024-02-27 キヤノン株式会社 撮像制御装置、撮像装置、及び撮像制御方法
JP7453772B2 (ja) 2019-11-01 2024-03-21 キヤノン株式会社 情報処理装置及びその制御方法、撮像装置システム、プログラム
CN110944114B (zh) * 2019-11-28 2021-06-08 维沃移动通信有限公司 拍照方法及电子设备
US11647178B2 (en) * 2020-02-07 2023-05-09 Sony Corporation Digital television rendering verification
JP7527129B2 (ja) * 2020-04-28 2024-08-02 キヤノン株式会社 焦点調節装置、撮像装置、焦点調節方法、及びプログラム
CN112613459B (zh) * 2020-12-30 2022-07-15 深圳艾摩米智能科技有限公司 一种人脸敏感区域检测方法
JP2022173838A (ja) 2021-05-10 2022-11-22 キヤノン株式会社 撮像制御装置および撮像制御方法

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2706335B2 (ja) 1989-11-22 1998-01-28 三菱重工業株式会社 回転再生式熱交換器
JP3164692B2 (ja) 1993-04-19 2001-05-08 京セラ株式会社 電子スチルカメラ
JPH09171560A (ja) 1995-12-20 1997-06-30 Oki Electric Ind Co Ltd 顔の傾き検出装置
US6363116B1 (en) * 1997-04-04 2002-03-26 Tektronix, Inc. Picture quality assessment using spatial location with or without subsampling
US6535636B1 (en) * 1999-03-23 2003-03-18 Eastman Kodak Company Method for automatically detecting digital images that are undesirable for placing in albums
US6636648B2 (en) * 1999-07-02 2003-10-21 Eastman Kodak Company Albuming method with automatic page layout
JP3684951B2 (ja) * 1999-11-11 2005-08-17 松下電器産業株式会社 画像検索方法及びその装置
US6798919B2 (en) * 2000-12-12 2004-09-28 Koninklijke Philips Electronics, N.V. System and method for providing a scalable dynamic objective metric for automatic video quality evaluation
US6876381B2 (en) * 2001-01-10 2005-04-05 Koninklijke Philips Electronics N.V. System and method for providing a scalable objective metric for automatic video quality evaluation employing interdependent objective metrics
GB2372165A (en) * 2001-02-10 2002-08-14 Hewlett Packard Co A method of selectively storing images
US7010159B2 (en) * 2001-04-25 2006-03-07 Koninklijke Philips Electronics N.V. Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology
JP2002333652A (ja) 2001-05-10 2002-11-22 Oki Electric Ind Co Ltd 撮影装置及び再生装置
US7425963B2 (en) * 2001-07-16 2008-09-16 Hewlett-Packard Development Company, L.P. Hierarchical image feature-based visualization
US7327891B2 (en) * 2001-07-17 2008-02-05 Yesvideo, Inc. Automatic selection of a visual image or images from a collection of visual images, based on an evaluation of the quality of the visual images
US6832006B2 (en) * 2001-07-23 2004-12-14 Eastman Kodak Company System and method for controlling image compression based on image emphasis
JP4421151B2 (ja) 2001-09-17 2010-02-24 株式会社リコー デジタルカメラ撮像装置
US7133070B2 (en) * 2001-09-20 2006-11-07 Eastman Kodak Company System and method for deciding when to correct image-specific defects based on camera, scene, display and demographic data
US7130864B2 (en) * 2001-10-31 2006-10-31 Hewlett-Packard Development Company, L.P. Method and system for accessing a collection of images in a database
US6901411B2 (en) * 2002-02-11 2005-05-31 Microsoft Corporation Statistical bigram correlation model for image retrieval
US7362354B2 (en) * 2002-02-12 2008-04-22 Hewlett-Packard Development Company, L.P. Method and system for assessing the photo quality of a captured image in a digital still camera
JP2003271933A (ja) 2002-03-18 2003-09-26 Sony Corp 顔検出装置及び顔検出方法並びにロボット装置
ATE412223T1 (de) * 2002-10-24 2008-11-15 L 1 Identity Solutions Ag Prüfung von bildaufnahmen von personen
JP2004343451A (ja) * 2003-05-15 2004-12-02 Matsushita Electric Ind Co Ltd 動画像復号化方法および動画像復号化装置
JP4195991B2 (ja) * 2003-06-18 2008-12-17 パナソニック株式会社 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
US7095877B2 (en) * 2003-07-30 2006-08-22 Xerox Corporation System and method for measuring and quantizing document quality
JP2005086271A (ja) 2003-09-04 2005-03-31 Nikon Corp 電子カメラ
JP4553346B2 (ja) 2003-10-22 2010-09-29 キヤノン株式会社 焦点調節装置及び焦点調節方法
JP2005132021A (ja) * 2003-10-31 2005-05-26 Kyocera Mita Corp 画像形成装置
JP4154400B2 (ja) 2004-04-01 2008-09-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
US7916173B2 (en) * 2004-06-22 2011-03-29 Canon Kabushiki Kaisha Method for detecting and selecting good quality image frames from video
JP4442344B2 (ja) 2004-07-16 2010-03-31 株式会社ニコン デジタルカメラ
JP2006145629A (ja) 2004-11-16 2006-06-08 Fuji Photo Film Co Ltd 撮像装置
US7693304B2 (en) * 2005-05-12 2010-04-06 Hewlett-Packard Development Company, L.P. Method and system for image quality calculation
JP2008022240A (ja) * 2006-07-12 2008-01-31 Fujifilm Corp 撮影装置，画像処理装置、及び画像ファイル生成方法，画像処理方法、並びに画像処理プログラム
US20080062322A1 (en) * 2006-08-28 2008-03-13 Ortiva Wireless Digital video content customization
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
JP4453721B2 (ja) * 2007-06-13 2010-04-21 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102024157A (zh) * 2009-09-09 2011-04-20 索尼公司 信息处理装置、信息处理方法和信息处理程序
CN102024157B (zh) * 2009-09-09 2013-04-17 索尼公司 信息处理装置、信息处理方法和信息处理程序
CN102300049A (zh) * 2010-06-24 2011-12-28 株式会社日立制作所 图像信号处理装置
CN102300049B (zh) * 2010-06-24 2015-12-02 日立产业控制解决方案有限公司 图像信号处理装置
CN102625036A (zh) * 2011-01-25 2012-08-01 株式会社尼康 图像处理装置、摄像装置及记录介质
CN102891960A (zh) * 2011-07-19 2013-01-23 安讯士有限公司 用于确定图像调整参数的方法和相机
CN102891960B (zh) * 2011-07-19 2017-05-17 安讯士有限公司 用于确定图像调整参数的方法和相机
CN106982331B (zh) * 2011-09-02 2020-06-09 株式会社尼康 照相机和电子设备
CN106982331A (zh) * 2011-09-02 2017-07-25 株式会社尼康 照相机和电子设备
CN103312959A (zh) * 2012-03-15 2013-09-18 欧姆龙株式会社 拍摄装置及拍摄装置控制方法
CN103312959B (zh) * 2012-03-15 2016-08-03 欧姆龙株式会社 拍摄装置及拍摄装置控制方法
CN105827983A (zh) * 2012-07-12 2016-08-03 奥林巴斯株式会社 摄像装置
CN105827983B (zh) * 2012-07-12 2018-11-06 奥林巴斯株式会社 摄像装置
CN103905727A (zh) * 2012-12-27 2014-07-02 佳能株式会社 被摄体区域跟踪设备及其控制方法
CN103905727B (zh) * 2012-12-27 2017-04-12 佳能株式会社 被摄体区域跟踪设备及其控制方法
WO2015032289A1 (zh) * 2013-09-05 2015-03-12 华为技术有限公司 一种聚焦图片的显示方法及图像处理设备
CN104427237A (zh) * 2013-09-05 2015-03-18 华为技术有限公司 一种聚焦图片的显示方法及图像处理设备
CN104427237B (zh) * 2013-09-05 2018-08-21 华为技术有限公司 一种聚焦图片的显示方法及图像处理设备
CN107836109A (zh) * 2015-08-21 2018-03-23 三星电子株式会社 电子设备自动聚焦于感兴趣区域的方法
CN106803056A (zh) * 2015-11-26 2017-06-06 华为技术有限公司 一种肢体关系的估计方法及装置
CN109196856A (zh) * 2016-06-10 2019-01-11 松下知识产权经营株式会社 虚拟化妆装置和虚拟化妆方法
CN106454481A (zh) * 2016-09-30 2017-02-22 广州华多网络科技有限公司 一种移动终端直播互动的方法及装置
CN106780298A (zh) * 2016-11-30 2017-05-31 努比亚技术有限公司 图片的处理方法及装置
CN106780298B (zh) * 2016-11-30 2020-07-28 努比亚技术有限公司 图片的处理方法及装置
CN110168601A (zh) * 2017-04-20 2019-08-23 韩国斯诺有限公司 通过分析校正模式的影像校正方法及系统
CN109923856A (zh) * 2017-05-11 2019-06-21 深圳市大疆创新科技有限公司 补光控制装置、系统、方法以及移动设备
CN109165557A (zh) * 2018-07-25 2019-01-08 曹清 景别判断系统及景别判断方法
CN111010525A (zh) * 2018-10-08 2020-04-14 宏碁股份有限公司 动态调整图像清晰度的方法及其图像处理装置
CN111010525B (zh) * 2018-10-08 2021-04-06 宏碁股份有限公司 动态调整图像清晰度的方法及其图像处理装置
CN111277746A (zh) * 2018-12-05 2020-06-12 杭州海康威视系统技术有限公司 一种室内人脸抓拍方法及系统
CN114731372A (zh) * 2019-12-02 2022-07-08 三星电子株式会社 用于校正相机切换时的图像的电子装置及方法

Also Published As

Publication number Publication date
US20120002849A1 (en) 2012-01-05
JP2008205650A (ja) 2008-09-04
CN101246541B (zh) 2011-05-04
JP4254873B2 (ja) 2009-04-15
US8036430B2 (en) 2011-10-11
US8208690B2 (en) 2012-06-26
US20080199056A1 (en) 2008-08-21

Similar Documents

Publication Publication Date Title
CN101246541B (zh) 图像处理设备和方法、图像拾取设备
CN101621624B (zh) 焦点调节设备及其控制方法
CN101325658B (zh) 成像设备和成像方法
CN101309367B (zh) 成像装置
KR101155406B1 (ko) 화상 처리 장치, 화상 처리 방법 및 컴퓨터 기억 매체
CN101237529B (zh) 成像设备与成像方法
JP4748244B2 (ja) 画像選択装置、画像選択方法及びプログラム
CN101867724B (zh) 成像装置以及成像方法
CN101512549B (zh) 数字图像采集装置中的实时人脸追踪
US20120206619A1 (en) Image processing apparatus, image capturing apparatus and recording medium
US8493464B2 (en) Resolution adjusting method
CN114785960B (zh) 一种基于无线传输技术的360度全景行车记录仪系统
CN100553296C (zh) 拍摄装置和曝光控制方法
CN110072052A (zh) 基于多帧图像的图像处理方法、装置、电子设备
CN103986854B (zh) 图像处理设备、摄像设备和控制方法
CN103108120A (zh) 变焦控制方法和设备
CN110536068A (zh) 对焦方法和装置、电子设备、计算机可读存储介质
CN101848337A (zh) 图像处理设备、图像处理方法和程序
CN102209197A (zh) 摄像装置及摄像方法
CN103179345A (zh) 数字拍摄设备及其控制方法
CN102812699A (zh) 图像处理设备、方法以及计算机程序存储设备
CN101841653A (zh) 拍摄装置以及视场角调节方法
CN103118226A (zh) 光源估计装置、光源估计方法、光源估计程序和成像设备
CN102006485A (zh) 图像处理装置及图像处理方法
JP5862071B2 (ja) 画像処理装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant