Nothing Special   »   [go: up one dir, main page]

CN114143422A - 信息处理设备、信息处理方法和存储介质 - Google Patents

信息处理设备、信息处理方法和存储介质 Download PDF

Info

Publication number
CN114143422A
CN114143422A CN202111026458.0A CN202111026458A CN114143422A CN 114143422 A CN114143422 A CN 114143422A CN 202111026458 A CN202111026458 A CN 202111026458A CN 114143422 A CN114143422 A CN 114143422A
Authority
CN
China
Prior art keywords
region
information processing
photometric value
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111026458.0A
Other languages
English (en)
Inventor
大森广崇
土桥俊之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN114143422A publication Critical patent/CN114143422A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/08Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
    • G03B7/091Digital circuits
    • G03B7/097Digital circuits for control of both exposure time and aperture
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • G03B7/28Circuitry to measure or to take account of the object contrast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本发明涉及信息处理设备、信息处理方法和存储介质。一种设备,包括:获取单元,其被配置为获取图像;第一检测单元,其被配置为从图像检测与第一特征相对应的第一区域;第二检测单元,其被配置为从图像检测与第二特征相对应的第二区域;测量单元,其被配置为对所述第一区域和所述第二区域进行测光;确定单元,其被配置为基于由所述测量单元获取的所述第一区域的第一测光值和在获取所述第一测光值之前由所述测量单元获取的所述第二区域的第二测光值的加权平均来确定曝光;以及输出单元,其被配置为输出与曝光有关的信息。

Description

信息处理设备、信息处理方法和存储介质
技术领域
实施例的方面涉及信息处理设备、信息处理方法和存储介质。
背景技术
传统上,如日本特开2015-130615中所论述的,已知用于在背光环境中不仅使用面部检测还使用人体检测来确定曝光量的技术。
发明内容
根据实施例的方面,一种信息处理设备,包括:获取单元,其被配置为获取图像;第一检测单元,其被配置为从所述图像检测与第一特征相对应的第一区域;第二检测单元,其被配置为从所述图像检测与第二特征相对应的第二区域;测量单元,其被配置为对所述第一区域和所述第二区域进行测光;确定单元,其被配置为基于所述测量单元获取的所述第一区域的第一测光值和在获取所述第一测光值之前所述测量单元获取的所述第二区域的第二测光值的加权平均,来确定曝光;以及输出单元,其被配置为输出与所述曝光有关的信息。
一种信息处理方法,包括:获取图像;从所述图像检测与第一特征相对应的第一区域;从所述图像检测与第二特征相对应的第二区域;对所述第一区域和所述第二区域进行测光;基于在测光中获取的所述第一区域的第一测光值和在获取所述第一测光值之前在测光中获取的所述第二区域的第二测光值的加权平均,来确定曝光;以及输出与所述曝光有关的信息。
一种非暂时性计算机可读存储介质,其存储有用于使计算机执行上述信息处理方法的程序。
根据以下参考附图对示例性实施例的描述,本公开的进一步特征将变得清楚。
附图说明
图1是示出根据本发明的第一示例性实施例的摄像控制系统的配置的示例的框图。
图2是示出根据第一示例性实施例的监视照相机的内部配置的示例的框图。
图3是示出作为根据第一示例性实施例的信息处理设备的客户端设备的内部配置的示例的框图。
图4是示出根据第一示例性实施例的客户端设备的功能配置的示例的图。
图5是示出根据第一示例性实施例的检测处理的示例和曝光确定处理的示例的流程图。
图6A和6B是各自示出根据第一示例性实施例的被摄体检测区域和背景区域之间的关系的图。
图7A至7D是示出根据第一示例性实施例的被摄体的平均亮度值与差值之间的关系的图。
图8A至8E是示出根据第一示例性实施例的变形例的被摄体的平均亮度值、检测得分与差值之间的关系的图。
具体实施方式
下面将参考图1至7D描述根据第一示例性实施例的信息处理设备。下面要描述的附图中所示的一个或多个功能块可以由诸如专用集成电路(ASIC)或可编程逻辑阵列(PLA)等的硬件实现,或者可以由用于执行软件的诸如中央处理单元(CPU)或微处理单元(MPU)等的可编程处理器实现。可选地,可以通过软件和硬件的组合来实现一个或多个功能块。因此,即使在不同功能块在下面被描述为操作的动作主体的情况下,也可以将相同的硬件实现为动作主体。
<基本配置>
图1是示出根据本示例性实施例的摄像控制系统(或摄像系统)的配置的示例的框图。图1所示的摄像控制系统包括监视照相机101、网络102、客户端设备103、输入设备104和显示设备105。监视照相机101能够进行被摄体摄像以获取运动图像、并进行图像处理。监视照相机101和客户端设备103经由网络102可通信地彼此连接。
图2是示出根据本示例性实施例的监视照相机101的内部配置的示例的框图。摄像光学系统201是包括变焦透镜、调焦透镜、模糊校正透镜、光圈和快门并且收集与被摄体有关的光学信息的光学构件组。
图像传感器202是诸如互补金属氧化物半导体(CMOS)图像传感器或电荷耦合器件(CCD)图像传感器等的电荷累积型固态图像传感器,其将由摄像光学系统201收集的光通量转换为电流值(信号值),并且当与滤色器结合使用时,用作获取颜色信息的摄像单元。
照相机CPU 203是用于整体控制监视照相机101的操作的控制单元。照相机CPU203读取存储在只读存储器(ROM)204或随机存取存储器(RAM)205中的指令,并基于该指令进行处理。摄像系统控制单元206(基于来自照相机CPU 203的指令)控制监视照相机101的组件以针对摄像光学系统201进行调焦控制、快门控制或光圈调整等。通信控制单元207与客户端设备103通信,以进行用于将与监视照相机101的组件有关的控制指令发送到照相机CPU203的控制。
模数(A/D)转换单元208将图像传感器202所检测到的被摄体的光量转换为数字信号值。图像处理单元209对作为数字信号从图像传感器202输出的图像数据进行图像处理。编码器单元210是用于将图像处理单元209所处理的图像数据转换为诸如移动式连续图像专家组(运动JPEG(Motion JPEG))、H.264或H.265等的文件格式的转换单元。网络接口(I/F)211用于与诸如客户端设备103等的外部设备经由网络102通信,并且由通信控制单元207控制。
网络102是将监视照相机101和客户端设备103彼此连接的因特网协议(IP)网络。网络102包括例如满足以太网
Figure BDA0003243678600000041
通信标准的多个路由器、交换机和线缆。在本示例性实施例中,网络102可以是监视照相机101和客户端设备103可以彼此通信所经由的任意网络,并且网络102的通信标准、规模和配置不会特别地受到限制。例如,网络102可以包括因特网、有线局域网(有线LAN)、无线LAN和/或广域网(WAN)。
图3是示出作为根据本示例性实施例的信息处理设备的客户端设备103的内部配置的示例的框图。客户端设备103包括客户端CPU 301、主存储装置302、辅助存储装置303、输入I/F 304、输出I/F 305和网络I/F 306。前述组件经由系统总线可通信地彼此连接。
客户端CPU 301整体控制客户端设备103的操作。客户端CPU 301可以被配置为经由网络102整体控制监视照相机101。主存储装置302例如是RAM,并且用作客户端CPU 301的临时数据存储区域。辅助存储装置303例如是硬盘驱动器(HDD)、ROM或固态驱动器(SSD),并且存储各种程序和各种类型的设置数据。输入I/F 304用于接收来自输入设备104的输入。输出I/F 305用于向显示设备105输出信息。网络I/F 306用于与诸如监视照相机101等的外部设备经由网络102通信。
客户端CPU 301基于存储在辅助存储装置303中的程序进行处理,由此实现图4所示的客户端设备103的功能和处理。下面将描述其细节。
图1所示的输入设备104包括例如鼠标和键盘。图1所示的显示设备105例如是监视器,并且显示从客户端设备103输出的图像。尽管根据本示例性实施例的摄像控制系统包括客户端设备103、输入设备104和显示设备105作为单独的设备,但配置不限于此。例如,客户端设备103和显示设备105可以集成在一起,或者输入设备104和显示设备105可以集成在一起。此外,客户端设备103、输入设备104和显示设备105可以集成在一起。
图4是示出根据本示例性实施例的客户端设备103的功能配置的示例的图。图4所示的组件是能够由客户端CPU 301实现的配置的功能,并且等效于客户端CPU 301。更具体地,客户端设备103的客户端CPU 301包括输入信号获取单元401、通信控制单元402、输入图像获取单元403、被摄体检测单元404、测光值计算单元405、曝光确定单元406、检测结果存储单元407和显示控制单元408。可选地,客户端设备103可以独立于客户端CPU 301包括图4所示的组件。
输入信号获取单元401是经由输入设备104接收用户的输入的输入单元。
通信控制单元402进行用于经由网络102接收从监视照相机101发送的图像的控制。通信控制单元402还进行用于经由网络102向监视照相机101发送控制指令的控制。
输入图像获取单元403经由通信控制单元402获取由监视照相机101拍摄到的图像,作为被摄体检测处理的对象图像。下面将描述检测处理的细节。
被摄体检测单元404对输入图像获取单元403所获取到的图像进行包括面部区域检测(面部检测)和人体区域检测(人体检测)的各种类型的检测。尽管根据本示例性实施例的被摄体检测单元404被配置为在面部检测和人体检测之间选择期望的方法,但配置不限于此。例如,可以选择能够检测人的一部分(诸如人的上半身或面部的部分区域(诸如眼睛、瞳孔、鼻子或嘴等)等)的特征区域的配置。此外,尽管在本示例性实施例中,将人描述为用作检测对象的被摄体,但是可以采用能够检测除人以外的预定被摄体的特定区域的配置。例如,可以采用能够检测使用客户端设备103预设的预定被摄体(诸如动物面部或机动车等)的配置。
测光值计算单元405基于从被摄体检测单元404获取到的当前帧的检测结果以及从检测结果存储单元407获取到的先前帧的检测结果来计算当前帧的测光值。
曝光确定单元406基于由测光值计算单元405计算出的测光值和目标值,确定用于获取图像的被摄体摄像时的曝光值。由曝光确定单元406所确定的曝光值包括:基于预先记录在客户端设备103中的用于曝光控制的程序图的曝光值和用于校正该曝光值的曝光校正值。通信控制单元402将与曝光确定单元406所确定的曝光值有关的信息发送到监视照相机101,使得进行监视照相机101中的曝光控制。下面将参考图5所示的流程图描述与被摄体检测单元404、测光值计算单元405和曝光确定单元406的操作有关的详细处理。检测结果存储单元407是用于存储曝光确定单元406所确定的曝光值的曝光存储单元。显示控制单元408基于来自客户端CPU 301的指令将反映曝光确定单元406所确定的曝光值的图像输出到显示设备105。
<被摄体检测处理和曝光确定处理>
接下来将参考图5所示的流程图描述根据本示例性实施例的被摄体检测处理和曝光确定处理。图5是示出根据本示例性实施例的被摄体检测处理的示例和曝光确定处理的示例的流程图。假设:接通图1所示的摄像系统中的设备,并且在监视照相机101和客户端设备103之间建立连接(通信)。在该状态下,还假设在摄像系统中以预定的更新间隔重复进行被摄体摄像、图像数据发送和显示设备105上的图像显示。响应于经由网络102从监视照相机101输入通过被摄体摄像所获取的图像,客户端设备103的客户端CPU 301启动图5所示的流程图。
首先,在步骤S501中,被摄体检测单元404对输入图像获取单元403所获取到的图像进行被摄体的面部检测。可以使用利用模式(分类器)的模式匹配方法或者除模式匹配方法之外的方法(诸如使用局部区域中的亮度梯度的被摄体检测方法等)作为用于检测面部的方法,该模式(分类器)是使用统计学习而生成。换句话说,检测方法不受具体限制,并且可以采用各种方法,诸如基于机器学习的检测方法和基于距离信息的检测方法等。
接下来,在步骤S502中,判断在步骤S501中进行的面部检测中是否检测到面部。在未检测到面部的情况下(步骤S502中的否),处理进行到步骤S508。另一方面,在检测到至少一个面部的情况下(步骤S502中的是),处理进行到步骤S503。
在步骤S503中,测光值计算单元405基于从被摄体检测单元404获取到的检测结果,计算在步骤S502中判断为已检测到的面部的面部区域的平均亮度值Iface。更具体地,测光值计算单元405基于从被摄体检测单元404获取到的检测结果,将与检测到的面部的数量、检测到的面部的位置和检测到的面部的大小有关的信息应用到以下公式(1)。
Figure BDA0003243678600000071
在公式(1)中,I(x,y)表示图像中水平方向(x轴方向)和垂直方向(y轴方向)上的二维坐标位置(x,y)的亮度值。f表示检测到的面部的数量。(v,h)表示检测到被摄体的区域的中心坐标。k表示检测到被摄体的区域的水平方向上的大小。l表示检测到被摄体的区域的垂直方向上的大小。t表示检测到被摄体的帧的时间。在步骤S510中,与步骤S503一样,将与检测到的人体的数量、检测到的人体的位置和检测到的人体的大小有关的信息应用于以下公式(2),以计算人体区域的平均亮度值。
Figure BDA0003243678600000072
在式(2)中,g表示检测到的人体的数量,并且其它符号与式(1)中的符号相同。接下来,在步骤S504中,测光值计算单元405基于在步骤S503中计算出的面部区域的平均亮度值Iface和先前帧的检测结果,计算在当前帧(在时刻t)中的测光值E(t)。例如,通过使用以下公式(3)和(4)来计算在当前帧中的面部区域的平均亮度值Iface以及在紧接在当前帧之前的先前帧中的面部区域和人体区域的平均亮度值的加权平均,从而获得测光值E(t)。
Figure BDA0003243678600000073
Figure BDA0003243678600000081
在公式(3)和(4)中,n表示用于计算加权平均的先前帧的数量。在所建议的方法中,先前帧的数量n被设置为1或以上。例如,在先前帧的数量n为10的情况下,计算当前帧和紧接在当前帧之前的十帧中的平均亮度值的加权平均。此外,α和β分别表示用于计算加权平均的面部区域的平均亮度值和人体区域的平均亮度值的权重参数。权重参数α和β的值可以根据检测到被摄体的环境、后续认证处理的应用目的以及被摄体检测单元404所进行的检测处理的准确度而改变。下面将参考图6A至7D描述设置参数α和β的具体方法以及参数α和β的效果。基于当前帧的检测结果和先前帧的检测结果的测光值计算方法不限于使用公式(3)和(4)的方法。例如,可以采用诸如算术平均、调和平均或几何平均等的使用统计值的计算方法,该统计值考虑了多个帧在时间方向上的影响。
接下来,在步骤S505中,如以下公式(5)所示,计算被摄体区域的目标值Itarget与步骤S504中所计算出的测光值E(t)之间的差值ΔDiff。
ΔDiff=Itarget-E(t) (5)
在公式(5)中,被摄体区域的目标值Itarget可以由用户预设,也可以是在硬件上预设的固定值。
接下来,在步骤S506中,基于步骤S505中所计算出的差值ΔDiff、预定阈值Th和当前曝光值EVcurrent来确定曝光校正量EVcorrection。例如,曝光校正量EVcorrection由以下公式(6)表示。
Figure BDA0003243678600000091
在公式(6)中,参数γ表示曝光校正值,该曝光校正值在步骤S505中所计算出的差值ΔDiff不满足预定阈值Th的情况下影响用于将当前曝光值EVcurrent偏移到曝光不足侧或曝光过度侧的校正。例如,如公式(6)的最后一个分支所示,在测光值E(t)和目标值Itarget之间的差值ΔDiff大于阈值Th的情况下(Th<ΔDiff),判断为该状态下的被摄体区域的平均亮度在曝光不足侧。然后,将当前曝光值EVcurrent校正为增大(+γ),使得被摄体区域的亮度被控制成更接近目标值Itarget。因此,为了在时间方向上稳定地进行曝光校正,使用公式(5)计算出的差值ΔDiff在时间方向上逐渐地改变是重要的。
接下来将描述在公式(3)和(4)中设置参数α和β的具体方法及其效果。通常,如图6A和6B所示,与面部区域的检测结果相比,人体区域的检测结果错误地包括假定被判断为背景区域的许多像素(如图6B中的阴影线区域所示)。例如,在如图6A和6B所示的建筑物或体育场的入口或出口处检测到被摄体的情况下,由于错误地包括的背景区域的像素,因此人体区域的平均亮度值可能被计算为大于预期值。图7A和7B各自示出在如图6A和6B所示的背光场景中检测到被摄体的情况下被摄体的平均亮度值如何随时间的经过而变化。图7C和7D各自示出在如图6A和6B所示的背光场景中检测到被摄体的情况下差值ΔDiff如何随时间的经过而变化。随着时间经过,在多个帧上进行面部检测,并进行曝光校正以使得当前曝光值EVcurrent朝向目标值Itarget增大。然而,在例如面部的朝向改变或面部区域被阴影遮挡的情况下,存在进行人体检测来代替面部检测的时刻,并且如图7A和7B中的时间T1、T2、T3和T4所示,被摄体的平均亮度值暂时变高。
在这种情况下,在不考虑先前帧的检测结果的传统方法中,测光值E(t)暂时变得大于目标值Itarget,从而难以针对时间方向稳定地计算曝光校正量EVcorrection。如本文所使用的,术语“常规方法”是指将先前帧的数量n=0代入公式(3)和(4)中的方法。因此,可能存在被摄体区域根据时间而突然变亮或变暗的时刻。相反,在根据本示例性实施例所建议的方法中,考虑在多个先前帧上的被摄体检测结果来计算测光值E(t),使得测光值E(t)在时间方向上平滑(如图7B所示的虚线所指示)。
作为结果,时间方向上的曝光波动稳定。如本文所使用的,术语“所建议的方法”是指将先前帧的数量n=1或以上带入到公式(3)和(4)中的方法。此外,如上所述,与面部区域的平均亮度值相比,人体区域的平均亮度值通常可能受到背景区域的影响。考虑这一点,将公式(4)中的权重参数α和β设置为满足α>β的关系。这实现了关注更准确的检测处理的曝光控制。权重参数α和β之间的关系不限于关注检测处理的准确度的关系。例如,在后续认证处理中对人的数量进行计数的情况下,可以设置权重参数α和β以满足关注人体检测处理的α<β的关系。另外,在人体检测处理的准确度和面部检测处理的准确度等效且可比较的情况下,可以设置权重参数α和β以满足α=β的关系。此外,尽管参考图7A至7D描述作为问题的根据检测处理的类型而发生的曝光波动,但所建议的方法适用的问题不限于此。所建议的方法还适用于例如由错误检测引起的问题,由此实现稳定的曝光。
返回图5,在步骤S507中,步骤S503或S510中所计算出的平均亮度值和与被摄体检测方法有关的信息存储在检测结果存储单元407中。以上是在检测到至少一个面部区域的情况下根据本示例性实施例进行的处理的描述。
接下来,将描述在未检测到面部区域的情况下根据本示例性实施例进行的处理。在步骤S502中未检测到面部区域的情况下(步骤S502中的否),之后在步骤S508中,被摄体检测单元404对输入图像获取单元403所获取到的图像进行被摄体的人体检测。
接下来,在步骤S509中,基于在步骤S508中进行的人体检测的结果,判断是否从图像中检测到人体区域。在检测到至少一个人体区域的情况下(步骤S509中的是),处理进行到步骤S510。另一方面,在未检测到人体区域的情况下(步骤S509中的否),处理进行到步骤S514。在处理进行到步骤S514的情况下(即,既没有检测到面部区域也没有检测到人体区域的情况下),不进行基于被摄体检测结果的曝光校正。除了计算人体区域的平均亮度值以确定曝光之外,还使用与上述步骤S503至S506中所使用的算术公式基本上相同的算数公式进行步骤S510至S513中的处理,并且因此将省略步骤S510至S513的详细描述。
如上所述,根据本示例性实施例的摄像系统除了对当前帧的被摄体检测的结果之外,还基于(一个或多个)先前帧的(一个或多个)被摄体检测结果来计算测光值E(t),并对图像中的被摄体设置最适合的曝光。因此,根据本示例性实施例的摄像系统减少由检测处理的改变而引起的曝光波动,并且稳定地对被摄体进行最适合的曝光控制。此外,由于针对各个检测处理可变地控制权重,因此实现了不受检测准确度低的处理的影响并且对随机发生的错误检测也具有鲁棒性的曝光控制。
接下来将描述第二示例性实施例。将参考图8A至8E和公式(7)描述基于检测单元所计算出的检测得分来计算测光值E(t)的情况,作为上述示例性实施例的变形例。如本文所使用的,术语“检测得分”是指指示检测单元的检测结果的可靠性程度的评价值。更具体地,检测得分的值越大,在所设置的检测区域中存在检测对象的可能性越高。检测得分的值越小,在所设置的检测区域中不存在检测对象的可能性(即,错误检测的可能性)越高。虽然为了方便,使用在最小值0和最大值100之间的值范围内归一化的值来描述根据本变形例的检测得分,但检测得分不限于此。
图8A和8B各自示出被摄体的平均亮度值如何随着时间的经过而变化,图8C示出检测得分,并且图8D和8E各自示出差值ΔDiff如何随着时间的经过而变化。随着时间经过,在许多帧上进行被摄体检测,并且在如图8A和8B中的时间T1、T2、T3、T4、T5和T6所示的随机定时处发生检测得分低的错误检测。错误检测通常参考不存在被摄体的区域,使得基于错误检测计算出的平均亮度值与被摄体的平均亮度值显著不同。因此,在错误检测频繁发生的情况下,使用传统方法发生曝光波动,并且甚至是使用加权平均的上述所建议的方法也在一定程度上受到影响(参考图8A)。因此,在本变形例中,例如使用检测得分来计算测光值E(t),如以下公式(7)所示。
Figure BDA0003243678600000121
在公式(7)中,Score(t)表示在时间t处的检测得分值。图8B所示的图中的虚线指示在应用公式(7)的情况下计算出的测光值E(t)的示例。考虑检测得分,这使得能够在不受可能进行了错误检测的帧的平均亮度值影响的情况下计算测光值E(t)。作为结果,从图8A和8B的比较可以明显看出,与未考虑检测得分的所建议的方法相比,考虑检测得分的所建议的方法可以长时间以更接近目标值的亮度对被摄体进行摄像。此外,可以根据检测得分的值来改变用于加权平均的先前帧的数量n。例如,在检测得分的值已经持续低了预定时间段的情况下,增加用于加权平均的先前帧的数量n的值,以减小对测光值E(t)的影响。另一方面,在检测得分的值已经持续高的情况下,降低先前帧的数量n的值,以在抑制计算量的同时高准确度地计算测光值E(t)。公式(7)中所使用的参数Score(t)不限于检测得分,并且可以由与检测准确度有关的信息(诸如,视频图像中所包含的噪声量、用于确定视频图像的质量的Q值、以及照相机设置条件等)来代替。
利用上述配置,对用户意图摄像的主被摄体稳定地进行最适合的曝光控制。
尽管已将摄像光学系统201与监视照相机101集成而成的透镜集成摄像设备描述为根据上述示例性实施例的摄像设备的示例,但根据示例性实施例的摄像设备不限于此。例如,可以采用分别设置有监视照相机101和包括摄像光学系统201的镜头单元的镜头可交换摄像设备。
此外,用于实现根据上述示例性实施例的功能以部分或全部地进行根据本发明的示例性实施例的控制的计算机程序(软件)可以经由网络或各种存储介质供应给摄像设备或信息处理设备。然后,摄像设备或信息处理设备的计算机(或者CPU或MPU等)可以读取程序并执行所读取的程序。在这种情况下,程序和存储该程序的存储介质构成本发明的示例性实施例。
其它实施例
本发明的实施例还可以通过如下的方法来实现,即,通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置,该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考示例性实施例描述了本发明,但是应当理解,本发明不限于所公开的示例性实施例。所附权利要求的范围应给予最广泛的解释,以涵盖所有这样的修改和等效的结构与功能。

Claims (13)

1.一种信息处理设备,包括:
获取单元,其被配置为获取图像;
第一检测单元,其被配置为从所述图像检测与第一特征相对应的第一区域;
第二检测单元,其被配置为从所述图像检测与第二特征相对应的第二区域;
测量单元,其被配置为对所述第一区域和所述第二区域进行测光;
确定单元,其被配置为基于所述测量单元获取的所述第一区域的第一测光值和在获取所述第一测光值之前所述测量单元获取的所述第二区域的第二测光值的加权平均,来确定曝光;以及
输出单元,其被配置为输出与所述曝光有关的信息。
2.根据权利要求1所述的信息处理设备,其中,针对所述第一测光值的权重大于针对所述第二测光值的权重。
3.根据权利要求1所述的信息处理设备,其中,所述第一区域的面积小于所述第二区域的面积。
4.根据权利要求1所述的信息处理设备,其中,所述确定单元基于指示所检测到的第一区域的可靠性程度的第一得分和指示所检测到的第二区域的可靠性程度的第二得分来计算所述第一测光值和所述第二测光值的加权平均。
5.根据权利要求1所述的信息处理设备,其中,所述第一检测单元检测面部区域作为所述第一区域。
6.根据权利要求1所述的信息处理设备,其中,所述第二检测单元检测人体区域作为所述第二区域。
7.一种信息处理方法,包括:
获取图像;
从所述图像检测与第一特征相对应的第一区域;
从所述图像检测与第二特征相对应的第二区域;
对所述第一区域和所述第二区域进行测光;
基于在测光中获取的所述第一区域的第一测光值和在获取所述第一测光值之前在测光中获取的所述第二区域的第二测光值的加权平均,来确定曝光;以及
输出与所述曝光有关的信息。
8.根据权利要求7所述的信息处理方法,其中,针对所述第一测光值的权重大于针对所述第二测光值的权重。
9.根据权利要求7所述的信息处理方法,其中,所述第一区域的面积小于所述第二区域的面积。
10.根据权利要求7所述的信息处理方法,其中,所述确定基于指示所述第一区域的可靠性程度的第一得分和指示所述第二区域的可靠性程度的第二得分来计算所述第一测光值和所述第二测光值的加权平均。
11.根据权利要求7所述的信息处理方法,其中,检测面部区域作为所述第一区域。
12.根据权利要求7所述的信息处理方法,其中,检测人体区域作为所述第二区域。
13.一种非暂时性计算机可读存储介质,其存储有用于使计算机执行根据权利要求7至12中任一项所述的信息处理方法的程序。
CN202111026458.0A 2020-09-04 2021-09-02 信息处理设备、信息处理方法和存储介质 Pending CN114143422A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020149010A JP2022043633A (ja) 2020-09-04 2020-09-04 情報処理装置、方法、プログラム及び記憶媒体
JP2020-149010 2020-09-04

Publications (1)

Publication Number Publication Date
CN114143422A true CN114143422A (zh) 2022-03-04

Family

ID=77543364

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111026458.0A Pending CN114143422A (zh) 2020-09-04 2021-09-02 信息处理设备、信息处理方法和存储介质

Country Status (4)

Country Link
US (1) US11849221B2 (zh)
EP (1) EP3965073A3 (zh)
JP (1) JP2022043633A (zh)
CN (1) CN114143422A (zh)

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4639271B2 (ja) * 2005-12-27 2011-02-23 三星電子株式会社 カメラ
US8026955B2 (en) * 2007-08-30 2011-09-27 Honda Motor Co., Ltd. Camera exposure controller including imaging devices for capturing an image using stereo-imaging
US8836851B2 (en) * 2011-06-01 2014-09-16 Apple Inc. Automatic exposure control based on multiple regions
JP5873378B2 (ja) * 2012-04-10 2016-03-01 キヤノン株式会社 撮像装置およびその制御方法
US9277111B2 (en) * 2012-05-18 2016-03-01 Canon Kabushiki Kaisha Image capture apparatus and control method therefor
JP6157288B2 (ja) * 2012-12-19 2017-07-05 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置
JP2014126710A (ja) * 2012-12-26 2014-07-07 Canon Inc 自動焦点検出装置およびその制御方法、撮像装置
JP6116272B2 (ja) 2013-02-08 2017-04-19 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6184189B2 (ja) * 2013-06-19 2017-08-23 キヤノン株式会社 被写体検出装置およびその制御方法、撮像装置、被写体検出装置の制御プログラムおよび記憶媒体
JP2015130615A (ja) 2014-01-08 2015-07-16 キヤノン株式会社 撮像装置、その制御方法及びプログラム
JP6512810B2 (ja) * 2014-12-11 2019-05-15 キヤノン株式会社 撮像装置および制御方法とプログラム
JP6735583B2 (ja) * 2016-03-17 2020-08-05 キヤノン株式会社 ズーム制御装置、撮像装置及びそれらの制御方法、プログラム並びに記憶媒体
JP6429915B2 (ja) * 2017-02-14 2018-11-28 キヤノン株式会社 撮像装置、その制御方法とプログラムと記録媒体
CN110839129A (zh) * 2018-08-17 2020-02-25 Oppo广东移动通信有限公司 图像处理方法、装置以及移动终端
EP3654236A3 (en) 2018-10-25 2020-08-26 Canon Kabushiki Kaisha Information processing apparatus, control method of information processing apparatus, storage medium, and imaging system

Also Published As

Publication number Publication date
US11849221B2 (en) 2023-12-19
EP3965073A3 (en) 2022-07-27
EP3965073A2 (en) 2022-03-09
JP2022043633A (ja) 2022-03-16
US20220078323A1 (en) 2022-03-10

Similar Documents

Publication Publication Date Title
US11089228B2 (en) Information processing apparatus, control method of information processing apparatus, storage medium, and imaging system
US8416312B2 (en) Image selection device and method for selecting image
KR20080059462A (ko) 카메라 및 장면 동작을 고려한 카메라 노출 최적화 기술
CN109698905B (zh) 控制设备、摄像设备、控制方法和计算机可读存储介质
US9961269B2 (en) Imaging device, imaging device body, and lens barrel that can prevent an image diaphragm value from frequently changing
JP4831175B2 (ja) 撮像装置及び撮像方法
US11575841B2 (en) Information processing apparatus, imaging apparatus, method, and storage medium
US11570373B2 (en) Information processing apparatus, image capturing apparatus, method, and storage medium
US11190704B2 (en) Imaging apparatus and control method for performing live view display of a tracked object
JP7446804B2 (ja) 撮像装置およびその制御方法、プログラム
US11727716B2 (en) Information processing apparatus, imaging apparatus, which determines exposure amount with respect to face detection and human body detection
JP2022045567A (ja) 撮像制御装置、撮像制御方法、及びプログラム
CN114143422A (zh) 信息处理设备、信息处理方法和存储介质
JP7353864B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム、撮像システム
US20230276134A1 (en) Information processing apparatus, imaging apparatus, method, and storage medium
US11711619B2 (en) Controlling exposure based on inverse gamma characteristic
US20220078336A1 (en) Control apparatus and method for controlling the same
US12108162B2 (en) Imaging control apparatus for controlling exposure of imaging apparatus based on subject authentication result, imaging control method, and storage medium
US20240179393A1 (en) Imaging apparatus, control method of the same, and storage medium
JP2001086396A (ja) 撮像装置
JP2024010644A (ja) 画像処理装置、画像処理方法およびプログラム
JP2021150947A (ja) 情報処理装置、撮像装置、方法、プログラム及び記憶媒体
JP2007139874A (ja) 撮像装置
JP2010187351A (ja) 撮像システム、映像信号処理プログラム、および撮像方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination