Nothing Special   »   [go: up one dir, main page]

CN111835979B - 照相装置和相应地自动曝光控制方法 - Google Patents

照相装置和相应地自动曝光控制方法 Download PDF

Info

Publication number
CN111835979B
CN111835979B CN202010181877.0A CN202010181877A CN111835979B CN 111835979 B CN111835979 B CN 111835979B CN 202010181877 A CN202010181877 A CN 202010181877A CN 111835979 B CN111835979 B CN 111835979B
Authority
CN
China
Prior art keywords
dynamic range
image
ambient light
exposure
image sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010181877.0A
Other languages
English (en)
Other versions
CN111835979A (zh
Inventor
彭启翔
王博民
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN111835979A publication Critical patent/CN111835979A/zh
Application granted granted Critical
Publication of CN111835979B publication Critical patent/CN111835979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/706—Pixels for exposure or ambient light measuring

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

一种照相装置和相应地自动曝光控制方法。照相装置包括处理器，配置为执行：从图像传感器的传感器阵列接收传感器阵列感测到图像数据和环境光信息；确定图像数据是否符合预定的曝光标准；以及响应于图像数据不符合预定的曝光标准，从感测到的数据中获取环境光信息；以及根据获取的环境光信息，为图像传感器中的多个图像像素选择性地配置新的曝光值，以捕获新的图像数据。本发明的照相装置和相应地自动曝光控制方法可以减少自动曝光控制所需的迭代次数。

Description

照相装置和相应地自动曝光控制方法
【技术领域】
本公开涉及一种图像传感器，并且特别地，涉及一种包括具有嵌入式光测量像素(light-measuring pixel)的图像传感器的装置以及使用该传感器的照相机的自动曝光控制(automatic exposure control，简写为AEC)的方法。
【背景技术】
人们越来越多地将便携式计算设备用于各种任务。这些任务中的一些涉及使用计算设备的至少一个照相机捕获一个或多个图像或视频。为了获得可接受质量的图像，例如具有适当亮度或对比度水平的图像，各种计算设备可以利用曝光控制算法来尝试调整捕获图像的相机的曝光。在常规方法中，算法在设备的主处理器上执行，可能需要多次迭代才能获得适合当前条件的适当曝光设置。每次迭代引入的延迟可能会降低用户体验。此外，确定适当的曝光设置所需的功率和资源的数量可能很大，这对于电池寿命或处理能力有限的便携式计算设备可能是特别不希望的。
【发明内容】
在阅读了在各种图表和图形中所图示的优选实施例的下述详细说明书之后，本发明的这些和其他目的对本领域普通技术人员来说无疑将变得明显。
本发明的一个实施例提供了一种照相装置，包括处理器，配置为执行：从图像传感器的传感器阵列接收传感器阵列感测到图像数据和环境光信息；确定图像数据是否符合预定的曝光标准；以及响应于图像数据不符合预定的曝光标准，从感测到的数据中获取环境光信息；以及根据获取的环境光信息，为图像传感器中的多个图像像素选择性地配置新的曝光值，以捕获新的图像数据。
本发明的另一实施例提供了一种自动曝光控制方法，用于照相装置，其中，照相装置包括图像传感器，自动曝光控制方法包括：从图像传感器的传感器阵列接收传感器阵列感测到的数据，感测到的数据包括图像数据和环境光信息；确定图像数据是否符合预定的曝光标准；响应于图像数据不符合预定的曝光标准，从感测到的数据中获取环境光信息；以及根据获取的环境光信息，为图像传感器中的多个图像像素选择性地配置新的曝光值，以捕获新的图像数据。
本发明的照相装置和相应地自动曝光控制方法可以减少自动曝光控制所需的迭代次数。
【附图说明】
图1示出了一个红色滤色器、两个绿色滤色器和一个蓝色滤色器形成的拜耳图案的示意图。
图2是根据本公开的实施例的电子设备的框图。
图3是根据本公开的另一实施例的电子设备的框图。
图4A至图4C是根据本公开的实施例的图像传感器的示例。
图5A示出了根据本公开实施例的具有光测量像素(其具有不同曝光配置)的图像传感器。
图5B示出了图5A的实施例中的图像传感器中的图像像素的动态范围。
图5C示出了图5A的实施例中的图像传感器中的光测量像素的动态范围。
图6A和图6B是根据本公开的实施例的具有不同曝光配置的光测量像素的动态范围的图。
图7A是示出使用不具有光测量像素或环境光传感器的图像传感器的自动曝光控制程序的迭代的图。
图7B是示出根据本公开的实施例的具有带有光测量像素的图像传感器的自动曝光控制程序的迭代的参考图。
图8A-8C是根据本公开的实施例的图像传感器中的光测量像素的不同实现的图。
图9是根据本公开的实施例的用于电子设备的照相机的自动曝光控制(AEC)的方法的流程图。
【具体实施方式】
在说明书及权利要求书当中使用了某些词汇来指称特定的组件。所属领域中的技术人员应可理解，制造商可能会用不同的名词来称呼同样的组件。本说明书及权利要求书并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的基准。在通篇说明书及权利要求书当中所提及的「包含」是开放式的用语，故应解释成「包含但不限定于」。另外，「耦接」一词在此包含任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。
以下描述是出于说明本公开的一般原理的目的，并且不应以限制意义来理解。公开的范围最好通过参考所附权利要求书来确定。
图2是根据本公开的实施例的电子设备的框图。参照图2，电子设备200包括照相机20、计算单元220、非易失性存储器230、易失性存储器240和显示器250。照相机20包括透镜21、图像传感器210和环境光传感器215。图像传感器210包括滤色器阵列211和传感器阵列212。滤色器阵列211具有以二维方式布置的多个滤色器2110。滤色器2110可以包括红色滤色器、绿色滤色器和蓝色滤色器。例如，一个红色滤色器、两个绿色滤色器和一个蓝色滤色器可以形成拜耳图案(例如，图1中所示)，图1示出了一个红色滤色器、两个绿色滤色器和一个蓝色滤色器形成的拜耳图案的示意图，该拜耳图案是重复布置在滤色器阵列211中的2x2颜色滤色器阵列(color filter array)。在一些实施例中，红色滤色器，绿色滤色器和蓝色滤色器可以以本领域技术人员众所周知的任何形式的滤色器阵列来布置。
传感器阵列212可以包括以二维方式布置的多个感光元件(photosensitiveelement)2120，并且可以以一一对应的方式布置多个感光元件和多个滤色器2110。传感器阵列212可以经由透镜21和滤色器阵列211接收入射光。具有其相关联的滤色器的单个感光元件2120可以被视为像素。
环境光传感器(ALS)215配置为检测电子设备200周围的环境光。例如，可以是单值光电检测器(photo-detector)或光电二极管(photodiode)的ALS 215可提供环境光强度的测量值，与人眼在各种照明条件下对光的响应相匹配。在一个实施例中，环境光传感器215是在图像传感器210外部的独立光传感器。在一些实施例中，环境光传感器215在照相机20的外部。
计算单元220可以是应用处理器或诸如中央处理单元(CPU)之类的主机处理器，用于从非易失性存储器230向易失性存储器240加载诸如自动曝光控制(AEC)程序231之类的指令执行。
对于本领域的普通技术人员将显而易见的是，电子设备200可以包括许多类型的存储器、数据存储或计算机可读存储介质，例如用于由计算单元220执行的程序指令的非易失性存储器230，相同或单独的存储可用于图像或数据，可移动存储存储器可用于与其他设备共享信息，等等。
显示器250可以通过各种显示技术来实现，诸如触摸屏、电子墨水(e-ink)、有机发光二极管(OLED)或液晶显示器(LCD)。
图3是根据本公开的另一实施例的电子设备的框图。电子设备300类似于电子设备200。电子设备200与电子设备300之间的主要区别在于照相机30不包括环境光传感器，并且照相机311中的图像传感器310的传感器阵列312包括：用于检测环境光强度的测光感光元件(即，光测量像素)。例如，计算单元220可以从第一感光元件接收传感器数据的第一部分，第一感光元件经由滤色器阵列311的红色滤色器、绿色滤色器和蓝色滤色器接收入射光，并且从第二感光元件接收传感器数据的第二部分(例如，可以被视为“附加信息”或“环境光信息”)，第二感光元件用作经由滤色器阵列311的透明或白色滤色器的专用的光测量感光元件。因此，计算单元320可以使用传感器数据的第二部分来执行图像传感器310的自动曝光控制。在一些实施例中，每个第二感光元件可以通过滤色器阵列311中各自的红色滤色器、绿色滤色器或蓝色滤色器接收红光、绿光或蓝光。换言之，使得每个图像像素与滤色器阵列的相应滤色器对准，以接收红光、绿光或蓝光，以及每个信息像素(例如，环境光信息像素)与滤色器阵列的相应白色/透明滤色器对齐以接收白光。
图4A至图4C是根据本公开的实施例的图像传感器310的示例。图像传感器310中的感光元件3120可以被分类为第一感光元件(例如，图像像素)3121和第二感光元件(例如，也称为光测量像素)3122。每个第一感光元件3121可以通过滤色器阵列311中的相应的红色滤色器、绿色滤色器或蓝色滤色器接收红光、绿色或蓝色的光。第二感光元件3122可以通过滤色器阵列311中的透明或白色滤色器接收白光。第二感光元件3122可以位于图像传感器310中的任何位置。图4A示出了图像传感器310中的光测量像素的位置的示例，而图4B示出了图像传感器310中的光测量像素的位置的示例。图4B示出了图像传感器310中的光测量像素的位置的另一示例。参照图4B，示出了图像传感器310的一部分，并且六个第二感光元件3122的图案可以重复地布置在图像传感器310中。
图4C示出了图像传感器310中的光测量像素的位置的又一示例。参照图4C，每个第二感光元件3122可以单独地或组合地定位以在图像传感器310中形成宏观感光元件。
具体地，可以将图像传感器310中的光测量像素划分为具有由计算单元220控制的不同曝光配置的多个组。图5A示出了根据本公开实施例的具有光测量像素(其具有不同曝光配置)的图像传感器。
如图5A所示，图像传感器310包括第二感光元件3122A、3122B和3122C，并且第二感光元件3122A、3122B和3122C具有不同的曝光配置。例如，第二感光元件3122A具有诸如短曝光值(例如，曝光时间或感光度)的第一曝光配置，并且第二感光元件3122B具有诸如中间或正常曝光值的第二曝光配置，并且第二感光元件3122C具有例如长曝光值的第三曝光配置。
图5B示出了图5A的实施例中的图像传感器中的图像像素的动态范围。
如图5B所示，I1和I2分别表示可以由图像传感器310检测到的最小强度值和最大强度值。第一感光元件3121可以具有正常曝光值，并且第一感光元件3121的动态范围在范围510内，该范围是值I1和I2之间的范围的非常有限的部分。具体地，范围510表示图像像素3121的有效动态范围。范围511和512表示第一感光元件3121的无效动态范围。换句话说，具有正常曝光值的图像像素3121不能检测到不在范围510内的强度值。
图5C示出了图5A的实施例中的图像传感器中的光测量像素的动态范围。
如图5C所示，第二感光元件3122A具有短曝光值，并且第二感光元件3122A的动态范围可以由范围521表示。类似地，第二感光元件3122B具有正常曝光值或近似于正常曝光值的另一曝光值，第二感光元件3122B的动态范围可以由范围522表示。第二感光元件3122C具有长曝光值，第二感光元件3122C的动态范围可以由范围523表示。应当注意，范围521和范围522在区域526处部分重叠，并且范围522和范围523在区域527处部分重叠。
因此，利用在传感器阵列中具有不同曝光值的第二感光元件3122A、3122B和3122C，图像传感器310中的第二感光元件3122的整体动态范围可以由范围520表示。此外，范围524和525表示第二感光元件3122A、3122B和3122C的无效动态范围。
在一些实施例中，第二感光元件3122的总体动态范围可能不适合于极端情况，例如非常亮的场景或非常暗的场景，因此场景的动态范围可以位于该范围525或范围524内。在这种情况下，计算单元320可以校准第二感光元件3122的曝光值。如果场景的动态范围位于范围525内，则计算单元320可以同时减小第二感光元件3122A、3122B和3122C的曝光值。如果场景的动态范围位于范围524中，则计算单元320可以同时增加第二感光元件3122A、3122B和3122C的曝光值。在对第二感光元件3122A、3122B和3122C的曝光值进行校准之后，计算单元320还可以从第二感光元件3122A、3122B和3122C再次获得环境光信息，以确定第二感光元件3122A、3122B和3122C的当前曝光值是否被适当地设置。如果第二感光元件3122A、3122B和3122C的当前曝光值仍然没有被适当地设置，则计算单元320可以执行迭代以再次校准第二感光元件3122A、3122B和3122C的当前曝光值，直到适当地设置第二感光元件3122A、3122B和3122C的当前曝光值为止。
图6A和图6B是根据本公开的实施例的具有不同曝光配置的光测量像素的动态范围的图。在一些实施例中，每个第二感光元件3122的曝光值可以由计算单元220单独地和独立地控制。因此，第二感光元件3122的曝光配置的数量可以变化。
如第6A图所示，图像传感器310中的第二感光元件3122具有四种曝光配置。换句话说，第二感光元件3122具有四组，并且每组具有单独的曝光值。在实施例中，第二感光元件3122的第一组、第二组、第三组和第四组分别具有第一曝光值EV1、第二曝光值EV2、第三曝光值EV3和第四曝光值EV4，其中EV4>EV3>EV2>EV1，以便每个组的动态范围覆盖最大强度I2和最小强度I1之间的总动态范围605的四分之一。应当注意，第一、第二、第三和第四组的动态范围601、602、603和604可以无缝地连接并且彼此不重叠。
如图6B所示，图像传感器310中的第二感光元件3122具有两种曝光配置。换句话说，存在两组第二感光元件3122，并且每组具有单独的曝光值。在实施例中，第一组和第二组第二感光元件3122分别具有第一曝光值EV1和第二曝光值EV2，其中EV2大于EV1。第一组的动态范围611覆盖整个动态范围613的第一部分，并且动态范围612覆盖整个动态范围613的第二部分。但是，动态范围611和612在区域614处部分重叠。
具体地，由于第二感光元件3122(例如，第二感光元件)的整体动态范围比传感器阵列312的图像像素(例如，第一感光元件)的动态范围宽，所以第二感光元件3122可以在某些极端情况下，例如极端黑暗的场景或极端明亮的场景，仍然可以检测到正确的环境光强度，而图像传感器310中的图像像素由于曝光不足或过度曝光而无法处理这些极端情况。另外，第二感光元件3122被嵌入到传感器阵列312中，因此计算单元320可以同时从图像传感器310的第一感光元件(例如，图像像素)3121和第二感光元件(光测量像素)3122接收传感器数据。当与图2中的硬体配置比较时，在图2中，在图像数据和环境光信息之间没有同步问题(即，时间延迟)，并且使用图3中的硬体配置不需要额外的外部环境光传感器。
此外，由于第二感光元件3122可以分布在传感器阵列的任何位置，所以由第二感光元件3122检测到的环境光信息可以覆盖图像传感器310的整个视场(field of view，简写为FoV)。
图7A是示出使用不具有光测量像素或环境光传感器的图像传感器的自动曝光控制程序的迭代的图。在具有其中不具有光测量像素的图像传感器或环境光传感器的传统电子设备中，计算单元320必须在完成自动曝光控制程序的迭代之后预测图像传感器的下一个曝光值。例如，常规电子设备的AEC程序的迭代可以指示计算单元首先控制相机捕获当前场景的图像，然后使用所捕获的图像的信息来预测图像传感器的下一次曝光。由于在同一场景中可能存在暗部和亮部，因此对于传统的电子设备，在完成AEC迭代后，可能难以准确预测场景“良好曝光”的曝光值。
例如，参考图7A，范围710表示不具有光测量像素的图像传感器的动态范围。当通过AEC程序计算出的图像700的强度值(或确定值)(例如，使用单个估计器711)落在范围710的中心时，将其视为使用当前的曝光值的“良好曝光(well exposure)”。
在迭代1处，计算单元可以通过使用初始曝光值分析捕获的图像(例如，使用捕获的图像的直方图)来确定图像传感器的初始曝光值是错误的猜测。例如，使用初始曝光值，所计算的捕获图像701的强度值(或确定值)远远超出范围710。因此，计算单元可以在下一次迭代时使用较短的曝光值。
在迭代2处，计算单元可以通过使用在迭代1处猜测的曝光值来分析捕获的图像，从而确定图像传感器的当前曝光值是错误的猜测。例如，使用在迭代1处猜测的曝光值所计算的捕获图像702的强度值(或确定值)仍然超出范围710。因此，计算单元可以猜测在下一次迭代中要使用的另一个较短的曝光值。
在迭代3处，计算单元可以通过使用在迭代2处猜测的曝光值来分析捕获的图像，从而确定图像传感器的当前曝光值是错误的猜测。例如，使用在迭代2处猜测的曝光值所计算的捕获图像703的强度值(或确定值)非常接近范围710。因此，计算单元可以猜测在下一迭代中将使用的另一个较短的曝光值。
在迭代4处，计算单元可以通过使用在迭代3处猜测的曝光值来分析捕获的图像，从而确定图像传感器的当前曝光值是更好的猜测。例如，使用在迭代3处猜测的曝光值所计算的捕获图像704的强度值(或确定值)落在范围710上。然而，在迭代4中使用的曝光值仍然不是用于“良好曝光”，并且计算单元可以在下一次迭代中针对“良好曝光”计算曝光值。
在迭代5处，计算单元可以通过使用在迭代4处猜测的曝光值来分析捕获的图像，从而确定图像传感器的当前曝光值是更好的猜测。例如，使用在迭代4处猜测的曝光值所计算的捕获图像705的强度值(或确定值)落在范围710上，并且非常接近范围710的中心。计算单元可以在下一次迭代时微调曝光值用于“良好曝光”。
在迭代6处，计算单元可以通过使用在迭代5处猜测的曝光值来分析捕获的图像，从而确定图像传感器的当前曝光值是最佳猜测，例如，使用在迭代5处猜测的曝光值所计算的捕获图像706的强度值(或确定值)精确地落在范围710的中心。它指示当前的曝光值用于“良好曝光”。这样，自动曝光控制的过程完成。
图7B是示出根据本公开的实施例的具有带有光测量像素的图像传感器的自动曝光控制程序的迭代的参考图。在图7B中，范围720表示图像传感器310中的第二感光元件3122(即，包括第二感光元件3122A、3122B和3122C)的整体动态范围。当计算出的强度值落在范围720的中心时，使用当前的曝光值，它将被视为“良好曝光”。应当注意，图像传感器310的动态范围比图7A中的图像传感器的动态范围宽得多。
在迭代1处，计算单元320可以通过使用初始曝光值分析捕获的图像(例如，使用直方图和/或捕获的图像的像素的分布)来确定图像传感器310的初始曝光值是错误的猜测。例如，由AEC程序331(例如，使用第二感光元件3122A、3122B和3122C)计算出的捕获图像730的强度值(或确定值)超出了使用初始曝光值的范围720。因此，计算单元320可以在下一次迭代时使用比初始曝光值更短的曝光值。
在迭代2处，计算单元320可通过使用在迭代1处猜测的曝光值来分析捕获的图像，从而确定图像传感器310的当前曝光值是更好的猜测。例如，使用在迭代1处猜测的曝光值所计算的捕获图像731的强度值(或确定值)落在范围720上。然而，在迭代2中使用的曝光值仍然不是用于“良好曝光”，并且计算单元320可以在下一次迭代中计算用于“良好曝光”的曝光值。
使用在迭代2处猜测的曝光值所计算的捕获图像732的强度值(或确定值)落在范围720上并且非常接近范围720的中心。计算单元310可以在下一次迭代中微调用于“良好曝光”的曝光值。
在迭代4处，计算单元320可通过使用在迭代3处猜测的曝光值来分析捕获图像733，从而确定图像传感器310的当前曝光值是最佳猜测，例如，使用在迭代3处猜测的曝光值所计算的捕获图像733的强度值(或确定值)恰好落在范围720的中心。它指示当前的曝光值用于“良好曝光”。这样，自动曝光控制的过程完成。
具体地，对于具有本申请的具有光测量像素的图像传感器310来说，完成自动曝光控制过程所需的迭代次数更少，这是因为由于光测量像素的整体动态范围较宽，所以在曝光不足和曝光过度的环境中，光测量像素可能会获得更多信息。另外，如图4B所示的具有不同曝光配置的第二感光元件3122的图案重复地布置在图像传感器310中，因此从第二感光元件3122获得的环境光信息不太可能被部分亮或暗场景误导，因此计算单元320更容易做出下一次迭代的曝光值的更好的猜测。
图8A-8C是根据本公开的实施例的图像传感器中的光测量像素的不同实现的图。
存在多种方式来实现图像传感器310中的每个第二感光元件3122，以改变其灵敏度或动态范围。参照图8A，在基板800上实现阻挡元件801以覆盖光测量像素3122的一部分感光元件，使得感光元件的其余部分可以经由透镜810和白色滤光片接收入射光。因此，图8A中的光测量像素3122的体系结构的灵敏度可能较低，并且可以用于过度曝光环境。
替代地，如图8B所示，在光测量像素3122的感光元件上实现微距透镜或滤光片802(与透镜810和滤光片812相比)。因此，图8A的光测量像素3122的架构可能具有更高的灵敏度。
替代地，如图8C所示，光测量像素3122具有在基板800内实现的不同的感光元件820。例如，感光元件820具有比图像传感器310的图像像素3121的感光元件821更宽的动态范围。
应当注意，在图8A-8C的实施例中描述的光测量像素的体系结构可以在图像传感器310中单独或结合起来使用。
图9是根据本公开的实施例的用于电子设备的照相机的自动曝光控制(AEC)的方法的流程图。
在步骤S902中，激活照相机30。
在步骤S904中，照相机30用于捕获场景的图像。例如，捕获图像包括图像传感器310中的图像像素3121和第二感光元件3122的像素数据。
在步骤S906中，确定所拍摄的图像是否满足预定的曝光标准。如果是这样，则流程结束，并且自动曝光控制过程完成。若否，则执行步骤S908。在一些实施例中，预定的曝光标准可以表示捕获的图像被良好曝光。例如，计算单元320可以计算捕获图像的直方图以确定是否正确设置了捕获图像的曝光。具体地，计算单元320可以分析拍摄图像中曝光不足或曝光过度的像素的数量，以确定使用当前曝光值的被摄图像是否被良好曝光。例如，当捕获图像中的曝光不足像素(例如，强度接近零)和/或曝光过度像素(例如，强度接近255)的数量小于预定数量时，计算单元320可以确定所拍摄的图像满足预定的曝光标准，该标准指示所拍摄的图像被良好地曝光。
在步骤S908中，从图像传感器310的第二感光元件3122检索照相机的环境光信息。
在步骤S910中，计算单元320确定所获取的环境光信息是否正确。如果获取的环境光信息合适，则执行步骤S912。如果所获取的环境光信息不合适，则执行步骤S914。具体地，如在第5C图的实施例中描述的，计算单元320可以确定第二感光元件3122A、3122B和3122C的当前(或默认)曝光值是否被适当地设置。如果第二感光元件3122A、3122B和3122C的当前曝光值仍未正确设置，则计算单元320可以执行迭代以再次校准第二感光元件3122A、3122B和3122C的当前曝光值，直到适当地设置第二感光元件3122A、3122B和3122C的当前曝光值(即，使用当前的曝光配置，所有第二感光元件都不饱和)。
在步骤S912中，计算单元320猜测用于下一迭代的新的曝光值，然后执行步骤S904以捕获具有新的曝光值的新图像数据。
在步骤S914中，计算单元320校准第二感光元件3122的曝光配置，并执行步骤S908以使用校准后的曝光配置再次从第二感光元件3122检索环境光信息。
鉴于上述情况，提供了图像传感器和照相机的自动曝光控制方法。图像传感器具有嵌入式光测量像素以检测相机的环境光信息，并且可以藉助环境光信息来减少自动曝光控制所需的迭代次数。另外，计算单元可以同时接收由图像传感器中的图像像素检测的图像数据和光测量像素检测的环境光信息，因此不需要额外的资源来使图像数据和环境光信息同步。
文中描述的主题有时示出了包括在其它不同部件内的或与其它不同部件连接的不同部件。应当理解：这样描绘的架构仅仅是示例性的，并且，实际上可以实施实现相同功能的许多其它架构。在概念意义上，实现相同功能的部件的任何布置是有效地“相关联的”，以使得实现期望的功能。因此，文中被组合以获得特定功能的任意两个部件可以被视为彼此“相关联的”，以实现期望的功能，而不管架构或中间部件如何。类似地，这样相关联的任意两个部件还可以被视为彼此“可操作地连接的”或“可操作地耦接的”，以实现期望的功能，并且，能够这样相关联的任意两个部件还可以被视为彼此“操作上可耦接的”，以实现期望的功能。“操作上可耦接的”的具体示例包括但不限于：实体地可联结和/或实体地相互、作用的部件、和/或无线地可相互作用和/或无线地相互作用的部件、和/或逻辑地相互作用的和/或逻辑地可相互作用的部件。
此外，关于文中基本上任何复数和/或单数术语的使用，只要对于上下文和/或应用是合适的，本领域普通技术人员可以将复数变换成单数，和/或将单数变换成复数。
本领域普通技术人员将会理解，通常，文中所使用的术语，特别是在所附权利要求(例如，所附权利要求中的主体)中所使用的术语通常意在作为“开放性”术语(例如，术语“包括”应当被解释为“包括但不限干”，术语“具有”应当被解释为“至少具有”，术语“包含”应当被解释为“包含但不限干”等)。本领域普通技术人员还将理解，如果意在所介绍的权利要求陈述对象的具体数目，则这样的意图将会明确地陈述在权利要求中，在缺乏这样的陈述的情况下，不存在这样的意图。例如，为了帮助理解，所附权利要求可以包括使用介绍性短语“至少一个”和“一个或更多个”来介绍权利要求陈述对象。然而，这样的短语的使用不应当被解释为：用不定冠词“一个(a或an)”的权利要求陈述对象的介绍将包括这样介绍的权利要求陈述对象的任何权利要求限制为只包含一个这样的陈述对象的发明，即使在同一权利要求包括介绍性短语“一个或更多个”或“至少一个”以及诸如“一个(a)”或“一个(an)”之类的不定冠词的情况下(例如，“一个(a)”和/或“一个(an)”应当通常被解释为意味着“至少一个”或“一个或更多个”)也如此；上述对以定冠词来介绍权利要求陈述对象的情况同样适用。另外，即使明确地陈述了介绍的权利要求陈述对象的具体数目，但本领域普通技术人员也会认识到：这样的陈述通常应当被解释为意味着至少所陈述的数目(例如，仅有“两个陈述对象”而没有其他修饰语的陈述通常意味着至少两个陈述对象，或两个或更多个陈述对象)。此外，在使用类似于“A、B和C中的至少一个等”的惯用语的情况下，通常这样的结构意在本领域普通技术人员所理解的该惯用语的含义(例如，“具有A、B和C中的至少一个的系统”将包括但不限于具有单独的A、单独的B、单独的C、A和B—起、A和C一起、B和C一起和/或A、B和C一起的系统等)。在使用类似于“A、B或C中的至少一个等”的惯用语的情况下，通常这样的结构意在本领域普通技术人员所理解的该惯用语的含义(例如，“具有A、B或C中的至少一个的系统”将包括但不限于具有单独的A、单独的B、单独的C、A和B—起、A和C一起、B和C一起和/或A、B和C一起的系统等)。本领域普通技术人员将进一歩理解，不管在说明书、权利要求书中还是在附图中，表示两个或更多个可替换的术语的几乎任意析取词和/或短语应当理解成考虑包括术语中的一个、术语中的任一个或所有两个术语的可能性。例如，短语“A或B”应当被理解成包括“A”、“B”、或“A和B”的可能性。
从前述内容的记载可以理解，本说明书中所描述的本发明的各个实施方式仅用于说明的目的，并且可以在不脱离本公开的范围和精神的情况下进行修改。因此，本说明书中所描述的各个实施方式并不意在限制，真正的范围和精神由权利要求书来限定。
尽管已经在文中使用不同的方法、设备以及系统来描述和示出了一些示例性的技术，但是本领域普通技术人员应当理解的是：可以在不脱离所要求保护的主题的情况下进行各种其它修改以及进行等同物替换。此外，在不脱离文中描述的中心构思的情况下，可以进行许多修改以使特定的情况适应于所要求保护的主题的教导。因此，意在所要求保护的主题不限制于所公开的特定示例，而且这样的要求保护的主题还可以包括落在所附权利要求的范围内的所有实施及它们的等同物。

Claims (16)

1.一种照相装置，包括：
处理器，配置为执行以下操作：
从图像传感器的传感器阵列接收该传感器阵列感测到的数据，该感测到的数据包括图像数据和环境光信息，其中由被分成多个组的该传感器阵列中的多个光测量像素感测该环境光信息，其中，每个组位于预定位置，该多个光测量像素中的每个组具有彼此不同的各自的曝光值；
确定该图像数据是否符合预定的曝光标准；以及
响应于该图像数据不符合该预定的曝光标准，从该感测到的数据中获取该环境光信息；以及
根据获取的该环境光信息，为该图像传感器中的多个图像像素选择性地配置新的曝光值，以捕获新的图像数据。
2.根据权利要求1所述的照相装置，其特征在于，该图像传感器还包括滤色器阵列，使得每个图像像素与该滤色器阵列的相应滤色器对准，以接收红光、绿光或蓝光，以及每个光测量像素与该滤色器阵列的相应白色/透明滤色器对齐以接收白光。
3.根据权利要求1所述的照相装置，其特征在于，该传感器阵列中的每个像素具有第一动态范围，并且该处理器还从该多个光测量像素的该多个组中获得具有第二动态范围的该环境光信息，其中，该第二动态范围大于该第一动态范围。
4.根据权利要求3所述的照相装置，其特征在于，该多个组中的第一组、第二组和第三组分别具有第三动态范围、第四动态范围和第五动态范围，
其中，该第三动态范围、该第四动态范围和该第五动态范围形成该第二动态范围，
其中，该第三动态范围与该第四动态范围部分重叠，并且该第四动态范围与该第五动态范围部分重叠。
5.根据权利要求1所述的照相装置，其特征在于，每个光测量像素的动态范围比每个图像像素的动态范围宽。
6.根据权利要求1所述的照相装置，其特征在于，该处理器独立地控制每个光测量像素的曝光值。
7.根据权利要求1所述的照相装置，其特征在于，该处理器还被配置为确定该获得的该环境光信息是否与预定条件匹配。
8.根据权利要求7所述的照相装置，其特征在于，该处理器还被配置为：响应于所获得的该环境光信息与该预定条件匹配，为该图像传感器中的该多个图像像素配置该新的曝光值，以获取该新的图像数据，
其中，该处理器还被配置为响应于所获得的该环境光信息与该预定条件不匹配，调整该图像传感器中的多个光测量像素的曝光配置，以再次估计该环境光信息。
9.一种自动曝光控制方法，用于照相装置，其中，该照相装置包括图像传感器，该自动曝光控制方法包括：
从该图像传感器的传感器阵列接收该传感器阵列感测到的数据，该感测到的数据包括图像数据和环境光信息，其中由被分成多个组的该传感器阵列中的多个光测量像素感测该环境光信息，其中，每个组位于预定位置，该多个光测量像素中的每个组具有彼此不同的各自的曝光值；
确定该图像数据是否符合预定的曝光标准；
响应于该图像数据不符合该预定的曝光标准，从该感测到的数据中获取该环境光信息；以及
根据获取的该环境光信息，为该图像传感器中的多个图像像素选择性地配置新的曝光值，以捕获新的图像数据。
10.根据权利要求9所述的自动曝光控制方法，其特征在于，该图像传感器还包括滤色器阵列，使得每个图像像素与该滤色器阵列的相应滤色器对准，以接收红光、绿光或蓝光，以及每个光测量像素与该滤色器阵列的相应白色/透明滤色器对齐以接收白光。
11.根据权利要求9所述的自动曝光控制方法，其特征在于，该传感器阵列中的每个像素具有第一动态范围，并且该自动曝光控制方法还包括：从该多个光测量像素的该多个组中获得具有第二动态范围的该环境光信息，其中，该第二动态范围大于该第一动态范围。
12.根据权利要求11所述的自动曝光控制方法，其特征在于，该多个组中的第一组、第二组和第三组分别具有第三动态范围、第四动态范围和第五动态范围，
其中，该第三动态范围、该第四动态范围和该第五动态范围形成该第二动态范围，
其中，该第三动态范围与该第四动态范围部分重叠，并且该第四动态范围与该第五动态范围部分重叠。
13.根据权利要求9所述的自动曝光控制方法，其特征在于，每个光测量像素的动态范围比每个图像像素的动态范围宽。
14.根据权利要求9所述的自动曝光控制方法，更包括：
独立地控制每个光测量像素的曝光值。
15.根据权利要求9所述的自动曝光控制方法，更包括：
确定获得的该环境光信息是否与预定条件匹配。
16.根据权利要求15所述的自动曝光控制方法，还包括：
响应于所获取的该环境光信息符合该预定条件，为该图像传感器中的该多个图像像素配置该新的曝光值，以获取该新的图像数据；以及
响应于所获得的该环境光信息不符合该预定条件，调整该图像传感器中多个光测量像素的曝光配置，以再次估计该环境光信息。
CN202010181877.0A 2019-04-15 2020-03-16 照相装置和相应地自动曝光控制方法 Active CN111835979B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/383,920 2019-04-15
US16/383,920 US10957729B2 (en) 2019-04-15 2019-04-15 Image sensor with embedded light-measuring pixels and method of automatic exposure control using the same

Publications (2)

Publication Number Publication Date
CN111835979A CN111835979A (zh) 2020-10-27
CN111835979B true CN111835979B (zh) 2022-02-22

Family

ID=72748136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010181877.0A Active CN111835979B (zh) 2019-04-15 2020-03-16 照相装置和相应地自动曝光控制方法

Country Status (3)

Country Link
US (1) US10957729B2 (zh)
CN (1) CN111835979B (zh)
TW (1) TWI734404B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117938996B (zh) * 2023-12-28 2024-10-29 荣耀终端有限公司 检测环境光的方法和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1777860A (zh) * 2003-03-12 2006-05-24 O－笔公司 多任务射线传感器
CN102595030A (zh) * 2011-01-12 2012-07-18 英属开曼群岛商恒景科技股份有限公司 具环境光感测的数字摄像装置
US8446481B1 (en) * 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
CN107615010A (zh) * 2016-01-22 2018-01-19 索尼公司 光接收器件、控制方法和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6486915B2 (en) 1999-04-20 2002-11-26 Intel Corporation Determining a final exposure setting automatically for a solid state camera without a separate light metering circuit
JP5738080B2 (ja) 2011-06-09 2015-06-17 キヤノン株式会社 撮像装置及びその制御方法
TWI561908B (en) 2015-03-27 2016-12-11 Vivotek Inc Auto focus method and apparatus using the same method
CN107431764B (zh) 2015-03-27 2018-08-21 富士胶片株式会社 摄影装置、摄影装置主体及摄影装置的控制方法
US20160373664A1 (en) 2015-10-27 2016-12-22 Mediatek Inc. Methods And Apparatus of Processing Image And Additional Information From Image Sensor

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1777860A (zh) * 2003-03-12 2006-05-24 O－笔公司 多任务射线传感器
CN102595030A (zh) * 2011-01-12 2012-07-18 英属开曼群岛商恒景科技股份有限公司 具环境光感测的数字摄像装置
US8446481B1 (en) * 2012-09-11 2013-05-21 Google Inc. Interleaved capture for high dynamic range image acquisition and synthesis
CN107615010A (zh) * 2016-01-22 2018-01-19 索尼公司 光接收器件、控制方法和电子设备

Also Published As

Publication number Publication date
TWI734404B (zh) 2021-07-21
CN111835979A (zh) 2020-10-27
US20200328242A1 (en) 2020-10-15
US10957729B2 (en) 2021-03-23
TW202040248A (zh) 2020-11-01

Similar Documents

Publication Publication Date Title
JP4633717B2 (ja) 欠陥ピクセルの動的特定および修正
US7995097B2 (en) Techniques of motion estimation when acquiring an image of a scene that may be illuminated with a time varying luminance
US9224782B2 (en) Imaging systems with reference pixels for image flare mitigation
CN105611185B (zh) 图像生成方法、装置及终端设备
CN108900782A (zh) 曝光控制方法、装置以及电子设备
US20090278966A1 (en) Image sensor and imaging apparatus
WO2007036055A1 (en) Methods and apparatus for detecting defects in imaging arrays by image analysis
JP2006352880A (ja) １つのフィールドの複数回の露光を用いるデジタル撮像装置のシャッター較正方法及び装置
KR20090098197A (ko) 플래시 발광량 조절가능한 디지털 촬영 장치, 이의 제어방법 및 상기 방법을 실행하기 위한 프로그램을 기록한기록매체
US20130222608A1 (en) Imaging sensor anomalous pixel column detection and calibration
KR20210081415A (ko) 분석 측정을 수행하기 위한 방법 및 디바이스
TW202021339A (zh) 用於相機之紅外光預閃光
KR20120114021A (ko) 불량 픽셀 보정 방법
CN109151333A (zh) 曝光控制方法、装置以及电子设备
JP6572524B2 (ja) 撮像装置および撮像方法
CN111835979B (zh) 照相装置和相应地自动曝光控制方法
US7599559B2 (en) Method for collecting data for color measurements from a digital electronic image capturing device or system
US20080164403A1 (en) Wide Dynamic Range Sensor
US20080243419A1 (en) Photon transfer curve test time reduction
US11503218B2 (en) Electronic device for executing predetermine processing based on image data acquired via filters having different polarization angles, control method of the same, and storage medium
JP4921058B2 (ja) 撮像装置及びその制御方法
CN113837954A (zh) 处理由辐射热计检测器和相关设备收集的原始图像的方法
TWI767484B (zh) 雙感測器攝像系統及其深度圖計算方法
US11496660B2 (en) Dual sensor imaging system and depth map calculation method thereof
US9906705B2 (en) Image pickup apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant