CN114051108A - 一种模式可切换图像传感器及图像传感器控制方法 - Google Patents
一种模式可切换图像传感器及图像传感器控制方法 Download PDFInfo
- Publication number
- CN114051108A CN114051108A CN202111508452.7A CN202111508452A CN114051108A CN 114051108 A CN114051108 A CN 114051108A CN 202111508452 A CN202111508452 A CN 202111508452A CN 114051108 A CN114051108 A CN 114051108A
- Authority
- CN
- China
- Prior art keywords
- pixel
- signal
- event
- aps
- mode switching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
本发明属于图像传感器技术领域,尤其涉及一种模式可切换图像传感器及图像传感器控制方法,包括多个像素,每个像素均包括:光电转换电路,APS像素信号读出电路,并用于在像素为APS像素时生成与光电转换电路生成的电荷对应的APS像素信号;模式切换电路,用于根据模式切换控制信号将所述像素设定为APS像素或事件型传感器像素;事件信号读出电路,用于在像素为事件型传感器像素时生成与光电转换电路生成的电荷对应的事件型传感器信号;信号控制处理器,用于发送模式切换控制信号至模式切换电路,并根据APS像素信号生成第一图像,或根据事件型传感器信号生成第二图像。本发明实现在综合了APS像素和事件型传感器像素功能的同时,又极大减小传感器体积。
Description
技术领域
本发明属于图像传感器技术领域,尤其涉及一种模式可切换图像传感器及图像传感器控制方法。
背景技术
传统类型的图像传感器包括互补金属氧化物半导体图像传感器和事件型视觉传感器。近年来,基于CMOS工艺的图像传感器发展日益迅猛,在汽车电子、智能制造、工业监控、军事侦察等领域的应用越来越广泛,但其在高分辨率和高帧频的条件下,由于产生巨量的数据导致芯片功耗大,导致功耗要求高,而事件型视觉传感器仅检测光的强度改变的事件,基于检测的事件输出事件图像,所以动态视觉传感器的数据量低,但是分辨率一般偏低。
为了满足使用需求,市面上出现综合了CMOS图像传感器和事件型视觉传感器的传感器,但是单纯进行简单组合会容易产生传感器体积过大的问题,因此逐渐出现共用光电转换器件的传感器,来避免传感器尺寸过大问题,具体如申请号为CN201910856811.4的发明专利中公开了一种图像传感器包括CIS(CMOS图像传感器)像素、DVS(动态视觉传感器)和图像信号处理器。CIS像素包括:光电转换器件,其生成与入射光对应的电荷;和读出电路,其生成与生成的电荷对应的输出电压。DVS像素基于生成的电荷来检测入射光的强度的变化,并输出事件信号,并且不包括单独的光电转换器件。图像信号处理器使光电转换器件能够连接到读出电路或DVS像素。
虽然上述专利文件中的图像传感器包含了CIS像素和DVS像素,且能够减小一部分传感器整体体积,但是其仍然存在传感器体积过大的问题。
发明内容
本发明的目的在于提供一种模式可切换图像传感器及图像传感器控制方法,旨在解决现有技术中包含CIS像素和DVS像素的传感器体积过大的技术问题。
为实现上述目的,本发明实施例提供一种模式可切换图像传感器,包括多个像素,每个像素均包括:
光电转换电路,用于生成与入射在像素上的入射光对应的电荷;
APS像素信号读出电路,与所述光电转换电路连接,并用于在所述像素为APS像素时生成与所述光电转换电路生成的电荷对应的APS像素信号;还包括:
模式切换电路,与所述光电转换单元连接,并用于根据模式切换控制信号将所述像素设定为APS像素或事件型传感器像素;
事件信号读出电路,与所述光电转换单元连接,并用于在所述像素为事件型传感器像素时生成与所述光电转换电路生成的电荷对应的事件型传感器信号;
信号控制处理器,与所述光电转换电路、APS像素信号读出电路、模式切换电路和所述事件信号读出电路均连接,所述信号控制处理器用于发送模式切换控制信号至所述模式切换电路,并根据APS像素信号生成第一图像,或根据事件型传感器信号生成第二图像。
可选地,所述模式切换电路包括复位晶体管;所述复位晶体管的源极与所述光电转换电路连接,所述复位晶体管的漏极连接一电源;所述复位晶体管用于在所述像素为APS像素时,将所述浮置扩散节点的电压复位;所述复位晶体管还用于在所述像素为事件型传感器像素时,输出与由所述光电转换器件生成的电荷对应的光电流所对应的对数电压。
可选地,所述模式切换电路还包括第一开关和第二开关;所述信号控制处理器控制所述第一开关和所述第二开关断开或闭合,以设定像素为APS像素或事件型传感器像素;当所述第一开关闭合,且所述第二开关断开时,所述复位晶体管的漏极与所述第一开关连接,所述像素设定为APS像素;当所述模式切换控制信号控制所述第一开关断开,且所述第二开关闭合时,所述复位晶体管的栅极和漏极分别连接所述第二开关的两端,所述像素设定为事件型传感器像素。
可选地,所述光电转换电路包括光电转换器件、传输晶体管和浮置扩散节点,所述光电转换器件的第一端接地,所述传输晶体管与所述光电转换器件的第二端连接,所述传输晶体管还与所述APS像素信号读出电路、所述复位晶体管和所述事件信号读出电路均连接,所述传输晶体管TX用于将由所述光电转换器件生成的电荷传输到浮置扩散节点。
可选地,所述事件信号读出电路包括第一驱动晶体管和第一读出单元,所述第一驱动晶体管与所述浮置扩散节点连接,所述第一读出单元与所述第一驱动晶体管连接,所述第一读出单元还与所述信号控制处理器连接。
可选地,所述APS像素信号读出电路包括第二驱动晶体管、选择晶体管和第二读出单元,所述第二驱动晶体管与浮置扩散节点连接,所述选择晶体管与所述第二驱动晶体管连接,所述第二读出单元与所述选择晶体管连接,所述第二读出单元还与所述信号控制处理器连接。
本发明实施例提供的模式可切换图像传感器中的上述一个或多个技术方案至少具有如下技术效果之一:
本发明通过设置所述信号控制处理器发送模式切换控制信号至所述模式切换电路,所述模式切换电路根据模式切换控制信号将所述像素设定为APS像素或事件型传感器像素,当设定所述像素为APS像素时,所述APS像素信号读出电路生成与所述光电转换电路生成的电荷对应的APS像素信号,当设定像素为事件型传感器像素时,所述事件信号读出电路生成与所述光电转换电路生成的电荷对应的事件型传感器信号,进而通过所述模式切换电路的设置实现APS像素或事件型传感器像素之间的切换,实现在综合了APS像素和事件型传感器像素功能的同时,又极大减小传感器体积。
为实现上述目的,本发明实施例提供一种图像传感器控制方法,所述方法基于上述的模式可切换图像传感器进行,所述方法具体包括:
步骤S100:所述信号控制处理器发送模式切换控制信号至模式切换控制电路;
步骤S200:当所述模式切换电路根据模式切换控制信号将所述像素设定为APS像素时,所述APS像素信号读出电路生成与所述光电转换电路生成的电荷对应的APS像素信号;
步骤S300:当所述模式切换电路根据模式切换控制信号将所述像素设定为事件型传感器像素时,所述事件信号读出电路生成与所述光电转换电路生成的电荷对应的事件型传感器信号;
步骤S400:所述信号控制处理器在获取所述APS像素信号时生成第一图像,或在获取所述事件型传感器信号生成第二图像。
可选地,所述方法还包括:
步骤S510:当所述模式切换电路根据模式切换控制信号将所述像素设定为APS像素时,所述信号控制处理器控制所述事件信号读出电路生成事件型传感器信号;
步骤S520:当所述模式切换电路根据模式切换控制信号将所述像素设定为事件型传感器像素时,所述信号控制处理器控制所述APS像素信号读出电路生成与所述光电转换电路生成的电荷对应的APS像素信号。
可选地,所述方法还包括:
步骤S610:基于信号控制处理器500控制第一预设数量的像素形成像素单元,其中,像素单元包括多个像素矩阵;
步骤S620:基于信号控制处理器500设定像素单元中一个对边的像素矩阵为模式相同的像素,另一个对边的像素矩阵为相同或不相同。
可选地,所述方法还包括:
步骤S710:基于所述信号控制处理器控制第二预设数量的像素形成第一像素区域;
步骤S720:基于所述信号控制处理器控制第三预设数量的像素形成第二像素区域;
步骤S730:基于所述信号控制处理器设定所述第一像素区域中的像素均为APS像素并设定所述第二像素区域中的像素均为事件型传感器像素,或设定所述第一像素区域中的像素均为事件型传感器像素并设定所述第二像素区域中的像素均为APS像素;
步骤S740:根据所述信号控制处理器控制在预设时间段内获取所述第一像素区域中和所述第二像素区域中输出的图像。
本发明实施例提供的图像传感器控制方法中的上述一个或多个技术方案至少具有如下技术效果之一:
本发明图像传感器控制方法基于上述的模式可切换图像传感器进行,故所述图像传感器控制方法能通过所述信号控制处理器发送模式切换控制信号至模式切换控制电路,实现将所述像素设定为APS像素或事件型传感器像素,进而使所述信号控制处理器能够在获取所述APS像素信号时生成第一图像,或在获取所述事件型传感器信号生成第二图像,通过所述模式切换电路的设置实现APS像素或事件型传感器像素之间的切换,实现在综合了APS像素和事件型传感器像素功能的同时,又极大减小传感器体积。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的模式可切换图像传感器中像素的电路结构框图;
图2为本发明实施例提供的模式可切换图像传感器中像素的电路原理图;
图3为本发明实施例提供的图像传感器控制方法的流程示意图;
图4为本发明另一实施例提供的图像传感器控制方法的流程示意图;
图5为本发明实施例提供的像素单元的结构示意图;
图6为本发明实施例提供的设定像素单元的流程示意图;
图7为本发明另一实施例提供的像素单元的结构示意图;
图8为本发明其他实施例提供的像素单元的结构示意图;
图9为本发明实施例提供的设定第一像素区域及第二像素区域并获取第一像素区域及第二像素区域输出的图像的流程示意图。
其中,图中各附图标记:
100、光电转换电路;200、APS像素信号读出电路;210、第二读出单元;300、模式切换电路;400、事件信号读出电路;410、第一读出单元;500、信号控制处理器;600、像素单元。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明的实施例,而不能理解为对本发明的限制。
在本发明实施例的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明实施例和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明实施例的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明实施例中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明实施例中的具体含义。
在本发明的一个实施例中,如图1所示,提供一种模式可切换图像传感器,包括多个像素,每个像素均包括光电转换电路100、APS像素信号读出电路200、模式切换电路300、事件信号读出电路400和信号控制处理器500。
其中,光电转换电路100用于生成与入射在像素上的入射光对应的电荷;
APS像素信号读出电路200与光电转换电路100连接,并用于在像素为APS像素时生成与光电转换电路100生成的电荷对应的APS像素信号。
模式切换电路300与光电转换单元连接,并用于根据模式切换控制信号将像素设定为APS像素或事件型传感器像素。事件信号读出电路400与光电转换单元连接,并用于在像素为事件型传感器像素时生成与光电转换电路100生成的电荷对应的事件型传感器信号。
信号控制处理器500与光电转换电路100、APS像素信号读出电路200、模式切换电路300和事件信号读出电路400均连接,信号控制处理器500用于发送模式切换控制信号至模式切换电路300,并根据APS像素信号生成第一图像,或根据事件型传感器信号生成第二图像。
本发明通过设置信号控制处理器500发送模式切换控制信号至模式切换电路300,模式切换电路300根据模式切换控制信号将像素设定为APS像素或事件型传感器像素,当设定像素为APS像素时,APS像素信号读出电路200生成与光电转换电路100生成的电荷对应的APS像素信号,当设定像素为事件型传感器像素时,事件信号读出电路400生成与光电转换电路100生成的电荷对应的事件型传感器信号,进而通过模式切换电路300的设置实现APS像素或事件型传感器像素之间的切换,实现在综合了APS像素和事件型传感器像素功能的同时,又极大减小传感器体积。
本实施例中,第一图像为灰度图像、RGB图像或其他。信号控制处理器500可以对灰度图像或RGB图像执行各种处理,如颜色插值、颜色校正、自动白平衡、伽马校正、色彩饱和度校正、格式化、坏像素校正和色度校正。
第二图像为事件图像。信号控制处理器500还可以对事件图像中相邻像素的时间戳值之间的时间相关性来校正或校准噪声像素、热像素或死像素的时间戳值。
在本发明的另一个实施例中,如图1-图2所示,模式切换电路300包括复位晶体管RT;复位晶体管RT的源极与光电转换电路100连接,复位晶体管RT的漏极连接一电源,该电源提供的电压经供电端VDD输出。
复位晶体管RT用于在像素为APS像素时,将浮置扩散节点的电压复位。复位晶体管RT还用于在像素为事件型传感器像素时,输出与由光电转换器件生成的电荷对应的光电流所对应的对数电压。
在本发明的另一个实施例中,如图1-图2所示,模式切换电路300还包括第一开关S1和第二开关S2。
第一开关S1和第二开关S2基于信号控制处理器500发出的模式切换控制信号控制而断开或闭合;当模式切换控制信号控制第一开关S1闭合,且第二开关S2断开时,此时,复位晶体管RT的漏极与第一开关S1连接,像素设定为APS像素;当模式切换控制信号控制第一开关S1断开,且第二开关S2闭合时,复位晶体管RT的栅极和漏极分别连接第二开关S2的两端,像素设定为事件型传感器像素。
在本发明的另一个实施例中,第一开关S1和第二开关S2单独设置于像素之外。
在本发明的另一个实施例中,如图1-图2所示,光电转换电路100包括光电转换器件PSD、传输晶体管TX和浮置扩散节点FD,光电转换器件PSD的源极接地,传输晶体管TX与光电转换器件PSD的漏极连接,浮置扩散节点FD还与APS像素信号读出电路200、复位晶体管RT和事件信号读出电路400均连接,传输晶体管TX用于将由光电转换器件PSD生成的电荷传输到浮置扩散节点FD。
当入射光照射光电转换器件PSD后,光电转换器件PSD响应于入射光生成光电子,也即电荷。也就是说,光电转换器件PSD可以将光信号转换为电信号以生成光电流IP。
本实施例中,光电转换器件可以为光电二极管、光电晶体管、钉扎光电二极管或其他类似元器件。
在本发明的另一个实施例中,如图1-图2所示,事件信号读出电路400包括第一驱动晶体管DT1和第一读出单元410,第一驱动晶体管DT1与浮置扩散节点FD连接,第一读出单元410与第一驱动晶体管DT1连接,第一读出单元410读出的信号传输至信号控制处理器500。
具体地,当模式切换控制信号控制第一开关S1断开,且第二开关S2闭合时,复位晶体管RT栅极和漏极通过第二开关S2短接,栅漏短接后,构成漏极到源极的漏源电流,复位晶体管RT的栅极和源极构成栅源电压,漏源电流和栅源电压是对数关系,此时像素设定为事件型传感器像素。
进一步地,在传输晶体管TX一直处于导通状态时,光电转换器件PSD生成的光电流经浮置扩散节点FD传输到被栅漏短接的复位晶体管RT,复位晶体管RT输出与光电流所对应的对数电压,而第一驱动晶体管DT1作为电压缓冲器将该对数电压传输至第一读出单元410。
第一读出单元410对经第一驱动晶体管DT1输出的对数电压进行处理,如与参考电压进行比较,以确定入射在光电转换器件PSD上的光强度增大或减小,并输出与确定结果对应的事件型传感器信号。
在第一读出单元410输出事件型传感器信号之后,信号控制处理器500通过发送一复位信号至复位晶体管RT,以导通复位晶体管RT,进而复位第一读出单元410。
在本发明的另一个实施例中,如图1-图2所示,APS像素信号读出电路200包括第二驱动晶体管DT2、选择晶体管ST和第二读出单元210,第二驱动晶体管DT2与浮置扩散节点FD连接,选择晶体管ST与第二驱动晶体管DT2连接,第二读出单元210与选择晶体管ST连接,第二读出单元210还与信号控制处理器500连接。
进一步地,当模式切换控制信号控制第一开关S1闭合,且控制第二开关S2断开时,此时像素设定为APS像素。
在传输晶体管TX的导通期间,从光电转换器件PSD提供的电荷累积在浮置扩散区域FD中,浮置扩散节点FD可以被复位到当复位晶体管RT导通时提供的电源电压,而第二驱动晶体管DT2则可以用作源极跟随器放大器,以实现对浮置扩散区域FD的电位的变化进行放大。
复位晶体管RT可以通过一复位信号复位,并且可以将电源电压提供给浮置扩散节点FD,在这种情况下,浮置扩散节点FD中累积的电荷可以移动到电源电压的端子,并且可以复位浮置扩散节点FD的电压,即可以用电源电压作为复位的电压,也可以单独提供复位电压来复位浮置扩散节点FD。
进一步地,选择晶体管ST可以由选择信号SEL驱动,并且可以以行为单位选择要读取的像素。当选择晶体管ST导通时,浮置扩散区域FD的电位通过第二驱动晶体管DT2放大,并且可以被传输到选择晶体管ST的漏极,进而实现通过第二驱动晶体管DT2将浮置扩散区域FD的电位输出,以使第二读出单元210读出信号,读出的信号为APS像素信号,信号控制处理器500根据该信号输出灰阶信号。
可以看出,本发明通过一个光电转换器件PSD以及通过对第一开关121或第二开关122的控制使复位晶体管RT的栅极与漏极短接或不短接,实现APS像素与事件型传感器像素之间的切换,实现有效减少元器件,并减小传感器整体尺寸和体积,同时降低噪声。
进一步地,在本发明另一个实施例中,像素工作在APS像素模式时,可以通过一列像素共享一个ADC,这样就可以通过选择晶体管ST以行为单位选择像素进行行扫描读出像素的灰阶信号;或者,也可以分成多个子像素阵列共享一个ADC,通过该ADC分时读出其子像素阵列中各像素的灰阶信号,从而根据各像素的灰阶信号输出灰阶图像。
在本发明的另一个实施例中,如图3所示,本发明还提供一种图像传感器控制方法,方法上述的模式可切换图像传感器进行,方法具体包括:
步骤S100:信号控制处理器500发送模式切换控制信号至模式切换控制电路;
其中,模式切换控制信号可以为两路信号分别发送至模式切换控制电路中的第一开关S1和第二开关S2,进而实现第一开关S1和第二开关S2的闭合与断开。
步骤S200:当模式切换电路300根据模式切换控制信号将像素设定为APS像素时,APS像素信号读出电路200生成与光电转换电路100生成的电荷对应的APS像素信号;
步骤S300:当模式切换电路300根据模式切换控制信号将像素设定为事件型传感器像素时,事件信号读出电路400生成与光电转换电路100生成的电荷对应的事件型传感器信号;
进一步地,通过模式切换电路300的设置,实现按需将像素设置为APS像素模式或事件型传感器像素模式,进而实现像素的切换设置,满足使用需求。
步骤S400:信号控制处理器500在获取APS像素信号时生成第一图像,或在获取事件型传感器信号生成第二图像。
在本发明的另一个实施例中,如图4所示,方法还包括:
步骤S510:当模式切换电路300根据模式切换控制信号将像素设定为APS像素时,信号控制处理器500控制事件信号读出电路400生成事件型传感器信号;
本步骤中,信号控制处理器500控制APS像素信号读出电路200不工作,并同时控制事件信号读出电路400生成事件型传感器信号,实现在APS像素模式下的事件型传感器信号的输出,这样可以有效减少数据量,且可以在环境较暗时也能输出事件的变化,并根据多个像素输出的事件信号可以输出事件图像。
步骤S520:当模式切换电路300根据模式切换控制信号将像素设定为事件型传感器像素时,信号控制处理器500控制APS像素信号读出电路200生成与光电转换电路100生成的电荷对应的APS像素信号。
本步骤中,在事件型传感器像素模式下,信号控制处理器500控制APS像素信号读出电路200生成APS像素信号,实现在事件型传感器像素模式下的APS像素信号的输出,此时信息量大,可以呈现更丰富的图像细节信息,且根据多个像素输出的APS像素信号可以输出灰度图像。
进而,当像素在线性模式下工作,也即设置为APS像素模式时,信号控制处理器500可以选择输出事件型传感器信号或APS像素信号。而在对数模式下工作,也即设置为事件型传感器像素模式时,信号控制处理器500同样可以选择输出事件型传感器信号或APS像素信号,使得本发明具有四种选择模式,实现不同的模式下再根据多个像素输出的输出事件型传感器信号输出事件图像或根据多个像素输出的APS像素信号输出灰度图像,以满足功耗和数据量处理的需求。
在本发明的另一个实施例中,如图5-图6所示,方法还包括:
步骤S610:基于信号控制处理器500控制第一预设数量的像素形成像素单元,其中,像素单元包括多个像素矩阵;
本步骤中,模式可切换图像传感器中的像素可以一部分像素工作在APS像素模式下,另一部分工作在事件型传感器像素模式下,每个像素之间独立工作。
像素单元中可以设置多个像素矩阵,不同的像素矩阵可以一部分像素矩阵工作在APS像素模式下,另一部分像素矩阵工作在事件型传感器像素模式下,每个像素矩阵之间独立工作,这样可以根据不同的矩阵同时输出APS图像和事件图像,即每次可以输出两张图像。
模式可切换图像传感器中的像素也可以按照不同的数量组成像素单元,本实施例中,第一预设数量具体可以为4。
步骤S620:基于信号控制处理器500设定像素单元中一个对边的像素矩阵为模式相同的像素,另一个对边的像素矩阵为相同或不相同。
本步骤中,如图5所示,当以四个像素为一个像素单元时,则一个像素矩阵内的像素数量为1,那么,设置像素单元中对边的像素矩阵为模式相同的像素,即为设置像素单元中对边的像素为模式相同的像素,图5中一个对边的A像素为相同模式的像素,另一个对边的像素D为相同模式的像素。这样设置,在对D像素进行插值时,可以利用周围的A像素值进行处理以提高图像分辨率。
图5中示例的像素单元标号为600。
在本发明的另一个实施例中,如图7所示,像素单元600还可以有其他排布,本实施例中,像素单元600包括四个像素矩阵,四个像素矩阵的数量分别为611、612、613和614。其中,像素矩阵611和像素矩阵614为一个对边的像素矩阵,像素矩阵612和像素矩阵613为另一个对边的像素矩阵。
进一步地,像素矩阵611和像素矩阵614内的像素均为A像素,标号相同意为模式相同,像素矩阵612和像素矩阵613内的像素均为D像素。也即像素单元中对边的像素矩阵内的像素为模式相同的像素。
更进一步地,本实施例中,像素矩阵611和像素矩阵614内的像素为APS像素模式,像素矩阵612和像素矩阵613内的像素均为事件型传感器像素模式,且每个像素矩阵之间独立工作,这样可以根据不同的矩阵同时输出APS图像和事件图像,即每次可以输出两张图像。
在本发明的另一个实施例中,如图8所示,本实施例中,像素矩阵的数量为四个,四个像素矩阵分别为像素矩阵621、像素矩阵622、像素矩阵623和像素矩阵624。其中,像素矩阵621和像素矩阵624为一个对边的像素矩阵,像素矩阵622和像素矩阵623为另一对边的像素矩阵。
本实施例中,像素矩阵621和像素矩阵624内的像素相同,像素矩阵622内的像素均为A像素,像素矩阵623内的像素均为D像素,像素矩阵622和像素矩阵623内的像素为不同模式的像素,也即像素单元中一个对边的像素矩阵内的像素为相同模式的像素,另一对边的像素矩阵内的像素为不同模式的像素。
具体地,像素矩阵621、像素矩阵623和像素矩阵624内的像素为事件型传感器像素模式,像素矩阵612和像素矩阵613内的像素均为APS像素模式,且每个像素矩阵之间独立工作,这样可以根据不同的矩阵同时输出APS图像和事件图像,也即,此时同样即可以每次输出两张图像。
进一步地,像素矩阵的设定不仅限于上述举例,像素矩阵还可以根据感兴趣区域设定,基于感兴趣区域设定像素矩阵后,实现同时输出两张图像。
其中,像素矩阵611、像素矩阵614、像素矩阵612、像素矩阵613、像素矩阵621、像素矩阵622、像素矩阵623和像素矩阵624内的像素数量均为四个。当然,像素矩阵内的数量可以按需设置其他数量,当像素矩阵内的数量为1个是,则像素矩阵为单个像素。
在本发明的另一个实施例中,如图9所示,方法还包括:
步骤S710:基于信号控制处理器500控制第二预设数量的像素形成第一像素区域;
步骤S720:基于信号控制处理器500控制第三预设数量的像素形成第二像素区域;
其中,第二预设数量和第三预设数量为预先设置,通过第二预设数量和第三预设数量的设置,实现不同大小的第一像素区域和第二像素区域。
第二预设数量和第三预设数量可以为相同数值或不同数值,也即第一像素区域和第二像素区域的区域大小可以相同或不相同。
步骤S730:基于信号控制处理器500设定第一像素区域中的像素均为APS像素并设定第二像素区域中的像素均为事件型传感器像素,或设定第一像素区域中的像素均为事件型传感器像素并设定第二像素区域中的像素均为APS像素;
本步骤中,通过设置实现第一像素区域和第二像素区域可以分别输出一种信号,如通过第一像素区域中的像素输出APS像素信号,而通过第二像素区域中像素输出事件型传感器信号。
步骤S740:根据信号控制处理器500控制在预设时间段内获取第一像素区域中和第二像素区域中输出的图像。
本步骤中,基于不同像素模式输出图像的时间不同,故通过预先设置预设时间段,实现在预设时间段内获取第一像素区域中和第二像素区域中输出的图像。进而较之只有APS像素模式时,实现更小的功率,而较之仅事件型传感器像素模式时,又具有更多的信息量,进而满足使用需求。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种模式可切换图像传感器,包括多个像素,每个像素均包括:
光电转换电路,用于生成与入射在像素上的入射光对应的电荷;
APS像素信号读出电路,与所述光电转换电路连接,并用于在所述像素为APS像素时生成与所述光电转换电路生成的电荷对应的APS像素信号;其特征在于,还包括:
模式切换电路,与所述光电转换单元连接,并用于根据模式切换控制信号将所述像素设定为APS像素或事件型传感器像素;
事件信号读出电路,与所述光电转换单元连接,并用于在所述像素为事件型传感器像素时生成与所述光电转换电路生成的电荷对应的事件型传感器信号;
信号控制处理器,与所述光电转换电路、APS像素信号读出电路、模式切换电路和所述事件信号读出电路均连接,所述信号控制处理器用于发送模式切换控制信号至所述模式切换电路,并根据APS像素信号生成第一图像,或根据事件型传感器信号生成第二图像。
2.根据权利要求1所述的模式可切换图像传感器,其特征在于,所述模式切换电路包括复位晶体管;所述复位晶体管的源极与所述光电转换电路连接,所述复位晶体管的漏极连接电源;在所述像素为APS像素时,所述复位晶体管将所述浮置扩散节点的电压复位;在所述像素为事件型传感器像素时,所述复位晶体管输出与由所述光电转换器件生成的电荷对应的光电流所对应的对数电压。
3.根据权利要求2所述的模式可切换图像传感器,其特征在于,所述模式切换电路还包括第一开关和第二开关;所述信号控制处理器控制所述第一开关和所述第二开关断开或闭合,以设定像素为APS像素或事件型传感器像素;当所述第一开关闭合,且所述第二开关断开时,所述复位晶体管的漏极与所述第一开关连接,所述像素设定为APS像素;当所述模式切换控制信号控制所述第一开关断开,且所述第二开关闭合时,所述复位晶体管的栅极和漏极分别连接所述第二开关的两端,所述像素设定为事件型传感器像素。
4.根据权利要求3所述的模式可切换图像传感器,其特征在于,所述光电转换电路包括光电转换器件、传输晶体管和浮置扩散节点,所述传输晶体管TX用于将由所述光电转换器件生成的电荷传输到浮置扩散节点,所述浮置扩散节点还与所述APS像素信号读出电路、所述复位晶体管和所述事件信号读出电路均连接。
5.根据权利要求4所述的模式可切换图像传感器,其特征在于,所述事件信号读出电路包括第一驱动晶体管和第一读出单元,所述第一驱动晶体管与所述浮置扩散节点连接,所述第一读出单元与所述第一驱动晶体管连接。
6.根据权利要求5所述的模式可切换图像传感器,其特征在于,所述APS像素信号读出电路包括第二驱动晶体管、选择晶体管和第二读出单元,所述第二驱动晶体管与浮置扩散节点连接,所述选择晶体管与所述第二驱动晶体管连接,所述第二读出单元与所述选择晶体管连接。
7.一种图像传感器控制方法,其特征在于,所述方法基于权利要求1-6任一项所述的模式可切换图像传感器进行,所述方法具体包括:
步骤S100:所述信号控制处理器发送模式切换控制信号至模式切换控制电路;
步骤S200:当所述模式切换电路根据模式切换控制信号将所述像素设定为APS像素时,所述APS像素信号读出电路生成与所述光电转换电路生成的电荷对应的APS像素信号;
步骤S300:当所述模式切换电路根据模式切换控制信号将所述像素设定为事件型传感器像素时,所述事件信号读出电路生成与所述光电转换电路生成的电荷对应的事件型传感器信号;
步骤S400:所述信号控制处理器在获取所述APS像素信号时生成第一图像,或在获取所述事件型传感器信号生成第二图像。
8.根据权利要求7所述的图像传感器控制方法,其特征在于,所述方法还包括:
步骤S510:当所述模式切换电路根据模式切换控制信号将所述像素设定为APS像素时,所述信号控制处理器控制所述事件信号读出电路生成事件型传感器信号;
步骤S520:当所述模式切换电路根据模式切换控制信号将所述像素设定为事件型传感器像素时,所述信号控制处理器控制所述APS像素信号读出电路生成与所述光电转换电路生成的电荷对应的APS像素信号。
9.根据权利要求7所述的图像传感器控制方法,其特征在于,所述方法还包括:
步骤S610:基于信号控制处理器500控制第一预设数量的像素形成像素单元,其中,像素单元包括多个像素矩阵;
步骤S620:基于信号控制处理器500设定像素单元中一个对边的像素矩阵为模式相同的像素,另一个对边的像素矩阵为相同或不相同。
10.根据权利要求7所述的图像传感器控制方法,其特征在于,所述方法还包括:
步骤S710:基于所述信号控制处理器控制第二预设数量的像素形成第一像素区域;
步骤S720:基于所述信号控制处理器控制第三预设数量的像素形成第二像素区域;
步骤S730:基于所述信号控制处理器设定所述第一像素区域中的像素均为APS像素并设定所述第二像素区域中的像素均为事件型传感器像素,或设定所述第一像素区域中的像素均为事件型传感器像素并设定所述第二像素区域中的像素均为APS像素;
步骤S740:根据所述信号控制处理器控制在预设时间段内获取所述第一像素区域中和所述第二像素区域中输出的图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111508452.7A CN114051108A (zh) | 2021-12-10 | 2021-12-10 | 一种模式可切换图像传感器及图像传感器控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111508452.7A CN114051108A (zh) | 2021-12-10 | 2021-12-10 | 一种模式可切换图像传感器及图像传感器控制方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114051108A true CN114051108A (zh) | 2022-02-15 |
Family
ID=80212858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111508452.7A Pending CN114051108A (zh) | 2021-12-10 | 2021-12-10 | 一种模式可切换图像传感器及图像传感器控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114051108A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422726A (zh) * | 2022-03-15 | 2022-04-29 | 深圳锐视智芯科技有限公司 | 一种图像传感器及其图像输出方法和应用 |
CN114422725A (zh) * | 2022-03-15 | 2022-04-29 | 深圳锐视智芯科技有限公司 | 一种图像输出方法、图像传感器及其应用 |
CN114882853A (zh) * | 2022-04-18 | 2022-08-09 | 深圳锐视智芯科技有限公司 | 曝光时间调整方法、装置、调节设备及存储介质 |
CN115988348B (zh) * | 2023-03-22 | 2023-06-09 | 深圳锐视智芯科技有限公司 | 一种图像传感器及其图像输出方法、光电设备 |
CN116528066A (zh) * | 2023-07-04 | 2023-08-01 | 深圳锐视智芯科技有限公司 | 一种图像传感器及其图像输出方法、光电设备 |
-
2021
- 2021-12-10 CN CN202111508452.7A patent/CN114051108A/zh active Pending
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114422726A (zh) * | 2022-03-15 | 2022-04-29 | 深圳锐视智芯科技有限公司 | 一种图像传感器及其图像输出方法和应用 |
CN114422725A (zh) * | 2022-03-15 | 2022-04-29 | 深圳锐视智芯科技有限公司 | 一种图像输出方法、图像传感器及其应用 |
CN114422725B (zh) * | 2022-03-15 | 2022-07-01 | 深圳锐视智芯科技有限公司 | 一种图像输出方法、图像传感器及其应用 |
CN114422726B (zh) * | 2022-03-15 | 2022-07-01 | 深圳锐视智芯科技有限公司 | 一种图像传感器及其图像输出方法和应用 |
WO2023173634A1 (zh) * | 2022-03-15 | 2023-09-21 | 深圳锐视智芯科技有限公司 | 一种图像输出方法、图像传感器及其应用 |
WO2023173635A1 (zh) * | 2022-03-15 | 2023-09-21 | 深圳锐视智芯科技有限公司 | 一种图像传感器及其图像输出方法和应用 |
US12069392B2 (en) | 2022-03-15 | 2024-08-20 | Shenzhen Ruishizhixin Technology Co., Ltd. | Image sensor, image output method and application thereof |
CN114882853A (zh) * | 2022-04-18 | 2022-08-09 | 深圳锐视智芯科技有限公司 | 曝光时间调整方法、装置、调节设备及存储介质 |
CN115988348B (zh) * | 2023-03-22 | 2023-06-09 | 深圳锐视智芯科技有限公司 | 一种图像传感器及其图像输出方法、光电设备 |
WO2024192883A1 (zh) * | 2023-03-22 | 2024-09-26 | 深圳锐视智芯科技有限公司 | 一种图像传感器及其图像输出方法、光电设备 |
CN116528066A (zh) * | 2023-07-04 | 2023-08-01 | 深圳锐视智芯科技有限公司 | 一种图像传感器及其图像输出方法、光电设备 |
CN116528066B (zh) * | 2023-07-04 | 2023-10-27 | 深圳锐视智芯科技有限公司 | 一种图像传感器及其图像输出方法、光电设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114051108A (zh) | 一种模式可切换图像传感器及图像传感器控制方法 | |
US10750097B2 (en) | Varying exposure time of pixels in photo sensor using motion prediction | |
US11743595B2 (en) | Method and apparatus providing pixel array having automatic light control pixels and image capture pixels | |
CN100502474C (zh) | 固态成像装置、驱动固态成像装置的方法和图像拾取设备 | |
US8355068B2 (en) | Solid-state image sensing device, analog-digital conversion method of solid-state image sensing device, and electronic apparatus | |
US20110001861A1 (en) | Solid-state imaging device | |
KR101495895B1 (ko) | 넓은 동적 범위를 갖는 광전 변환장치 및 광전 변환방법 | |
CN217656677U (zh) | 一种模式可切换图像传感器 | |
KR20200075962A (ko) | 피드백 루프를 통해 픽셀들의 각각의 변환 이득들을 결정하는 이미지 센서 | |
US20070159546A1 (en) | Wide dynamic range active pixel with knee response | |
CN103108142A (zh) | 固态成像装置 | |
US7443438B2 (en) | Solid-state image-sensing device with selectively grouped pixels | |
KR20130006137A (ko) | 이미지 센서 및 이를 포함하는 이미지 처리 장치 | |
CN113973184A (zh) | 图像传感器、摄像头组件、移动终端 | |
KR20230135501A (ko) | 이미지 센서 및 그 이미지 출력 방법과 응용 | |
JP2021044623A (ja) | 撮像装置及びその制御方法 | |
EP2385555B1 (en) | Solid-state imaging device | |
EP3445037B1 (en) | Varying exposure time of pixels in photo sensor using motion prediction | |
KR20180031288A (ko) | 이미지 센서 및 이를 포함하는 촬상 장치 | |
KR20220051240A (ko) | 이미지 캡쳐 방법, 카메라 어셈블리 및 모바일 터미널 | |
JP2003169252A (ja) | 半導体撮像素子 | |
JP7478201B2 (ja) | 画像センサ、カメラモジュール、モバイル端末及び画像収集方法 | |
EP1381223A1 (en) | Photo-sensitive element for electro-optical sensors | |
US20220279108A1 (en) | Image sensor and mobile terminal | |
US8115839B2 (en) | Image signal processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |