Nothing Special   »   [go: up one dir, main page]

CN115311697A - 用于图像处理电路的方法及其采样电路 - Google Patents

用于图像处理电路的方法及其采样电路 Download PDF

Info

Publication number
CN115311697A
CN115311697A CN202210331675.9A CN202210331675A CN115311697A CN 115311697 A CN115311697 A CN 115311697A CN 202210331675 A CN202210331675 A CN 202210331675A CN 115311697 A CN115311697 A CN 115311697A
Authority
CN
China
Prior art keywords
data
image
sampling
circuit
pixel data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210331675.9A
Other languages
English (en)
Inventor
黄郁湘
钟荣真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Novatek Microelectronics Corp
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Publication of CN115311697A publication Critical patent/CN115311697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1347Preprocessing; Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/36Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/94Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/13Sensors therefor
    • G06V40/1318Sensors therefor using electro-optical elements or layers, e.g. electroluminescent sensing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Nonlinear Science (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明公开了一种用于一图像处理电路的方法及其相关的采样电路,所述方法包括下列步骤:接收一指纹图像;对该指纹图像执行一低通滤波,以移除该指纹图像上的一摩尔纹信号,从而产生一滤波图像;以及对该滤波图像执行一数据分箱,以产生一输出图像。

Description

用于图像处理电路的方法及其采样电路
技术领域
本发明涉及一种图像处理方法及其采样电路,尤其涉及一种可用来处理指纹图像的图像处理方法及其相关的采样电路。
背景技术
近年来,光学式指纹识别已成为最常见的指纹识别方案之一,而显示屏通常与光学式指纹传感器整合,用以在面板上捕捉触碰手指的指纹图像。若指纹传感器的采样率接近或低于像素尺寸时,感测到的指纹图像可能出现失真,称为摩尔纹(Moiré)图案。若摩尔纹的间距接近于指纹的间距,可能造成摩尔纹信号被判读为用户的指纹进行注册,导致后续任何人的手指都容易被比对成功。
请参考图1,图1为整合在有机发光二极管(Organic Light-Emitting Diode,OLED)显示屏中的屏下指纹识别系统的示意图。系统中的有机发光二极管显示屏叠加在透镜上方,指纹传感器则设置在透镜下方。当指纹传感器接收到手指反射的指纹图像时,光线在到达指纹传感器之前需先穿透显示屏上的有机发光二极管像素阵列。换句话说,有机发光二极管像素阵列将干扰感测到的指纹图像,例如阻挡由手指反射的部分光线。在此情况下,若指纹传感器上的感测像素的分辨率不足(例如指纹传感器上的感测像素尺寸接近或大于有机发光二极管像素的尺寸),将导致指纹图像受到有机发光二极管像素的影响而产生摩尔纹,摩尔纹效应将导致指纹图像的质量及分辨率下降。图2示出了受到摩尔纹干扰的指纹图像示例,其图像上出现指纹以外的多余弧线。
现行解决摩尔纹问题的方式通常是通过旋转采样的角度,藉由角度的旋转可产生不同的采样空间频率,可避免或减缓干扰指纹的摩尔纹信号,然而,芯片的旋转大幅提高所占用的空间(即增加芯片尺寸),且难以针对各种不同的有机发光二极管显示屏结构来得到最优化的旋转角度。
因此,实有必要提出一种更有效的方法来解决摩尔纹问题,以在不提高芯片尺寸或降低指纹识别效率的情况下改善指纹图像的质量。
发明内容
因此,本发明的主要目的即在于提供一种可用于图像处理电路的方法及其相关的采样电路,用来处理指纹图像以解决摩尔纹的问题。
本发明的一实施例公开了一种用于一图像处理电路的方法,其包括下列步骤:接收一指纹图像;对该指纹图像执行一低通滤波,以移除该指纹图像上的一摩尔纹信号,从而产生一滤波图像;以及对该滤波图像执行一数据分箱,以产生一输出图像。
本发明的另一实施例公开了一种采样电路,用于一图像处理电路,用来接收一指纹图像。该采样电路包括多个采样电容及一读出电路。该多个采样电容包括至少一第一采样电容及至少一第二采样电容。该至少一第一采样电容通过一第一信道耦接于一第一像素,用来从该第一像素接收一第一像素数据;该至少一第二采样电容通过一第二信道耦接于该第一像素,用来从该第一像素接收该第一像素数据。该读出电路耦接于该多个采样电容,用来选择读出存储在该至少一第一采样电容的该第一像素数据以及存储在该至少一第二采样电容的该第一像素数据当中至少一者。
附图说明
图1为整合在有机发光二极管显示屏中的屏下指纹识别系统的示意图。
图2示出了受到摩尔纹干扰的指纹图像示例。
图3为本发明实施例一指纹感测系统的示意图。
图4为本发明实施例一图像处理流程的流程图。
图5为本发明实施例对指纹图像执行低通滤波及数据分箱的示意图。
图6示出了采样频率不足如何造成采样失真而产生摩尔纹。
图7示出了利用一低通滤波器来滤除摩尔纹信号的波形。
图8为一3×3高斯滤波器的示意图。
图9为本发明实施例实施于硬件电路的卷积运算的示意图。
图10为本发明实施例实施于硬件电路的数据分箱的示意图。
图11A及图11B为本发明实施例合并离散高斯滤波器及数据分箱操作的示意图。
图12为本发明实施例一采样电路的示意图。
图13A及图13B示出了采样电路运作以产生不同输出图像数据。
其中,附图标记说明如下:
30 指纹感测系统
300 指纹传感器
310 图像处理电路
320 主机装置
312 模拟前端电路
314 模拟数字转换器
316 数字控制电路
40 图像处理流程
400~406 步骤
A1~A9 输出数据
A11~A66 输入像素数据
B22~B55 滤波图像数据
C22、C24、C42、C44 输出图像数据
120 采样电路
1202 读出电路
D12、D14 中间数据
具体实施方式
请参考图3,图3为本发明实施例一指纹感测系统30的示意图。如图3所示,指纹感测系统30包括一指纹传感器300、一图像处理电路310及一主机装置320。指纹传感器300可包括一感测像素阵列以及行/列选择电路,选择电路可用来扫描感测像素,使得每一感测像素输出一像素数据,感测像素的像素数据可用来建立完整的指纹图像。
由感测像素阵列输出的像素数据可被图像处理电路310接收并处理,图像处理电路310包括一模拟前端(Analog Front-End,AFE)电路312、一模拟数字转换器(Analog-to-Digital Converter,ADC)314及一数字控制电路316。模拟前端电路312包括一采样电路及一放大电路。详细来说,采样电路可包括数个采样电容,用来采样并存储(保持)像素数据。放大电路可包括一或多个增益放大器,用来放大像素数据所携带的指纹信息。通过放大之后的像素数据可再传送至模拟数字转换器314,其可将模拟像素数据转换成数字形式。接着,数字图像数据再通过数字控制电路316进行数字信号处理,数字控制电路316所执行的数字信号处理可包括噪声消除、共模偏移补偿、滤波等,但不限于此。
图像处理电路310可通过一接口(如串行外设接口(Serial PeripheralInterface,SPI))耦接至主机装置320。当图像数据的信号处理完毕之后,图像处理电路310可将图像数据传送至主机装置320,主机装置320再将接收到的指纹图像与注册的指纹特征信息比对以进行指纹识别,并根据指纹识别结果来执行各种操作(如装置解锁)。主机装置320可以是一中央处理单元(Central Processing Unit,CPU)、单片机(MicrocontrollerUnit,MCU)、微处理器、应用处理器(Application Processor,AP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、或任何其它的处理装置。图像处理电路310可实现于一集成电路(Integrated Circuit,IC),在一实施例中,图像处理电路310可与指纹传感器300整合在一指纹感测集成电路中;在另一实施例中,指纹传感器300可整合在显示屏中,而图像处理电路310可实现于一集成电路并耦接于显示屏及指纹传感器300。
请参考图4,图4为本发明实施例一图像处理流程40的流程图。图像处理流程40可实现于一图像处理电路,如图3中的图像处理电路310。如图4所示,图像处理流程40包括下列步骤:
步骤400:以较高的分辨率捕捉一指纹图像。
步骤402:对指纹图像执行低通滤波以产生一滤波图像。
步骤404:对滤波图像执行数据分箱(Data Binning)以产生一输出图像。
步骤406:将输出图像传送至主机装置。
根据图像处理流程40,指纹图像可通过较高的分辨率接收。在一实施例中,指纹传感器300的感测区域中可包括更多感测像素,使得图像处理电路310可捕捉像素数据以建立具有更高分辨率(即更高采样频率)的指纹图像。在较高分辨率的采样之下,将不会产生可能干扰指纹图像的低频摩尔纹(Moiré)信号(摩尔纹被移到较高频率)。
为了滤除高频的摩尔纹信号或失真,图像处理电路310可对指纹图像执行低通滤波。接着,低通滤波后的滤波图像可通过数据分箱的方式合并,以产生输出图像。藉由数据分箱,滤波图像上的数个图像数据可彼此结合而成为一个图像数据。图像处理电路310再将分箱后的输出图像传送至主机装置320(如通过串行外设接口),以进一步进行指纹比对和识别。通过数据分箱的方式使得图像处理电路310无须输出过多的数据量至主机装置320,因此,所需要的传输时间可控制在良好的程度。通过低通滤波及数据分箱的操作,可在不旋转芯片的情况下有效消除指纹图像上的摩尔纹干扰。
在现有技术中,一般是通过旋转采样角度来解决摩尔纹问题,但难以针对不同显示屏结构来得到最优化的旋转角度。针对不同类型的显示屏而言,所需的旋转角度不同,而最优化的旋转角度需在大量的测试或验证之后才能够取得。相较之下,本发明可利用较高的分辨率来采样指纹图像以解决摩尔纹问题,执行低通滤波以滤除高频摩尔纹信号,接着再执行数据分箱以回复原始的输出数据量。在此情况下,移除摩尔纹的方式无关于旋转角度,即摩尔纹可在不旋转采样角度的情况下有效移除。
在一实施例中,低通滤波及数据分箱可在数字控制电路316中执行。更明确来说,当图像处理电路310接收指纹图像时,可通过模拟前端电路312对图像数据进行采样并放大,接着由模拟数字转换器314进行模拟对数字转换,以产生数字形式的相应指纹图像数据,并将其存储在帧缓冲器或线缓冲器。接着,数字控制电路316可对指纹图像数据执行低通滤波,滤波后的图像数据可在数字控制电路316中进一步通过数据分箱的方式合并。
请参考图5,图5为本发明实施例对指纹图像执行低通滤波及数据分箱的示意图。如图5所示,假设欲输出图像的像素数据分辨率为200×200,为实现较高分辨率,可将指纹传感器300的像素阵列设置为具有400×400个感测像素,以在水平方向及垂直方向上均实现双倍分辨率。换句话说,像素在水平方向的间距以及垂直方向的间距均除以2。
因此,若一感测区域原先包括200×200个像素且用来输出200×200个像素数据,本发明可在相同的感测区域设置400×400个像素,并对应取得400×400个像素数据。执行低通滤波操作不改变数据量,而通过数据分箱可将400×400个像素数据还原为200×200个输出数据。在此例中,进行低通滤波之后的每相邻2×2个像素数据可互相结合以产生输出图像中的一输出图像数据。
图6示出了采样频率不足如何造成采样失真而产生摩尔纹。左图以空间频率的形式示出指纹传感器的采样;右图示出采样信号的频谱分析。假设具有多个感测像素的指纹传感器重叠在由多个有机发光二极管(Organic Light-Emitting Diode,OLED)像素组成的有机发光二极管显示屏上,当感测像素的间距接近或大于有机发光二极管像素的间距时,可能在采样过程中发生混叠效应(Aliasing Effect)而产生一失真信号。如图6所示,假设采样频率(即感测像素的空间频率)为1/40.1lp/μm(每微米的线对数),由有机发光二极管像素形成的空间频率为1/44lp/μm,采样时会产生频率为1/452lp/μm的假信号(即摩尔纹信号),由于指纹信号的频率通常落在0~5lp/mm(每毫米的线对数)之间,表示上述摩尔纹信号与指纹信号的频率重叠而无法滤除,从而干扰指纹识别的运作。
根据本发明的实施例,可加倍采样频率以实现分辨率1/20.05lp/um。在此情况下,通过采样而产生的摩尔纹信号频率约为1/37lp/um,明显不同于指纹频率(0~5lp/mm)。摩尔纹信号可通过一低通滤波器进行滤除,同时保留低频的指纹信号,如图7所示。也就是说,当采样频率加倍时,所取得的信号仍然包括假信号,但此假信号不影响指纹信号,即假信号可由低通滤波器滤除。接着,可再执行数据分箱以降低输出数据量,从而避免较高分辨率所造成的过多输出数据。由于假信号已被滤除,可避免最终输出的指纹图像受到摩尔纹干扰。
在一优选实施例中,可采用一离散高斯滤波器(Discrete Gaussian Filter)来执行低通滤波。离散高斯滤波器不需要复杂的运算,仅需通过简易的数字逻辑电路即可实现,因此,离散高斯滤波器可实现于硬件电路,不需要额外的处理器或复杂的计算模块。换句话说,离散高斯滤波器可轻易地实现于图像处理电路310,无须主机装置320或任何其它处理器模块的介入。
请参考图8,图8为一3×3高斯滤波器的示意图,其为最简易的高斯滤波器。如图8所示,高斯滤波器可利用具有高斯分布数值的3×3矩阵,对相邻的3×3个像素数据作卷积运算(Convolution)。以像素A33为例,可根据相邻9个像素数据来产生滤波后的像素A33的数据值,相应于该些相邻的像素数据可产生多个系数,并且通过具有相应系数的一卷积运算矩阵,对9个像素数据执行卷积运算,以产生滤波图像数据。
详细来说,在卷积运算中,像素的数据值A22、A23、A24、A32、A33、A34、A42、A43及A44分别乘上相应的系数1、2、1、2、4、2、1、2及1,并且对相乘结果进行加总。根据高斯滤波器,位于中心点的像素具有最大权重(即最高系数),而像素权重随着像素与中心的距离增加而下降,从而对相邻像素的数值进行平均。通过这样的方式来计算每一像素的数值,即可实现低通滤波的效果。
在一实施例中,可将加总结果除以总权重16以取得像素的新数据值A33。或者,也可将加总结果作为输出数据,传送至后端电路进行处理。
以下段落说明离散高斯滤波器如何实作在硬件电路中,例如包含在图像处理电路310中。请参见图9搭配图8所示,卷积运算包括乘法和加法运算。在图像处理电路310的硬件电路中,加法运算可利用简易的逻辑电路所构成的加法器来实现,加法器是数字电路(如图3中图像处理电路310的数字控制电路316)中常见的组件。乘法运算可藉由对像素数据中的数据位进行移位来实现,例如,将数据值向较高位移位一阶并且在最低位补一个“0”相当于乘以2,将数据值向较高位移位两阶并且在最低位补两个“0”相当于乘以4。在一实施例中,在搬运数据的过程中,可将数据移动到对应于不同位的缓冲器或寄存器,即可轻易实现数据的移位。除此之外,加总的数据(图9中的新A33)再除以总权重16,此除法运算也可藉由将数据值向较低位移位4阶来实现。
通过低通滤波处理之后的数据可通过数据分箱的方式进一步合并,同样地,数据分箱也可藉由简易的硬件电路实现。如图10所示,由于每相邻2×2个图像数据需还原成1个输出数据,可通过简易的逻辑电路所构成的加法器来对相邻像素数据相加。在此例中,6×6个图像数据合并而产生3×3个输出数据A1~A9,例如,输出数据A1是像素的图像数据A11、A12、A13及A14的总和,其可通过图像处理电路中的加法器进行加总。
在上述实施例中,指纹图像数据是通过图像处理电路执行低通滤波及数据分箱以产生欲传送至主机装置的输出数据。在另一实施例中,低通滤波及数据分箱的操作可互相结合,也就是说,数字高斯滤波器及数据分箱的系数可彼此合并,以简化运算并节省运算资源。
请参考图11A及图11B,图11A及图11B为本发明实施例合并离散高斯滤波器及数据分箱操作的示意图。如图11A所示,来自于指纹传感器的输入像素数据A11~A66可通过3×3高斯滤波器而产生具有适当系数的滤波图像数据B22~B55。滤波图像数据B22~B55再通过数据分箱的方式合并而产生输出图像数据C22、C24、C42及C44,其中,每2×2个相邻的滤波图像数据合并为1个输出图像数据。也就是说,每一滤波图像数据的系数为1/4,而输出图像数据为4个相邻滤波图像数据的平均。因此,每一输出图像数据C22、C24、C42及C44可根据输入像素数据A11~A66搭配由高斯滤波器及数据分箱合并而决定的系数计算而得。举例来说,如图11A所示,输出图像数据C22可搭配适当系数,由输入像素数据A11~A44来表示。
输出图像数据C22中关于输入像素数据A11~A44的系数可进一步整理,如图11B所示。更明确来说,基于高斯滤波器及数据分箱的合并,每一输出图像数据可由一4×4像素阵列的像素数据乘以下列系数而得:
Figure BDA0003575283400000091
而这些系数可重新布置如下:
Figure BDA0003575283400000101
通过这样的方式,高斯滤波器及数据分箱的合并可形成一第一维度的一第一空间滤波以及一第二维度的一第二空间滤波,其中,第一空间滤波具有系数1/4、3/4、3/4及1/4,其分别用于沿着第一方向(如水平方向)的4个连续像素数据,而第二空间滤波具有系数1/16、3/16、3/16及1/16,其分别用于沿着第二方向(如垂直方向)的4个连续像素数据。
举例来说,位于第一行的输入像素数据A11、A12、A13及A14可通过系数1/4、3/4、3/4及1/4合并(即第一空间滤波)以产生一中间数据D12,即:
Figure BDA0003575283400000102
通过类似的方式,对应于第二行至第四行的中间数据D22、D32及D42可取得如下:
Figure BDA0003575283400000103
Figure BDA0003575283400000104
Figure BDA0003575283400000105
接着,输出图像数据C22可藉由对中间数据D12、D22、D32及D42执行第二空间滤波来取得,如下所示:
Figure BDA0003575283400000106
以上系数的重新布置使得运算可通过模拟前端电路312中的采样电路来执行,从而降低所需的采样次数。请参考图12,图12为本发明实施例一采样电路120的示意图。如图12所示,采样电路120包括多个采样电容及一读出电路1202。读出电路1202的输出端还耦接于一模拟数字转换器,其未包含在采样电路120中,但示于图12以方便说明。模拟数字转换器可通过一放大电路耦接至采样电路120,且/或读出电路1202可视为放大电路中的组件。
采样电路120可从多个感测像素接收像素数据,图12示出了从6个不同像素接收的6个像素数据A11~A16,其中每一感测像素耦接于4个采样电容,用来从相应的感测像素接收像素数据。采样电容的布置方式为,1个采样电容视为一群组以通过一第一信道耦接至感测像素,3个采样电容视为一群组以通过一第二信道耦接至感测像素。在此例中,每一采样电容都具有相同的电容值C,因此,第一信道上的电容的总电容值为1C,而第二信道上的电容的总电容值为3C。此外,读出电路1202还包括一读出电容,其电容值可以是4C。
如上所述,高斯滤波及数据分箱的合并可形成第一维度中具有系数1/4、3/4、3/4及1/4的第一空间滤波以及第二维度中具有系数1/16、3/16、3/16及1/16的第二空间滤波。在一实施例中,第一空间滤波可通过采样电路实现,因此采样电容可根据第一空间滤波的系数来进行分配。更明确来说,如图12所示,采样电容布置为第一信道具有电容值1C且第二信道具有电容值3C,以通过相应的系数1/4及3/4来计算输出图像数据。
在此情形下,由于输出图像数据C22是来自于中间数据D12、D22、D32及D42,其中,中间数据D12是由输入像素数据A11、A12、A13及A14分别乘上系数1/4、3/4、3/4及1/4而产生,因此,读出电路1202可通过电容值为1C的第一信道读取输入像素数据A11,通过电容值为3C的第二信道读取输入像素数据A12,通过电容值为3C的第二信道读取输入像素数据A13,并通过电容值为1C的第一信道读取输入像素数据A14,如图13A所示。该些系数可藉由读出电路1202所包括的相应信道上的采样电容(1C或3C)搭配读出电容(4C)来适当地实现。通过同样的方式,也可利用其它的输入像素数据A22~A44来分别产生中间数据D22、D32及D42。
同样地,也可利用中间数据D14、D24、D34及D44来产生输出图像数据C24,其中,中间数据D14是由输入像素数据A13、A14、A15及A16分别乘上系数1/4、3/4、3/4及1/4而产生。在此情况下,读出电路1202可通过电容值为1C的第一信道读取输入像素数据A13,通过电容值为3C的第二信道读取输入像素数据A14,通过电容值为3C的第二信道读取输入像素数据A15,并通过电容值为1C的第一信道读取输入像素数据A16,如图13B所示。通过同样的方式,也可利用其它的输入像素数据A23~A46来分别产生中间数据D24、D34及D44。
如此一来,采样电容可适当地进行布置(例如两信道分别布置1C及3C电容值),以实现基于高斯滤波及数据分箱合并而决定的系数(如系数1/4及3/4)。
值得注意的是,如图13A及图13B所示,在关于曝光时间的一次采样操作中,每一输入像素数据A11~A16可由第一信道上的电容(1C)接收并存储,同时由第二信道上的电容(3C)接收并存储。接着,读出电路1202可从其中一信道上的电容读出输入像素数据,用以产生一输出图像数据,并从另一信道上的电容读出相同的输入像素数据,用以产生另一输出图像数据。如此一来,可将同一次采样操作用于不同的输出图像数据,从而节省所需的采样次数。需注意的是,当一信道的采样结果被读出以用于一第一输出图像数据之后,由于电容中存储的电荷已用尽,该采样结果将无法再用于一第二输出图像数据,然而另一信道的采样结果仍可用于第二输出图像数据。举例来说,对于输出图像数据C22而言,对应于输入像素数据A13的系数为3/4,因此第二信道中的电容(3C)的数据可被读出;对于输出图像数据C24而言,对应于相同输入像素数据A13的系数为1/4,因此第一信道中的电容(1C)的数据仍可被读出。
因此,上述实施方式可降低所需的采样次数,从而降低采样操作产生的功耗。再者,由于信号处理的部分系数可在采样电路中实现,因此也可减少数字控制电路中的运算量。此外,若一模拟数字转换器用来接收从不同感测像素采样而得的一系列图像数据,由于采样次数的下降,模拟数字转换器的操作速度也可获得提升。可替换地或额外地,也可节省图像处理电路中使用的模拟数字转换器数量。
如上所述,高斯滤波器及数据分箱的合并可形成第一维度的第一空间滤波以及第二维度的第二空间滤波。图13A及图13B示出了第一空间滤波的系数通过采样电容的布置来实现。此外,第二空间滤波可在图像处理电路的数字控制电路中执行。更明确来说,读出电路中取得的中间数据(如D12及D14)可进一步输出至模拟数字转换器以转换为数字形式。数字控制电路中的逻辑电路再根据中间数据来计算输出图像数据,相关的运算包括加法、乘法及除法运算,其可通过硬件电路(如数字控制电路)中的加法器或数据位移位来实现,如上述段落的说明。
值得注意的是,本发明的目的在于提供一种可用于图像处理电路的方法及其相关的采样电路,以有效移除指纹图像中产生的摩尔纹。本领域技术人员当可据此进行修饰或变化,而不限于此。举例来说,上述实施例中采用的采样电容布置方式仅为本发明众多实施方式的其中一种;在另一实施例中,电容值3C也可通过具有三倍电容值的一个较大电容来实现。此外,由于采样电容是根据高斯滤波器及数据分箱合并产生的系数来进行分配,电容值的布置方式以及用来产生输出图像数据的选择方式也须据此设定。举例来说,若数据分箱要求每3×3个图像数据合并而产生一输出数据,整体系数也应对应重新计算,因此采样电容的布置方式及/或其控制方法也应据此进行调整。
更明确来说,若3×3数据分箱与3×3高斯滤波器结合,则计算出的第一空间滤波的系数为1/12、3/12、4/12、3/12及1/12,其分别用于5个连续的像素数据,如A11~A15。在此情况下,仍可将采样电容布置为第一信道具有电容值1C而第二信道具有电容值3C,读出电路可通过第一信道读取输入像素数据A11,通过第二信道读取输入像素数据A12,同时通过第一及第二信道读取输入像素数据A13,通过第二信道读取输入像素数据A14,以及通过第一信道读取输入像素数据A15。本领域技术人员可依据类似的方式来轻易实现相关系数的计算,在此不详述。
除此之外,在上述实施例中,读出电路中设置有电容值为4C的读出电容,用来实现1/4的倍率。在另一实施例中,也可采用不同电容值的读出电容来取代,在此情况下,可在数字域中再将1/4的倍率加入图像信号,或是图像处理电路的输出图像数据可具有较大的数值而不除以4。需注意的是,指纹信息携带在图像中纹脊对纹谷的差异,因此同一个指纹图像中的数据可依相同比例进行放大或缩小,不影响指纹识别效果。
另外,上述实施例是利用3×3高斯滤波器来滤除高频的摩尔纹信号;在另一实施例中,也可采用5×5、7×7、11×11或其它高斯滤波器,较高阶的高斯滤波器能够更有效滤除摩尔纹信号,但其伴随的是更复杂的运算。
综上所述,本发明提供了一种图像处理方法及其相关的采样电路,用来有效移除指纹图像中产生的摩尔纹。在本发明的实施例中,可设置感测像素以通过较高分辨率接收指纹图像,以将指纹图像上的摩尔纹信号推向较高频率。低通滤波器可搭配数据分箱对指纹图像数据进行处理,其中,低通滤波器可滤除高频摩尔纹信号,数据分箱技术则用来降低数据量,以回复因较高采样分辨率而增加的数据量。在一实施例中,低通滤波器可通过一离散高斯滤波器来实现,离散高斯滤波器搭配数据分箱可利用简易的硬件电路来实现,而无须使用复杂的运算模块或处理器,因此,低通滤波及数据分箱的运作可实作在一图像处理集成电路中。在另一实施例中,低通滤波及数据分箱的运作可合并而形成第一维度的第一空间滤波以及第二维度的第二空间滤波,其中,用于计算低通滤波及数据分箱的系数可互相合并,合并后的系数可实作在模拟前端电路中的采样电路,其中,可在多个信道上布置具有适当电容值的采样电容,以实现输出图像数据中的系数。如此一来,可减少所需的采样次数及运算量,从而降低硬件成本及功耗。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种用于一图像处理电路的方法,包括:
接收一指纹图像;
对该指纹图像执行一低通滤波,以移除该指纹图像上的一摩尔纹信号,从而产生一滤波图像;以及
对该滤波图像执行一数据分箱,以产生一输出图像。
2.如权利要求1所述的方法,其特征在于,该低通滤波是通过一离散高斯滤波器执行。
3.如权利要求2所述的方法,其特征在于,该指纹图像包括多个像素数据,
且对该指纹图像执行该低通滤波,以移除该指纹图像上的该摩尔纹信号,从而产生该滤波图像的步骤包括:
产生对应于该离散高斯滤波器的多个系数;以及
通过该多个系数对该多个像素数据中的一像素数据阵列执行一卷积运算,以产生该滤波图像中的一滤波图像数据。
4.如权利要求3所述的方法,其特征在于,该卷积运算包括一加法运算及一乘法运算,其中,该加法运算是利用该图像处理电路的一加法器执行,该乘法运算是通过对该多个像素数据中的一像素数据的至少一位进行移位来执行。
5.如权利要求1所述的方法,其特征在于,对该滤波图像执行该数据分箱以产生该输出图像的步骤包括:
结合该滤波图像中的多个滤波图像数据以产生该输出图像中的一输出图像数据。
6.一种采样电路,用于一图像处理电路,用来接收一指纹图像,该采样电路包括:
多个采样电容,包括:
至少一第一采样电容,通过一第一信道耦接于一第一像素,用来从该第一像素接收一第一像素数据;以及
至少一第二采样电容,通过一第二信道耦接于该第一像素,用来从该第一像素接收该第一像素数据;以及
一读出电路,耦接于该多个采样电容,用来选择读出存储在该至少一第一采样电容的该第一像素数据以及存储在该至少一第二采样电容的该第一像素数据当中至少一者。
7.如权利要求6所述的采样电路,其特征在于,该至少一第一采样电容的总电容值不同于该至少一第二采样电容的总电容值。
8.如权利要求6所述的采样电路,其特征在于,该读出电路用来从该至少一第一采样电容读出该第一像素数据以产生一第一输出图像数据,并从该至少一第二采样电容读出该第一像素数据以产生一第二输出图像数据。
9.如权利要求6所述的采样电路,其特征在于,该读出电路根据对该指纹图像执行的一低通滤波及一数据分箱来决定的一系数,选择读出该第一像素数据。
10.如权利要求9所述的采样电路,其特征在于,该低通滤波及该数据分箱合并而形成一第一维度的一第一空间滤波以及一第二维度的一第二空间滤波,其中,该至少一第一采样电容及该至少一第二采样电容是根据该第一空间滤波的系数来进行布置。
11.如权利要求10所述的采样电路,其特征在于,该第二空间滤波是在该图像处理电路的一数字控制电路中执行。
CN202210331675.9A 2021-05-06 2022-03-31 用于图像处理电路的方法及其采样电路 Pending CN115311697A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163184806P 2021-05-06 2021-05-06
US63/184,806 2021-05-06
US17/577,382 US11810391B2 (en) 2021-05-06 2022-01-18 Method for image processing circuit and related sampling circuit
US17/577,382 2022-01-18

Publications (1)

Publication Number Publication Date
CN115311697A true CN115311697A (zh) 2022-11-08

Family

ID=83855619

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210331675.9A Pending CN115311697A (zh) 2021-05-06 2022-03-31 用于图像处理电路的方法及其采样电路

Country Status (3)

Country Link
US (1) US11810391B2 (zh)
CN (1) CN115311697A (zh)
TW (1) TWI800283B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11790690B1 (en) 2022-11-21 2023-10-17 Novatek Microelectronics Corp. Fingerprint recognition device, fingerprint recognition method and method of generating moire pattern image

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019074423A1 (en) * 2017-10-13 2019-04-18 Fingerprint Cards Ab METHOD AND SYSTEM FOR ENHANCING DIGITAL FOOTPRINT IMAGE
CN209496381U (zh) 2019-01-22 2019-10-15 深圳市汇顶科技股份有限公司 光学指纹识别模组和终端设备
CN110599388B (zh) * 2019-08-26 2021-10-15 华中科技大学 一种基于定位点辅助的盲鲁棒数字水印嵌入和检测方法
CN111788575B (zh) * 2020-02-25 2021-12-31 深圳市汇顶科技股份有限公司 指纹识别装置和电子设备
CN111652194A (zh) * 2020-03-30 2020-09-11 神盾股份有限公司 具有互相适配的指纹传感器及高解析度显示器的电子装置
CN111881873B (zh) 2020-08-04 2024-04-30 深圳市汇顶科技股份有限公司 指纹识别装置和电子设备
CN113191935B (zh) * 2021-04-30 2024-07-02 华中科技大学 一种用于高斯金字塔构建的可重构硬件加速方法与系统

Also Published As

Publication number Publication date
TWI800283B (zh) 2023-04-21
TW202244757A (zh) 2022-11-16
US11810391B2 (en) 2023-11-07
US20220358783A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
JP4230967B2 (ja) 撮像装置、撮像装置の制御方法、cmosイメージセンサ
US9392236B2 (en) Image processing method, image signal processor, and image processing system including the same
US20120268397A1 (en) Touch screen controller using differential signal processing
JP4985584B2 (ja) 撮像装置及び映像信号処理方法
US20050249417A1 (en) Edge detecting method
CN103873740B (zh) 图像处理装置及信息处理方法
JP2014179939A (ja) 信号処理装置および信号処理方法
WO2020132914A1 (zh) 指纹识别模块、电子设备和芯片
CN115311697A (zh) 用于图像处理电路的方法及其采样电路
US10681290B1 (en) Method, image sensor, and image processing device for crosstalk noise reduction
JP2007335991A (ja) 信号処理回路
JP5302511B2 (ja) 2波長赤外線画像処理装置
KR100801655B1 (ko) 디지털 화소 센서 리드아웃에서의 화소 재배열 회로 및 방법
CN109690565B (zh) 指纹信号处理电路、电子设备和指纹信号处理方法
WO1997043730A1 (en) Alignment method and apparatus for retrieving information from a two-dimensional data array
US20050018060A1 (en) On-chip image processing
JP5761979B2 (ja) ノイズ除去システムおよび撮像装置
US20240273781A1 (en) Electronic device and method of image processing
US20240089595A1 (en) Image sensor, image processing system, and operating method of the image processing system
US12008789B2 (en) Image sensing device and method of operating the same
US11736815B2 (en) Interferer removal for reducing impact of periodic interference signals on analog video transmission
JP3486781B2 (ja) 画像処理装置及びカラービデオカメラ
JPWO2018168458A1 (ja) 撮像装置
WO2022027155A1 (en) Device and method for fingerprint sensing
KR100801057B1 (ko) 컬러 보정 블럭을 구비하는 cmos 이미지 센서 및 그이미지 센싱 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination