CN109472078B - 一种基于2×2像素子阵列的3d图像传感器缺陷检测修复方法 - Google Patents

Abstract

本发明公开了一种基于2×2像素子阵列的3D图像传感器缺陷检测修复方法，所述方法采用4×4操作窗口，所述窗口中的中心4个像素为待检测像素，周围12个像素为辅助修复的外围像素，对窗口中每个像素位置进行编号；该窗口以从左到右，从上到下的顺序每次按一个像素单位进行移位，重复进行检测与修复操作；在每次窗口操作中，利用外围像素对4个待检测像素进行整体的状态判断和修复。本算法利用4*4的操作窗口，可以实现对2*2的缺陷像素块整体的检测和修复，有效避免了传统修正方式中“用缺陷修正缺陷”的情况，增强了对2*2缺陷块的修复效果。

Description

一种基于2×2像素子阵列的3D图像传感器缺陷检测修复方法

技术领域

本发明涉及模拟集成电路设计领域、3D堆叠容错结构图像传感器和图像修正方法，特别涉及一种低成本的、高效的、具有鲁棒性的缺陷像素检测修复方法。

背景技术

3D堆叠容错结构图像传感器使用微凸块和硅通孔(Through Silicon Vias，TSV)技术实现各芯片层的垂直互连。通常像素阵列以2×2(或其他尺寸)的像素子阵列的形式分块，每个像素子阵列通过微凸块和信号线连接到下层不同的模数转换器ADC上，每个模数转换器ADC再经由各自的TSV通路连接到图像处理模块(Image Signal Processor,ISP)中。若信号传输通路上的信号线、微凸块、ADC或TSV出现故障，输出图像的缺项像素呈现2×2的像素块分布。传统的缺陷修正方法针对的是一个像素的缺陷，在这种情况下会产生“用缺陷修复缺陷”的问题，造成修正效果不理想。因此，研制一种能够有效地修正2×2缺陷块的缺陷检测修复方法显得尤为重要。

发明内容

本发明提出一种基于2×2像素子阵列的3D图像传感器缺陷检测修复方法，能够在图像处理模块中有效地检测出连接通路上由微凸块、TSV等故障造成的缺陷像素，且利用邻近像素进行像素修复操作，以一种低成本的方式有针对性地在故障存在的情况下得到质量较高的输出图像。

为实现本发明的目的，本发明提供了一种基于2×2像素子阵列的3D图像传感器缺陷检测修复方法，所述方法采用4×4操作窗口，所述窗口中的中心4个像素为待检测像素，周围12个像素为辅助修复的外围像素，对窗口中每个像素位置进行编号；该窗口以从左到右，从上到下的顺序每次按一个像素单位进行移位，重复进行检测与修复操作；在每次窗口操作中，利用外围像素对4个待检测像素进行整体的状态判断和修复。

与现有技术相比，本发明的有益效果为，本算法利用4*4的操作窗口，可以实现对2*2的缺陷像素块整体的检测和修复，有效避免了传统修正方式中“用缺陷修正缺陷”的情况，增强了对2*2缺陷块的修复效果。当3D堆叠容错结构图像传感器存在故障而丢失相应像素信息时，利用该算法仍能传输出质量合格的图像，减少了维护传感器的成本。

附图说明

图1本申请实施例基于2×2像素子阵列的缺陷检测修复方法的4×4操作窗口示意图；

图2本申请实施例热点像素检测流程图；

图3本申请实施例热点像素修复流程图；

图4本申请实施例各方向滤波矩阵；

图4中，(1)横向滤波器Fh；(2)纵向滤波器Fv；(3)45°滤波器F45；(4)135°滤波器F135。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

应当说明的是，本申请中所述的“连接”和用于表达“连接”的词语，如“相连接”、“相连”等，既包括某一部件与另一部件直接连接，也包括某一部件通过其他部件与另一部件相连接。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用属于“包含”和/或“包括”时，其指明存在特征、步骤、操作、部件或者模块、组件和/或它们的组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个部件或者模块或特征与其他部件或者模块或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了部件或者模块在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的部件或者模块被倒置，则描述为“在其他部件或者模块或构造上方”或“在其他部件或者模块或构造之上”的部件或者模块之后将被定位为“在其他部件或者模块或构造下方”或“在其他部件或者模块或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该部件或者模块也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

在2×2像素单元子阵列，相邻子阵列连接到不同ADC的3D容错读出架构中(以连续三个像素子阵列分别连接到三个行ADC上，每隔两个像素子阵列连接到同一ADC为例)，若信号传输路径上任意部分失效，造成像素阵列信号丢失，都会导致读出图像质量严重受损。由于TSV工艺水平的限制，这种图像传感器的成品率仍未达到预期，容易在读出图像上产生2×2的缺陷像素阵列。本发明提出一种基于2×2像素子阵列的缺陷检测与修复算法，可以在图像处理模块中有效地检测出连接通路上由微凸块、TSV等故障造成的缺陷像素，利用邻近像素进行像素修复操作，以一种低成本的方式有针对性地在故障存在的情况下得到质量较高的输出图像。

本发明提出的一种基于2×2像素子阵列的3D图像传感器缺陷检测修复方法，采用4×4操作窗口，如图1所示，所述中心4个像素(黑色)为待检测像素，周围12个像素(白色)为辅助修复的外围像素，对窗口中每个像素位置进行编号。该窗口以从左到右，从上到下的顺序每次按一个像素单位进行移位，重复进行检测与修复操作。在每次窗口操作中，利用外围像素对4个待检测像素进行整体的状态判断和修复，可以有针对性地实现对2×2缺陷块的有效修正。

缺陷像素可以分为热点像素和冷点像素。热点像素比图像的平均水平要亮，冷点像素比图像的平均水平要暗。以热点像素为例的检测流程如图2所示。对待检测像素进行判断，如果四个像素均满足下述条件，那么操作窗口中的待检测像素被认为是故障造成的缺陷像素。

1、在4×4的操作窗口中，被检测像素与外围像素有显著差异。具体表现为：

热点像素：

I(i,j)＞(1+M₁)*I_avg(i,j)(1)

冷点像素：

I(i,j)＜(1-M₁)*I_avg(i,j)(2)

2、在4*4的窗口中，热点像素的局部亮度差比窗口中最小的局部亮度差大得多，冷点像素的局部亮度差相应的比窗口中最大的局部亮度差小得多。具体表现为：

热点像素:

冷点像素：

其中，I(i,j)表示输入原始图像I在位置(i,j)处的像素值，i的范围为[1,2,…,H]，j的范围为[1,2,…,W],其中H和W分别表示图像I的高度和宽度，I(i,j)的范围为[0.0,255.0]。I_avg表示外围像素的切尾平均值(去掉最大值和最小值)。M₁是该算法中的一个参数，用来表示检测强度，它的范围为(0.0,1.0)。d_lb(i,j)是(i,j)处的局部亮度差，由d_lb(i,j)=I(i,j)-I_avg(i,j)计算得到。M₂是控制误检率的一个参数，M₂的范围为[1.0,U],U表示上限。

以热点像素为例的修复流程如图3所示。首先计算缺陷对横向、纵向、45°、135°滤波器的响应来找到该像素位置处的特征方向，即对操作窗口内的像素值分别与各滤波矩阵进行相关性计算，如(5)所示，Rh、Rv、R45、R135分别表示像素I(i,j)与对应方向滤波器的滤波响应。滤波矩阵如图4所示。

计算结果中最值所在的方向就是该操作窗口中待检测像素的特征方向(热点像素为最大值，冷点像素为最小值)。若计算结果有唯一最值，则进行方向性修复，若计算结果有多个最值，则进行非方向性修复。具体计算如下所示：

水平方向：

垂直方向：

45°方向：

135°方向：

若进行非方向性修复，缺陷像素的像素估计值I_ND(i,j)为操作窗口外围像素的第二大值或第二小值，分别用I_2max和I_2min表示，如下所示：

热点像素：

冷点像素：

本算法利用4*4的操作窗口，可以实现对2*2的缺陷像素块整体的检测和修复，有效避免了传统修正方式中“用缺陷修正缺陷”的情况，增强了对2*2缺陷块的修复效果。当3D堆叠容错结构图像传感器存在故障而丢失相应像素信息时，利用该算法仍能传输出质量合格的图像，减少了维护传感器的成本。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于2×2像素子阵列的3D图像传感器缺陷检测修复方法，其特征在于，所述方法采用4×4操作窗口，所述窗口中的中心4个像素为待检测像素，周围12个像素为辅助修复的外围像素，对窗口中每个像素位置进行编号；该窗口以从左到右，从上到下的顺序每次按一个像素单位进行移位，重复进行检测与修复操作；在每次窗口操作中，利用外围像素对4个待检测像素进行整体的状态判断和修复；

对待检测像素进行判断，如果四个像素均满足下述条件，那么操作窗口中的待检测像素被认为是故障造成的缺陷像素：

(1)在4×4的操作窗口中，被检测像素与外围像素有差异，具体表现为：

热点像素：

I(i,j)＞(1+M₁)*I_avg(i,j)(1)

冷点像素：

I(i,j)＜(1-M₁)*I_avg(i,j)(2)

(2)在4*4的窗口中，热点像素的局部亮度差比窗口中最小的局部亮度差大，冷点像素的局部亮度差相应的比窗口中最大的局部亮度差小，具体表现为：

热点像素:

冷点像素：

其中，I(i,j)表示输入原始图像I在位置(i,j)处的像素值，i的范围为[1,2,…,H]，j的范围为[1,2,…,W],其中H和W分别表示图像I的高度和宽度，I(i,j)的范围为[0.0,255.0]，I_avg表示外围像素的切尾平均值，M₁是用来表示检测强度的一个参数，用来表示检测强度，它的范围为(0.0,1.0)，d_lb(i,j)是(i,j)处的局部亮度差，由d_lb(i,j)＝I(i,j)-I_avg(i,j)计算得到，M₂是控制误检率的一个参数，M₂的范围为[1.0,U]，U表示上限；

以热点像素为例的修复流程如下：

首先，计算缺陷对横向、纵向、45°、135°滤波器的响应来找到该像素位置处的特征方向，即对操作窗口内的像素值分别与各滤波矩阵进行相关性计算，Rh、Rv、R45、R135分别表示像素I(i,j)与对应方向滤波器的滤波响应，Fh为横向滤波器，Fv为纵向滤波器，F45为45°滤波器，F135为135°滤波器；

计算结果中最值所在的方向就是该操作窗口中待检测像素的特征方向，热点像素为最大值，冷点像素为最小值；若计算结果有唯一最值，则进行方向性修复，若计算结果有多个最值，则进行非方向性修复，具体计算如下所示：

水平方向：

垂直方向：

45°方向：

135°方向：

若进行非方向性修复，缺陷像素的像素估计值I_ND(i,j)为操作窗口外围像素的第二大值或第二小值，分别用I_2max和I_2min表示，如下所示：

热点像素：

冷点像素：

Images