CN106204492B

CN106204492B - 基于fpga实现的面阵相机实时平场矫正方法

Info

Publication number: CN106204492B
Application number: CN201610551995.XA
Authority: CN
Inventors: 曹桂平; 董宁; 唐世悦; 吴畅; 叶加圣
Original assignee: HEFEI AIKE PHOTOELECTRIC TECHNOLOGY Co Ltd
Current assignee: Hefei Eko Photoelectric Technology Co.,Ltd.
Priority date: 2016-07-13
Filing date: 2016-07-13
Publication date: 2020-03-31
Anticipated expiration: 2036-07-13
Also published as: CN106204492A

Abstract

本发明结合FPGA并行运算特点并考虑到FPGA内资源有限性，提出了一种优化的可基于FPGA实现的面阵相机实时平场矫正方法，采用基于块的运算方法，对传感器阵列进行分块操作，在分块基础上结合插值算法，降低资源消耗的同时对每个点进行运算。本发明为高分辨率高帧率下面阵相机实现实时FFC矫正算法提供了可能，为高分辨率高帧率应用场合提供了较高的输出图像质量。通过使用优化算法，在满足高分辨率和高帧率的要求下成功的对PRNU和渐晕效应进行了实时矫正。

Description

基于FPGA实现的面阵相机实时平场矫正方法

技术领域

本发明涉及图像算法技术领域，具体涉及一种基于FPGA实现的面阵相机实时平场矫正方法。

背景技术

在光电成像系统中，特别是面阵相机成像系统中，图像信号不能完全反应实际目标，其原因主要包括两方面：(1)由CCD或CMOS传感器制作工艺引起的响应不一致性(也称为PRNU)；(2)由于光学衍射现象及光学系统各种偏差引起的渐晕效应。为保证图像输出质量，一般需要对采集得到的原始图像进行平场矫正(FFC)算法进行修正，以使其达到应用要求。由于PRNU和渐晕效应往往是非线性的，因此在FFC算法中，主要通过乘法运算进行矫正。FFC算法可以总结为如下形式：Yi＝Xi*ai。其中Yi为FFC矫正后数据，Xi为传感器原始输出数据，i为每个像元的序列号，即矫正算法中每个像元对应一个ai元素。FFC算法主要难点在于一方面需要预先保存一个和图像分辨率同样大小的ai数组，另一方面需要做大量的乘法运算，这导致高分辨高帧率下的实时FFC算法除了对处理速度提出很高要求外，对存储资源的需求也很大。

对于小靶面相机，如1百万像素量级的图像，在低帧率下的软件方式尚可勉强应付。FFC矫正算法需要对每个像素点进行乘法运算，对于高分辨率传感器高帧率要求的应用场合，采用软件实现实时FFC算法已经无法满足要求。如ON Semiconductor公司生产的KAI-47051，其分辨率达到4千7百万，常规的软件方式已经无法满足要求，而采用ASIC方式实现FFC算法一方面灵活性很差，另一方面成本很高，远未达到实用性要求。这就使得对于高分辨率或者高帧率的实时应用场合，不得不以牺牲图像质量为代价。这种情况下，FPGA(可编程门阵列)作为一种目前较为流行的器件，其可编程性一方面规避了ASIC实现方式的灵活性差高成本的缺点，另一方面其硬件实现方式也规避了软件实现方式下的速度无法跟上的缺点。但对于高分辨率FFC算法，FPGA也有其自身的缺点，即内部资源有限，可能无法应对高分辨率图像对存储资源的要求。如对KAI-47051而言，其像素数量为47.8MB，即按每个像素最低8-bit计算，保存一幅图像对应的AI数组需要47.8MB的存储空间；即便不计FPGA购买成本，目前最高端的FPGA也很难达到这个要求。这就要求在保证一定的输出图像质量的情况下，需要对原始的FFC算法进行优化，从而使得基于FPGA实现高分辨率高帧率下面阵相机实时FFC算法成为可能。

发明内容

本发明提供一种基于FPGA实现的面阵相机实时平场矫正方法，为高分辨率、高帧率面阵相机实现实时FFC算法提供可能，为高分辨率高帧率应用场合提供较高的输出图像质量。

为解决上述技术问题，本发明采用如下技术方案：

一种基于FPGA实现的面阵相机实时平场矫正方法，包括如下步骤：

1)传感器有效分辨率设为：水平colcount，竖直rowcount，将分辨率按照N×N的矩阵分割成多个基本块，在实际照明条件下获取图像，以每个基本块的图像均值作为输入数据，根据FFC矫正算法策略计算获得归一化ai数组为：

2)对分辨率边界进行复制，扩展ai数组为：

3)得到像素点所属基本块为：[i][j]，

4)对基本块的每个像素点，通过当前基本块与相邻基本块的FFC数据以及当前像素点坐标(x,y)，基于双线性插值算法计算得到像素点实际的ai值；

5)将当前基本块从中心等分为四个象限，根据像素点的从属象限选择参与运算的ai值；

6)基于FPGA的并行运算，同时计算四个象限的值，通过符号位选择输出，结合ai数组的一维矩阵到二维矩阵的转换，计算得到最终的矫正结果,ai数组的一维矩阵到二维矩阵的转换公式如下：

进一步地，步骤6)中，FPGA的并行运算采用8个像素为一个处理单元，具体计算过程包括如下步骤：

61)根据8像素单元地址计算基本块[i][j]；

62)根据基本块[i][j]从ai数组读取当前基本块与相邻基本块共9个单元，后根据y[bit3]，x[bit3]值判断该8像素单元所在的象限；

63)根据所在象限计算A、B、C、D、a_o和a₁；

64)计算子式：A*(N-a₀)*(N-a₁)、B*a₀*(N-a₁)、C*(N-a₀)*a₁和D*a₀*a₁；

65)将以上计算得到的四个子式相加得到ai_out，并将ai_out右移8位，得到最终结果dout＝(din*ai_out)。

优选地，步骤61)中，基本块[i][j]为

其中y₁为该8像素单元所在行数，N为该8像素单元的索引号。

优选地，步骤62)中，所述9个单元分别为：ai[i-1][j-1]、ai[i-1][j]、ai[i-1][j+1]、ai[i][j-1]、ai[i][j]、ai[i][j+1]、ai[i+1][j-1]、ai[i+1][j]和ai[i+1][j+1]。

进一步地，步骤4)中，像素点处于基本块[i][j]内，计算ai_x₀和ai_x₁：

计算ai_out：

ai_out＝ai_x₀+(ai_x₁-ai_x₀)/N*(N/2-y％*N)。

优选地，所述基本块的N值为16～128。

由以上技术方案可知，本发明优化了FPGA并行运算，为高分辨率、高帧率下的面阵相机实现实时FFC矫正算法提供了可能，为高分辨率、高帧率应用场合提供了较高的输出图像质量。通过使用优化算法，在满足高分辨率和高帧率的要求下成功的对PRNU和渐晕效应进行了实时矫正。

附图说明

图1为本发明算法中基本块分割和象限分割的示意图；

图2为本发明算法中基本块分割后边界像素ai数组扩展的示意图；

图3为实施例中基本块大小为128x128下的ai算法矫正前后的仿真效果三维图；

图4为实施例中经AI算法矫正前后的图像对比。

具体实施方式

下面结合附图对本发明的一种优选实施方式作详细的说明。

FFC算法主要用于矫正传感器阵列的响应不一致性和非理想误差，基本算法如下：Yi＝Xi*ai，其中Yi为矫正后数据，Xi为传感器输出的原始数据。面阵相机由于分辨率太高，如果直接做单点FFC运算，那么需要维持一个和图像分辨率同样大小的ai数组，消耗资源过多，在FPGA中直接实现不可行，需要对算法进行优化。优化的首要目的是降低算法对存储资源的消耗，为了减少对存储资源的需求，可以采用基于块的运算方法，本实施例以16x16像素块为基本单元，对传感器阵列进行分块操作，在分块基础上结合插值算法可以在降低资源消耗的同时对每个点进行运算。

以KAI-47051为例，全分辨率为8880x5392，切割成555x337的矩阵，每个矩阵对应一个16x16的基本块。在实际照明条件下获取图像，以每个基本块的图像均值作为输入数据，计算获得归一化数组ai[yi][xi]，使能FFC算法后，对实际图像的每个像素点，通过当前以及相邻块的FFC数据以及当前像素点坐标计算得到实际的ai系数，计算过程基于双线性插值算法。每个像素点参与运算的4个ai数据来自最近的4个块，即将当前块从中心等分为4个象限(A/B/C/D)，根据像素从属象限选择参与运算的ai参数。

如图1所示，浅色像素为当前点，处于块[i][j]的左上角位置，即在象限A内。

首先，计算ai_x₀和ai_x₁：

再计算ai_out：

ai_out＝ai_x₀+(ai_x₁-ai_x₀)/N*(N/2-y％*N)。

对于边界像素，为保证运算过程的一致性，复制扩展ai数组，如图2所示。

以16x16块为例，推导过程如下：传感器有效分辨率设为：水平colcount，竖直rowcount，设已完成ai数组，且已完成边界复制，ai数组表示为：

数组坐标从0开始，设像素坐标为(x,y)，从0开始，可推导出像素所属块为：[i][j]，

此处加1表示对边界进行了复制。

基于FPGA的并行运算，同时计算4个象限的值，通过符号位选择输出，结合ai一维矩阵到二维矩阵的转换

计算具体结果如下：

定义x[b'3]为取x的第3个bit，bit从0开始计数。

象限A：y[b'3]＝0；x[b'3]＝0

kya＝(8-y％8)；kxa＝(8-x％8)

ai_A＝{ai[i][j]*(16-kxa)*(16-kya)+a[i][j-1]*kxa*(16-kya)

+ai[i-1][j]*(16-kxa)*kya+ai[i-1][j-1]*kxa*kya}＞＞8

象限B：y[b'3]＝0；x[b'3]＝1

kyb＝(8-y％8)；kxb＝x％8

ai_B＝{ai[i][j]*(16-kxb)*(16-kyb)+a[i][j+1]*kxb*(16-kyb)

+ai[i-1][j]*(16-kxb)*kyb+ai[i-1][j+1]*kxb*kyb}＞＞8

象限C：y[b'3]＝1；x[b'3]＝0

kyc＝y％8；kxc＝(8-x％8)

ai_c＝{ai[i][j]*(16-kxc)*(16-kyc)+a[i][j-1]*kxc*(16-kyc)

+ai[i+1][j]*(16-kxc)*kyc+ai[i+1][j-1]*kxc*kyc}＞＞8

象限D：y[b'3]＝1；x[b'3]＝1

kyd＝y％8；kxd＝x％8

ai_D＝{ai[i][j]*(16-kxd)*(16-kyd)+a[i][j+1]*kxd*(16-kyd)

+ai[i+1][j]*(16-kxd)*kyd+ai[i+1][j+1]*kxd*kyd}＞＞8

最终结果：Dout＝Din*ai_X＞＞12，其中ai_X根据不同象限选择ai_A/ai_B/ai_C/ai_D。

以16x16块作为基本单元，资源消耗为单点FFC算法下的0.39％。基于成本或者其他方面的限制，在FPGA器件型号选定的情况下，即可用存储资源数量一定的情况下，可以适当的增大块的大小来继续降低对资源的需求，如增大到32x32块时，消耗的资源下降到单点算法下的0.097％。随着基本单元块逐渐变大，虽然消耗资源越少，但是算法效果越不理想，所以在效果和资源消耗之间有一个折中，需要根据具体应用场景进行取舍。从在Matlab中对算法进行仿真后结果来看，基本块单元在128x128情况下，依然可以取得较好的效果(如图3所示)，此时资源消耗为单点算法下的0.006％，即使对于47.8MB高分辨率的图像，其存储资源消耗仅为2.9KB，这个资源消耗对于FPGA内实现FFC算法将毫无问题。

在FPGA实现中，中间处理阶段都是以8个像素为一个处理单元以增加并行效率。FFC算法需要根据像素坐标计算索引号，令像素坐标为(x,y)，其中x为列号，y为行号，则ai数组中单元ai[i][j]而言，i＝(y/16)+1,j＝(x/16)+1；

对于一个8像素单元而言，y是相同的，x为8z～8z+7,z＝0,1,2,…，此时计算得到的i,j都是相同的，即一个处理单元内的8个像素对应在ai数组中的索引号都是相同的。

按照算法思想，每个像素需要计算4个值，分别对应4种情况。这4个值需要使用到9个ai数组单元，分别为：ai[i-1][j-1]，ai[i-1][j]，ai[i-1][j+1]，ai[i][j-1],ai[i][j]，ai[i][j+1]，ai[i+1][j-1]，ai[i+1][j]，ai[i+1][j+1]，对于算法文档中提出的4个象限情况，一个处理单元内的8个像素都同时属于一个象限，所以不需要对8个像素分别进行判断，只需要对第一个象限进行判断即可。

对于第一个像素的判断可以直接归结为对一个处理单元偏移地址的判断，比如8像素单元的索引为偶数(从0开始计数)，此时单元内的像素索引为0～7，那么就表示x[bit3]＝0,如果8像素单元的索引为奇数，此时单元内的像素索引为8～15，那么就表示x[bit3]＝1。

对于行数的判断，则直接使用行编号[3]判断即可，每个8像素单元一定在同一行内。

总之，对于一个象限单元，比如20MB相机而言，一行有5120列，即640个8像素单元，索引号为0～639。假设某个8像素单元的索引号为N(N∈[0,639])，所在行数为y，则ai数组索引[i,j]为i＝y/16+1,j＝N*8/16+1＝N/2+1；i,j均使用9-bit位宽寄存器表示。

计算得到[i,j]之后，需要从ai数组中读取9个单元，这9个单元可以分成3组，组内的3个单元都是地址连续的，此时需要看j的取值，由上知j＝N/2+1,N＝0,1,2,…，即j取值为1,2,3,…，这就无法实现组内3个单元的一次性读取，只能单个读取，即9个单元需要消耗9个clock时钟。ai数组单元总数为322×242＝77924(需17-bit寄存器表示地址)，每个单元为14-bit。

ai数组每行单元数量为5120/16+2＝322(用一个9-bit位宽寄存器表示),可计算得到ai数组内9个读出单元地址(17-bit位宽寄存器表示)分别为：

(i-1)*322+(j-1)，(i-1)*322+(j)，(i-1)*322+(j+1)

(i)*322+(j-1)，(i)*322+(j)，(i)*322+(j+1)

(i+1)*322+(j-1)，(i+1)*322+(j)，(i+1)*322+(j+1)

因为对于一个8像素单元而言，内部8个像素对应的i,j都是相同的，这就表示对于8个像素而言，使用的ai元素是相同的，即一个8像素单元只需要读取9个ai单元，同时由于8个像素也位于相同的像系中，所以对于8个像素而言，都是取相同的像系值进行最终计算。

另外4个像系的公式可以统一为：

ai_out＝A*(16-a₀)*(16-a₁)+B*a₀*(16-a₁)+C*(16-a₀)*a₁+D*a₀*a₁；

根据像系的不同，其中的A、B、C、D、a_o和a₁计算方式有不同。

具体实现细节：

1.根据行号lines_rd，8像素单元号cnt_rd计算i,j：

i＝lines_rd/16+1,j＝cnt_rd/2+1；

2.根据i,j计算ram_addr：

(i-1)*322+(j-1),(i)*322+(j-1),(i+1)*322+(j-1)；

3.根据lines_rd，8个8像素单元对应的cnt_rd判断8个8像素单元的象限，获取各单元的A、B、C、D、a_o和a₁值；

4.计算各单元的

ai_out＝A*(16-a₀)*(16-a₁)+B*a₀*(16-a₁)+C*(16-a₀)*a₁+D*a₀*a₁；

5.计算最终结果dout＝(din*ai_out)>>12。注意8个8像素单元具有不同的ai_out值，但是8像素单元内的8个像素使用相同的ai_out，即同时可以输出64像素的值。矫正效果参考图4的对比结果。

以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案作出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

Claims

1.一种基于FPGA实现的面阵相机实时平场矫正方法，其特征在于，包括如下步骤：

2)对分辨率边界进行复制，扩展ai数组为：

3)得到像素点所属基本块为：[i][j]，

2.根据权利要求1所述的面阵相机实时平场矫正方法，其特征在于，步骤6)中，FPGA的并行运算采用8个像素为一个处理单元，具体计算过程包括如下步骤：

61)根据8像素单元地址计算基本块[i][j]；

63)根据所在象限计算A、B、C、D、a_o和a₁；

3.根据权利要求2所述的面阵相机实时平场矫正方法，其特征在于，步骤61)中，基本块[i][j]为

其中y₁为该8像素单元所在行数，N为该8像素单元的索引号。

4.根据权利要求2所述的面阵相机实时平场矫正方法，其特征在于，步骤62)中，所述9个单元分别为：ai[i-1][j-1]、ai[i-1][j]、ai[i-1][j+1]、ai[i][j-1]、ai[i][j]、ai[i][j+1]、ai[i+1][j-1]、ai[i+1][j]和ai[i+1][j+1]。

5.根据权利要求1所述的面阵相机实时平场矫正方法，其特征在于，步骤4)中，像素点处于基本块[i][j]内，计算ai_x₀和ai_x₁：

计算ai_out：

ai_out＝ai_x₀+(ai_x₁-ai_x₀)/N*(N/2-y％*N)。

6.根据权利要求1所述的面阵相机实时平场矫正方法，其特征在于，所述基本块的N值为16～128。