CN110619593B - 一种基于动态场景的双曝光视频成像系统 - Google Patents
一种基于动态场景的双曝光视频成像系统 Download PDFInfo
- Publication number
- CN110619593B CN110619593B CN201910693033.1A CN201910693033A CN110619593B CN 110619593 B CN110619593 B CN 110619593B CN 201910693033 A CN201910693033 A CN 201910693033A CN 110619593 B CN110619593 B CN 110619593B
- Authority
- CN
- China
- Prior art keywords
- exposure
- image
- image data
- images
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 58
- 230000005540 biological transmission Effects 0.000 claims abstract description 21
- 238000007499 fusion processing Methods 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 8
- 230000009977 dual effect Effects 0.000 claims description 16
- 239000011159 matrix material Substances 0.000 claims description 9
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000004927 fusion Effects 0.000 abstract description 30
- 238000004540 process dynamic Methods 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 12
- 230000003068 static effect Effects 0.000 description 10
- 230000003044 adaptive effect Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 6
- 238000007500 overflow downdraw method Methods 0.000 description 5
- 238000005530 etching Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 4
- 230000007797 corrosion Effects 0.000 description 3
- 238000005260 corrosion Methods 0.000 description 3
- 238000000354 decomposition reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000002035 prolonged effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 231100000289 photo-effect Toxicity 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于动态场景的双曝光视频成像系统，包括双曝光图像采集模块，用于通过控制曝光时间获取第一序列图像数据，第一序列图像数据包括若干帧第一曝光图像；图像传输模块，连接双曝光图像采集模块，用于获取第一序列图像数据，对第一序列图像数据进行固定间隔帧抽帧处理得到第二序列图像数据；图像处理模块，连接图像传输模块，用于获取第二序列图像数据，并对第二序列图像数据中相邻两个第二曝光图像进行融合处理，得到融合后的图像。本发明所提出的双曝光视频成像系统能够依次交替获取高曝光度和低曝光度的序列图像，从而解决了现有的HDR摄影或摄像系统无法处理动态场景运动物体信息、不同曝光图像亮度信息差异过大导致的融合图像产生伪轮廓以及融合图像细节信息丢失的问题。
Description
技术领域
本发明属于图像处理技术领域，具体涉及一种基于动态场景的双曝光视频成像系统。
背景技术
动态范围一般为场景中最亮部分与最暗部分的亮度值之比。一般用相机或者手机等普通摄影设备拍摄图片时，获得的图片的动态范围远远低于真实场景中所包含的动态范围。请参见图1a～1b，图1a为低动态范围(Low Dynamic Range，LDR)图像，动态范围一般在102左右，图1b则为高动态范围场景(High Dynamic Range，HDR)图像，动态范围可达到106个亮度级。因此，当拍摄一幅图像时，真实场景中较暗或较亮的区域在拍摄的图像中将呈现出饱和现象，即全黑或全白(一般称为欠曝光和过曝光现象)，进而造成图像信息的丢失，严重影响图像质量。尽管近几年出现了一些专门的图像获取设备可以直接捕捉HDR数据，但是这些设备所能捕捉的动态范围仍然达不到真实场景的动态范围，并且相当昂贵而无法普及。因此为了解决真实场景与拍摄图像动态范围之间的差距问题，更好地捕获真实场景中的细节，高动态范围成像技术应运而生。
高动态范围成像技术的主要原理是通过不断改变相机的曝光时间，获得不同亮度范围的场景信息，再将这些场景信息加以结合，使照片效果更加接近人眼所观察到的真实景物。其捕获策略有两种：一种是基于硬件的单次曝光捕获，另一种是不同时的连续多次曝光捕获。基于硬件的单次曝光捕获由于是在单个成像传感器上实现同时包围曝光，该方法会牺牲图像的空间分辨率，捕获的动态范围也远达不到人眼视觉系统可感知的动态范围。不同时的连续多次曝光融合技术是HDR成像领域研究的重要课题。该技术通过控制快门时间控制场景亮度信息进入相机的光通量，拍摄序列多曝光图像，使得其包含场景不同亮度范围的细节信息，融合这些信息进而获得HDR图像，此拍摄过程不是瞬间完成的，在真实场景拍摄时，会存在明显发生移动的物体，这种场景被称为动态场景。一旦场景在拍摄过程中发生任何改变，最后得到的融合图像中都会在场景发生改变的区域出现模糊或半透明的影像，一般称之为“鬼影”，例如请参见图2a～2c，图2a、2b、2c分别为高曝光图像、低曝光图像、为融合后产生“鬼影”的图像。
但是，由于室外拍摄的场景大多为动态场景，运动物体很难避免，因此如何获取到现实世界动态场景的所有亮度信息成为了亟待解决的问题。
发明内容
为了解决现有技术中存在的上述问题，本发明提供一种基于动态场景的双曝光视频成像系统。本发明要解决的技术问题通过以下技术方案实现：
一种基于动态场景的双曝光视频成像系统，包括：
双曝光图像采集模块，用于通过控制曝光时间获取第一序列图像数据，所述第一序列图像数据包括若干帧第一曝光图像，相邻两个所述第一曝光图像的曝光度分别为第一曝光度和第二曝光度，且所述第一曝光度和所述第二曝光度不相等；
图像传输模块，连接所述双曝光图像采集模块，用于获取所述第一序列图像数据，对所述第一序列图像数据进行固定间隔帧抽帧处理得到第二序列图像数据，其中，所述第二序列图像数据包括若干帧第二曝光图像，相邻两个所述第二曝光图像的曝光度分别为第一曝光度和第二曝光度；
图像处理模块，连接所述图像传输模块，用于获取所述第一序列图像数据或所述第二序列图像数据，并对所述第一序列图像数据中相邻两个所述第一曝光图像或所述第二序列图像数据中相邻两个所述第二曝光图像进行融合处理，得到融合后的图像序列。
在本发明的一个实施例中，所述双曝光图像采集模块包括第一处理器和可见光相机、其中
所述第一处理器，用于控制所述可见光相机中的寄存器的曝光时间交替按照所述第一曝光时间和所述第二曝光时间进行曝光；
所述可见光相机，用于根据所述寄存器的第一曝光时间和第二曝光时间进行曝光，得到所述第一序列图像数据。
在本发明的一个实施例中，所述第一处理器为FPGA。
在本发明的一个实施例中，所述图像传输模块包括第二处理器、第一存储器、第二存储器、GPS授时模块和第三处理器，所述可见光相机、所述第一存储器、所述第二存储器、所述GPS授时模块和所述第三处理器均连接所述第二处理器，其中，
所述第二处理器，用于接收所述第一序列图像数据，并对所述第一序列图像数据进行抽帧处理得到第二序列图像数据；
所述第一存储器，用于缓存与转发所述第一序列图像数据和所述第二序列图像数据；
所述第二存储器，用于存储经所述第一存储器缓存和转发的所述第一序列图像数据；
所述GPS授时模块，用于对所述若干帧第一曝光图像进行授时；
所述第三处理器，用于接收所述第一存储器缓存和转发所述第二序列图像数据，并对所述第二序列图像数据进行压缩传输处理。
在本发明的一个实施例中，所述可见光相机和所述第二处理器通过CAMERALINK传输线缆进行连接。
在本发明的一个实施例中，所述第二处理器为FPGA，所述第三处理器为ARM。
在本发明的一个实施例中，图像处理模块包括PC上位机，所述PC上位机连接所述第三处理器，其中：
所述PC上位机，用于对第一序列图像数据或压缩后的第二序列图像数据进行解压，根据自适应阈值对相邻两个所述第一曝光图像或解压后的相邻两个所述第二曝光图像进行处理得到包括运动区域的二值图像，并对相邻两个所述第一曝光图像或相邻两个所述第二曝光图像进行亮度平衡处理对应得到两帧亮度平衡图像，且将相邻两个所述第一曝光图像或相邻两个所述第二曝光图像分别与包括运动区域的二值图像进行结合对应得到两帧基础权重图像，最后根据增强后的拉普拉斯金字塔对所述两帧亮度平衡图像和所述基础权重图像进行处理得到融合后的图像。
在本发明的一个实施例中，还包括无线发射模块和无线接收模块，所述第三处理器和所述PC上位机通过所述无线发射模块和所述无线接收模块进行无线连接。
在本发明的一个实施例中，所述增强后的拉普拉斯金字塔的公式为：
其中，L{F′}为增强后的拉普拉斯金字塔，g为增益系数矩阵塔，L{F}为融合后的拉普拉斯金字塔。
在本发明的一个实施例中，所述增益系数的计算公式为：
其中，g为增益系数矩阵塔，GL为最小的增益系数，GH为最大的增益系数，D为融合后的拉普拉斯金字塔的最高层的层号，d为融合后的拉普拉斯金字塔的层号，γ为可调参数，
为第d层的融合后的拉普拉斯金字塔中坐标位置为(x，y)处的噪声可见度。
本发明的有益效果：
本发明所提出的双曝光视频成像系统能够依次交替获取高曝光度和低曝光度的图像，从而解决了现有的HDR摄影或摄像系统无法处理动态场景运动物体信息、不同曝光图像亮度信息差异过大导致的融合图像产生伪轮廓以及融合图像细节信息丢失的问题。
以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
图1a～1b是本发明实施例提供的一种高动态范围场景成像图与普通相机直接捕获场景图的效果对比图；
图2a～2c是本发明实施例提供的一种高曝光图像和低曝光图像融合产生“鬼影”现象的示意图；
图3是本发明实施例提供的一种基于动态场景的双曝光视频成像系统的示意图；
图4是本发明实施例提供的另一种基于动态场景的双曝光视频成像系统的示意图；
图5是本发明实施例提供的一种双曝光图像采集模块的工作流程示意图；
图6是本发明实施例提供的一种可见光相机的结构示意图；
图7是本发明实施例提供的一种可见光相机控制盒的结构示意图；
图8a～8b是本发明实施例提供的双曝光视频成像系统所得到的低曝光度图像和高曝光度图像；
图9是本发明实施例提供的一种基于动态场景的双曝光图像融合方法的流程示意图；
图10a～10b是本发明实施例提供的一种低曝光图像和经直方图均衡化处理的图像的效果对比图；
图11a～11b是本发明实施例提供的一种高曝光图像和经直方图均衡化处理的图像的效果对比图；
图12是本发明实施例提供的一种差分图像的示意图；
图13是本发明实施例提供的一种二值图像的示意图；
图14a～14b是本发明实施例提供的一种平衡图像的示意图；
图15是本发明实施例提供的一种融合后的图像的示意图；
图16a～16c是本发明实施例提供的一种基于动态场景的双曝光视频成像系统所获得的融合图像的对比图；
图17a～17c是本发明实施例提供的另一种基于动态场景的双曝光视频成像系统所获得的融合图像的对比图；
图18a～18c是本发明实施例提供的又一种基于动态场景的双曝光视频成像系统所获得的融合图像的对比图。
具体实施方式
下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
实施例一
目前，朴永杰等人采用多次曝光方式进行高动态范围视频获取，需要将多幅低动态范围图像进行快速融合，提出了一种改进的快速多分辨率塔形分解融合算法，在不降低原有算法融合质量的前提下极大减少计算量。算法分别从金字塔分解卷积核、高斯系数扩展插值方法、拉普拉斯系数融合规则、高斯系数融合规则等方面进行改进，简化了塔形分解、融合和重构过程。该方法应用在某运载火箭视频采集系统中，其算法稳定性强，同时减少了图像融合过程中的计算量。该系统是针对静态场景进行的融合算法，该算法会不加区别的融合场景中具有运动物体的图像，从而在融合图像中产生“鬼影”现象。同时，该算法没有亮度平衡步骤，若曝光图像的亮度差异过大，其融合的效果可能会产生伪影，严重影响图像的质量。
另外，孙艳艳等人设计了一种针对相机移动场景下的多曝光图像融合系统，通过结合图像配准与图像融合两个技术，实现一个可以处理运动相机拍摄的多曝光图像的融合系统。算法匹配模块采用SURF特征提取算法进行粗匹配，RANSAC算法进行精匹配，然后进行投影变换矫正图像；然后采用金字塔融合算法融合已配准的图像，实验结果证明该系统可以对相机移动场景下所拍摄的多曝光图像进行有效拍摄并获得良好效果。但是该方法仅针对相机移动场景，若场景中存在运动物体时，其SURF特征点检测算法检测结果的精准度可能会受到影响，进而无法正确矫正图像，且该系统由于图像尺寸的限制只能拍摄HDR图像而无法拍摄HDR视频。同时，所使用的金字塔融合算法融合图像，会使图像出现“鬼影”现象，同时融合图像中也会存在斑块伪影现象。
因此，基于上述原因本实施例提出了一种基于动态场景的双曝光视频成像系统，请参见图3，图3是本发明实施例提供的一种基于动态场景的双曝光视频成像系统的示意图，本实施例所提供的基于动态场景的双曝光视频成像系统，包括双曝光图像采集模块、图像传输模块和图像处理模块，其中，
双曝光图像采集模块用于通过控制曝光时间获取第一序列图像数据，第一序列图像数据包括若干帧第一曝光图像，相邻两个第一曝光图像的曝光度分别为第一曝光度和第二曝光度，且第一曝光度和第二曝光度不相等；
具体地，本实施例为了获得高动态范围的视频图像，图像采集模块作为整个系统的数据输入源。当可见光相机使用双曝光模式拍摄场景时，首先对可见光相机进行上电初始化，进入正常双曝光可见光相机工作模式。而可见光相机的曝光时间实际上是对场景亮度的积分时间，因此通过控制通路对可见光相机积分时间进行实时连续调整，使得可见光相机连续输出明暗交替的双曝光视频数据，即第一序列图像数据，其长短曝光时间可根据场景亮度信息进行调整，第一序列图像数据包括按照顺序排列的若干帧第一曝光图像，且相邻两个第一曝光图像的曝光度分别为第一曝光度和第二曝光度，即其中一帧第一曝光图像的曝光度若为第一曝光度，另一帧第一曝光图像的曝光度则为第二曝光度，其中，第一曝光度和第二曝光度不相等，例如第一曝光度为高曝光度，则第一曝光度对应的第一曝光图像为高曝光图像，第二曝光度为低曝光度，则第二曝光度对应的第一曝光图像为低曝光图像，又例如第一曝光度为低曝光度，则第一曝光度对应的第一曝光图像为低曝光图像，第二曝光度为高曝光度，则第二曝光度对应的第一曝光图像为高曝光图像，需要说明的是，本实施例所述的低曝光图像和高曝光图像表示两组曝光度大小的相对值，并不单独限定其数值的大小。
为了更进一步地说明双曝光图像采集模块的工作原理，请参见图4，双曝光图像采集模块可以具体包括第一处理器和可见光相机，第一处理器连接可见光相机，第一处理器用于控制可见光相机中的寄存器的曝光时间交替按照第一曝光时间和第二曝光时间进行曝光，且第一曝光时间和第二曝光时间不相等，即第一处理器可以通过控制通路对可见光相机的积分时间寄存器进行实时连续调整，当下一帧图像需要高曝光度图像时，则在当前帧可以通过第一处理器将寄存器的曝光时间设置为长曝光时间，则下一帧对应获得的图像即为高曝光度图像，当下一帧图像需要低曝光度图像时，则在当前帧可以通过第一处理器将寄存器的曝光时间设置为短曝光时间，则下一帧对应获得的图像即为低曝光度图像，例如，第一曝光时间对应长曝光时间，第二曝光时间对应短曝光时间，又例如第一曝光时间对应短曝光时间，第二曝光时间对应长曝光时间，需要说明的是，本实施例所述的短曝光时间和长曝光时间表示两组曝光时间大小的相对值，并不单独限定其数值的大小。
为了更好说明本实施例的双曝光图像采集模块，本实施例以第一处理器为FPGA进行说明，双曝光图像具体输出过程可以为：在可见光相机上电时，FPGA利用IIC总线对可见光相机进行初始化配置，配置成功后，可见光相机进入正常工作状态，FPGA会收到可见光相机发送过来的图像数据。在可见光相机处于正常工作状态时，FPGA通过IIC总线对可见光相机中的控制曝光时间的寄存器进行修改，请参见图5和图6，实际工作流程如下：
1)首先假设可见光相机输出的第n帧图像是暗图(即低曝光度图像)，在可见光相机输出第n帧图像的消隐区的这段时间内，将控制可见光相机曝光时间的寄存器的值改成长曝光参数(即长曝光时间)；
2)在可见光相机输出第n帧图像的同时，对第n+1帧图像进行曝光。曝光之前会读取曝光时间寄存器的值，由于寄存器的值已经被修改成长曝光参数，故此时正在曝光的图像的积分时间将变长，快门打开时间变长；
3)在可见光相机输出第n+1帧的消隐区的这段时间内，将控制可见光相机曝光时间的寄存器修改成短曝光参数(即短曝光时间)，此时，可见光相机输出的第n+1帧图像是亮图(即高曝光度图像)；
4)在可见光相机输出第n+1帧图像的同时，也会对第n+2帧图像进行曝光。曝光之前会读出曝光时间寄存器的值，由于寄存器的值已经被修改成短曝光参数，故此时正在曝光的图像积分时间将会变短；之后的步骤则继续对此过程进行循环交替执行，可见光相机就会输出明暗交替的图像。
优选地，第一处理器为具有处理能力的芯片，如可以为EP4CE6F17C8型号的FPGA。
表1展示了一种可见光相机系统硬件部分所满足的性能参数以及场景拍摄时所采用的曝光参数。
表1可见光相机参数
图像传输模块，连接双曝光图像采集模块，用于获取第一序列图像数据，对第一序列图像数据进行固定间隔帧抽帧处理得到第二序列图像数据，其中，第二序列图像数据包括若干帧第二曝光图像，相邻两个第二曝光图像的曝光度分别为第一曝光度和第二曝光度；
具体地，双曝光图像采集模块获取第一序列图像数据之后，便将第一序列图像数据传输至图像传输模块，因基于目前可见光相机的拍摄频次较高，例如一秒钟可拍摄一百帧的图像，因此数据量较为庞大，导致实时传送和处理图像的难度增大，为了实现图像数据的实时无线传输，因此本实施例通过FPGA每隔固定间隔帧进行抽帧处理的方式得到第二序列图像数据，即每隔固定帧数从第一序列图像数据中抽取一张第一曝光图像，抽取完成的所有第一曝光图像组成第二序列图像数据，第二序列图像数据中的第一曝光图像即作为第二曝光图像，同时，为了保证实时传输至图像处理模块的第二序列图像数据为双曝光图像，则所得到的第二序列图像数据中相邻两个第二曝光图像的曝光度分别为第一曝光度和第二曝光度，同时固定帧数的值选取可以根据实际情况进行调整，例如可以为10-30帧。
进一步地，请参见图4，图像传输模块具体可以包括第二处理器、第一存储器、第二存储器、GPS授时模块和第三处理器，可见光相机、第一存储器、第二存储器、GPS授时模块和第三处理器均连接第二处理器，双曝光图像采集模块与图像传输模块(嵌入式系统端)采用CAMERALINK传输线缆进行连接，嵌入式系统端接收双曝光处理后的串行视频数据，其中：
第二处理器用于接收第一序列图像数据，并对第一序列图像数据进行抽帧处理得到第二序列图像数据；第一存储器，用于缓存与转发第一序列图像数据和第二序列图像数据，经第一存储器缓存的第一序列图像数据转存至第二存储器中，第一存储器还可以将第二序列图像数据通过转发传输至第三处理器；第二存储器，用于存储第一序列图像数据，将所有第一序列图像数据进行无压缩存储，以便于后续对第一序列图像数据进行记录、删除、下载等操作，例如当PC上位机需要第二存储器存储的某些图像数据时，便可以通过千兆网口从第二存储器经第一存储器获取所需要的图像数据；GPS授时模块用于对若干帧第一曝光图像进行授时，第三处理器用于接收第二序列图像数据，并对第二序列图像数据进行压缩处理，为了能够及时将第二序列图像数据传输至图像处理模块，因此第三处理器在接收到第二序列图像数据便对其进行压缩，并实时将其传送至图像处理模块。
优选地，第二处理器为具有处理能力的FPGA，其型号例如为XC6SLX16，通讯接口例如可以为千兆网口或USB3.0，第三处理器为具有处理能力的ARM，例如为海思压缩版ARM，第一存储器为DDR3SDRAM，第二存储器为EMMC。
请参见图7，嵌入式系统端采用FPGA加ARM作为该系统的主控模块，采用解串器对双曝光图像采集模块传输的串行数据进行并行化，并利用FPGA进行处理。FPGA模块使用DDR3SDRAM与e.MMC存储模块将采集到的数据进行存储、转发，采用GPS授时模块对拍摄的每帧图像进行精准授时，采用ARM端处理远程上位机通过网络发送的指令并做出响应，通过TCP/IP网络协议发送经过ARM实时压缩的图像数据至上位机软件。嵌入式系统FPGA和ARM由FFC线缆相连，ARM接收由FPGA传送过来的图像数据。
图像处理模块连接图像传输模块，图像处理模块用于获取第一序列图像数据或第二序列图像数据，并对第一序列图像数据中相邻两个第一曝光图像或第二序列图像数据中相邻两个第二曝光图像进行融合处理，得到融合后的图像序列，即为了实时显示，图像处理模块可以实时获取第二序列图像数据，继而对第二序列图像数据所包含的曝光图像进行融合处理，也可以直接从第二存储器中获取第一序列图像数据，并对第一序列图像数据所包含的曝光图像进行融合处理。
具体地，图像处理模块包括PC上位机，PC上位机连接第三处理器，该PC上位机中安装有融合软件，该融合软件可以按照下述方式，对第二存储器的第一序列曝光图像或ARM传输的第二序列图像数据进行融合处理，具体融合过程为：对压缩后的第二序列图像数据进行解压，根据自适应阈值对相邻两个第一曝光图像或解压后的相邻两个第二曝光图像进行处理得到包括运动区域的二值图像，并对相邻两个第一曝光图像或相邻两个第二曝光图像进行亮度平衡处理对应得到两帧亮度平衡图像，且将相邻两个第一曝光图像或相邻两个第二曝光图像分别与包括运动区域的二值图像进行结合对应得到两帧基础权重图像，最后根据增强后的拉普拉斯金字塔对两帧亮度平衡图像和所述基础权重图像进行处理得到融合后的图像。
本实施例考虑到双曝光视频成像系统的便携性和可操作性，嵌入式系统端与计算机端通过无线发射模块和无线接收模块进行连接，例如可以通过无线WIFI信号进行连接，嵌入式系统端对采集到的图像数据进行抽帧并压缩传输至PC上位机，可以通过PC上位机实现远程控制高动态范围场景摄像和数据实时显示。PC计算机所开发的软件使得不同曝光时间图像帧可以分别在两个视频控件中进行显示，便于可见光相机光圈参数的调整，使该系统能够捕获不同亮度范围的场景的全部信息，对高动态范围场景及其细节信息的捕捉具有很大帮助。采用无线信号对PC上位机和嵌入式主控模块连接的方式，使人可以在拍摄场景较远区域远程操控成像设备，极大提升了系统的便携性和可操作性，如图8a和图8b所示为双曝光可见光相机所拍摄的视频的其中两帧图像，图8a、8b分别为低曝光度图像、高曝光度图像。
为了更好的说明本实施例的PC上位机中的软件对第一序列图像数据中相邻两个第一曝光图像或第二序列图像数据中的相邻两帧第二曝光图像的融合方式，本实施例将对其进行具体介绍：
本实施例的PC上位机首先获取了第一序列图像数据或第二序列图像数据，该第一序列图像数据或第二序列图像数据中存在高曝光图像和低曝光图像，并对需要融合的高曝光图像和低曝光图像进行处理，该方法适用于视频图像序列的所有需要进行融合的高曝光图像和低曝光图像，第一序列图像数据中相邻的两帧第一曝光图像与第二序列图像数据中相邻的两帧第二曝光图像的融合方法相同，为了便于理解，本实施例以第二序列图像数据中相邻的两帧第二曝光图像为例进行说明，为了便于区分，将其中一帧第二曝光图像作为第一子曝光图像，另一帧第二曝光图像作为第二子曝光图像，其中，第一子曝光图像和第二子曝光图像为两个曝光度不同的图像，例如第一子曝光图像为高曝光图像，第二子曝光图像则为低曝光图像，又例如第一子曝光图像为低曝光图像，第二子曝光图像则为高曝光图像。
请参见图4，图4是本发明实施例提供的一种基于动态场景的双曝光图像融合方法的流程示意图。本实施例在上述实施例的基础上，对基于动态场景的双曝光图像融合方法做具体说明：
步骤10、根据自适应阈值对解压后的相邻两个第二曝光图像进行处理得到包括运动区域的二值图像；
步骤101、对第一子曝光图像和第二子曝光图像分别进行直方图均衡化处理对应得到第三子曝光图像和第四子曝光图像；
首先，由于第一子曝光图像和第二子曝光图像的曝光度不同，因此第一子曝光图像和第二子曝光图像的亮度不一致，因此首先应对第一子曝光图像和第二子曝光图像做预处理，从而使得差分处理后的第一子曝光图像和第二子曝光图像能够正确筛选出静态区域和动态区域，所以首先需要对第一子曝光图像和第二子曝光图像进行直方图均衡化的处理，从而使得第一子曝光图像和第二子曝光图像亮度保持一致，第一子曝光图像经直方图均衡化处理之后变为了第三子曝光图像，第二子曝光图像经直方图均衡化处理之后变为了第四子曝光图像，则第三子曝光图像和第四子曝光图像的亮度相同，其中，直方图均衡化的公式可表示如下：
I′k＝Histeq(Ik) (1)
其中，Ik为具有不同曝光度的原图像，k对应为不同曝光图像的序列号，在本实施例中k取1或2，1对应第一子曝光图像，2对应第二子曝光图像，Histeq(·)为直方图均衡化变换，则I′k为对应经过直方图变换后的图像。
例如，请参见10a～10b和11a～11b，图10a为低曝光图像，图10b为经直方图均衡化处理后的低曝光图像，图11a为与图10a相对应的高曝光图像，图11b为经直方图均衡化处理后的高曝光图像，由此可以看出，低曝光图像和高曝光图像经直方图均衡化处理后变为了亮度一致的图像。
步骤102、利用帧差法计算第三子曝光图像和第四子曝光图像之间的像素差异值，得到差分图像；
本实施例利用帧差法对第三子曝光图像和第四子曝光图像进行做差处理，计算第三子曝光图像和第四子曝光图像之间的像素差异值，从而得到差分图像，其中，帧差法的计算公式为：
ΔI′＝|I′1-I′2| (2)
其中，ΔI′为差分图像，I′1为第三子曝光图像，I′2为第四子曝光图像。
例如，请参见图12，图12为根据图10b和图11b所得到的差分图像。
步骤103、根据自适应阈值对差分图像进行阈值分割处理得到初始二值图像。
在获得差异图像之后，需要选择合适的阈值对差分图像进行阈值分割处理，本实施例利用自适应阈值对差分图像进行阈值分割处理从而得到初始二值图像，并将高于自适应阈值的部分视作运动区域，低于自适应阈值的部分被视作静态区域。二值图像的计算公式如下：
其中，M为阈值分割后的二值图像，T为自适应阈值。
为了更好的对差分图像进行阈值分割处理，本实施例提供一种自适应阈值的确定方法，该方法如下：
步骤1031、首先根据第一子曝光图像和第二子曝光图像的静态区域像素数所占差分图像总像素数百分比、差分图像的宽度所占的像素数和差分图像的高度所占的像素数得到阈值数组；
通过观察差分图像的直方图，发现差分图像的像素点排布大多集中在0灰度值周围，也就是说第三子曝光图像与第四子曝光图像之间的像素差异值大多数接近于0，该部分像素对应的为静态区域。这里假设静态区域像素数占图像总像素数的百分比固定，将其设定为P，则从差异图像灰度值为0的像素点开始累加像素数，直到像素数加到静态区域总像素数的临界值为止，从而得到阈值数组，则阈值数组的计算公式为：
其中，
为阈值数组，ni为差异图像中的灰度值为i的像素个数，P为第一子曝光图像和第二子曝光图像的静态区域的像素数占差异图像的像素数的百分比，t为符合条件的阈值范围，t的取值可以为0～255之间的整数。
实际上，阈值数组的最小值即为所需要的阈值，但若阈值数组的最小值过于接近灰度值0，则说明该差分图像中存在运动区域的可能性很小，故本实施例通过设定另一阈值使得在静态图像中无法检测出运动区域的像素，则自适应阈值其计算公式如下：
其中，T为自适应阈值，min(·)为取阈值数组的最小值，mt为预定阈值。
预定阈值mt为本实施例提供的另一个划分静态区域像素的阈值，通常预定阈值可以取18，也就是说，当计算得到的自适应阈值的灰度值小于18时，则认为两帧第一子曝光图像和第二子曝光图像中不存在运动区域，该阈值可以根据场景状况不同进行调整。确定自适应阈值后，则可以利用公式(3)对差分图像进行阈值分割处理，从而获得初始二值图像。
步骤104、对初始二值图像进行形态学的膨胀腐蚀处理得到包括运动区域的二值图像；
经过步骤103所获得的初始二值图像中还存在空洞和孤立噪点的现象，因此还需要对初始二值图像做形态学的膨胀腐蚀处理，从而对孤立噪点区域以及空洞区域进行腐蚀，同时对运动区域边缘的像素点进行膨胀，使得所判定的运动区域完全包括运动区域的像素。膨胀腐蚀的计算公式如下：
其中，符号
为腐蚀操作，符号/>
为膨胀操作，B1为腐蚀滤波模板，例如腐蚀滤波模板是一个半径为4个像素点的圆，B2为膨胀滤波模板，例如膨胀滤波模板是一个半径为20个像素点的圆，M′为经膨胀腐蚀操作后的包括运动区域的二值图像。
例如，请参见图13，图13为对图12的差分图像进行膨胀腐蚀操作后的包括运动区域的二值图像。
步骤2、对相邻两个第二曝光图像进行亮度平衡处理对应得到两帧亮度平衡图像，此处设定第一子曝光图像对应第一亮度平衡图像，第二子曝光图像对应第二亮度平衡图像；
步骤201、利用Retinex理论分别滤除第一子曝光图像和第二子曝光图像的照度分量，对应得到第五子曝光图像和第六子曝光图像；
Retinex图像增强算法认为图像是由照度分量和反射分量共同构成的，图像的照度分量反映了图像整体的明暗程度，反射分量反映了图像场景的原有面貌信息。基于此，本实施例采用滤除第一子曝光图像和第二子曝光图像的照度分量信息，保留第一子曝光图像和第二子曝光图像的反射分量信息的方式还原第一子曝光图像和第二子曝光图像的原有信息，Retinex模型可以表示为：
Sk(x,y)＝Lk(x,y)·Rk(x,y) (7)
其中，Sk为第k张原图像(原图像即为视频序列中需要融合的原始图像)，在本实施例中，设定S1为第一子曝光图像，S2为第二子曝光图像，(x,y)为像素的坐标位置，Lk表示第k张原图像的照度分量，Rk为第k张原图像的反射分量。对于灰度图像，在单尺度情况下，第k张原图像的反射分量可以表示为：
R′k(x,y)＝logSk(x,y)-log[F(x,y)*Sk(x,y)] (8)
其中，R′k为第k张原图像的反射分量，F(x,y)为中心环绕函数，一般为高斯函数，其可以表示为：
其中，σ为标准差，通常取
步骤202、根据亮度映射模型对第五子曝光图像和第六子曝光图像分别进行处理对应得到第一亮度平衡图像和第二亮度平衡图像；
对反射分量R′k直接进行指数变换会拉伸图像的动态范围，且无法保证第五子曝光图像和第六子曝光图像的亮度在同一范围内，从而无法达到使第五子曝光图像和第六子曝光图像亮度平衡的目的，因此本实施例为第五子曝光图像和第六子曝光图像规定了一定的亮度映射范围，使其亮度达到均衡。首先，令第五子曝光图像和第六子曝光图像映射的最大值与最小值分别为：
其中，ave为反射分量Rk′的亮度平均值的均值，α和β为可调参数，其通常取α＝β＝3，V为第五子曝光图像和第六子曝光图像方差的最大值，ave与V的具体计算公式如下：
其中，Mean(·)为矩阵平均值，var(·)为矩阵方差，max(·)为取数组最大值，因此，其亮度映射模型为：
其中，
即为第k张原图像亮度平衡后的结果，在本实施例中/>
为第五子曝光图像经亮度平衡处理后的第一亮度平衡图像，/>
为第六子曝光图像经亮度平衡处理后的第二亮度平衡图像。
例如，请参见图14a～14b，其中，图14a为图10a经亮度平衡处理后对应的平衡图像，图14b为图11a经亮度平衡处理后对应的平衡图像。
步骤3、将相邻两个所述第二曝光图像分别与包括运动区域的二值图像进行结合对应得到两帧基础权重图像，此处设定第一子曝光图像对应第一基础权重图像，第二子曝光图像第二基础权重图像；
步骤301、将第一子曝光图像和第二子曝光图像分别与运动区域进行结合对应得到第一基础权重图像和第二基础权重图像；
步骤3011、根据第一子曝光图像的图像对比度和曝光适中度得到第一初始权重图像，根据第二子曝光图像的图像对比度和曝光适中度得到第二初始权重图像；
针对单通道的灰度图像，无需考虑图像的饱和度信息。因此图像的初始权重图像由以下两因子相乘获得：
其中，Ck,x,y为第k张原图像Ik在(x，y)坐标处的图像对比度，Ek,x,y为第k张原图像Ik在(x，y)坐标处的曝光适中度，wc与we为权重指数，通常wc＝we＝1,Wk,x,y为第k张初始权重图像在坐标(x，y)处的像素值，则W1,x,y为第一初始权重图像在坐标(x，y)处的像素值，W2,x,y为第二初始权重图像在坐标(x，y)处的像素值。
步骤3012、将第一初始权重图像和运动区域相结合并进行归一化处理得到第一基础权重图像，将第二初始权重图像和运动区域相结合并进行归一化处理得到第二基础权重图像；
为使得“鬼影”区域的权重图像没有突变产生，则需将进行高斯滤波后的M′确定为最终的运动区域蒙版。因此需将初始权重图像与包含运动区域的二值图像相结合，然后经归一化后可获得基础权重图像，初始权重图像与包含运动区域的二值图像相结合的计算公式如下：
其中，W′′,x,y为第k张初始权重图像与二值图像相结合的图像在坐标(x，y)处的像素值，则W′1,x,y为第一初始权重图像与二值图像相结合的图像在坐标(x，y)处的像素值，W′2,x,y为第二初始权重图像与二值图像相结合的图像在坐标(x，y)处的像素值，ref为参考图像的序号，在本实施例中序号取1或2，其融合后图像的运动状态与所选取的参考图像的运动状态应保持一致，然后对W′k,x,y进行归一化，公式如下：
其中，
为基础权重图在坐标(x，y)处的像素值，则/>
为第一基础权重图像在坐标(x，y)处的像素值，/>
为第二基础权重图像在坐标(x，y)处的像素值。
步骤4、根据增强后的拉普拉斯金字塔对所述两帧亮度平衡图像和所述基础权重图像进行处理得到融合后的图像；
步骤4.1、对第一亮度平衡图像进行拉普拉斯金字塔变换得到第一拉普拉斯金字塔，对第二亮度平衡图像进行拉普拉斯金字塔变换得到第二拉普拉斯金字塔；
步骤4.2、对第一基础权重图像进行高斯金字塔变换得到第一权重图高斯金字塔，对第二基础权重图像进行高斯金字塔变换得到第二权重图高斯金字塔；
步骤4.3、根据第一拉普拉斯金字塔、第二拉普拉斯金字塔、第一权重图高斯金字塔和第二权重图高斯金字塔得到融合后的图像；
步骤4.31、根据第一拉普拉斯金字塔、第二拉普拉斯金字塔、第一权重图高斯金字塔和第二权重图高斯金字塔得到融合后的拉普拉斯金字塔，其中，拉普拉斯金字塔的计算公式为：
其中，
为第k张亮度平衡后的图像对应的第d层的拉普拉斯金字塔坐标为(x，y)处的像素值，/>
为第k张权重图像对应的第d层的高斯金字塔坐标为(x，y)处的像素值，L{F}d为融合后的拉普拉斯金字塔。
步骤4.32、根据增益系数矩阵和融合后的拉普拉斯金字塔得到增强后的拉普拉斯金字塔；
由于拉普拉斯金字塔的过度融合以及照度分量的过度滤除，步骤4.31所得到的融合图像会损失一部分细节信息，针对此问题，本实施例通过对融合后的拉普拉斯金字塔进行细节增强处理来恢复图像的细节信息，同时减少图像的噪声信息，且人眼视觉系统对图像的高频信息更加敏感，故增益系数应随着拉普拉斯金字塔层数的上升而减小，则增益系数的计算公式如下：
其中，g为增益系数矩阵塔，GL为最小的增益系数，GH为最大的增益系数，D为融合后的拉普拉斯金字塔的最高层的层号，本实施例取为D＝log2(min(H,W))-log2(min(H,W)/2)，d为融合后的拉普拉斯金字塔的层号，γ为可调参数，γ例如取0.5，
为第d层融合后的拉普拉斯金字塔中坐标位置为(x，y)处的噪声可见度，/>
的计算公式如下：
其中，ed(x,y)为第d层融合后的拉普拉斯金字塔中坐标位置为(x，y)处的局部图像熵值，例如局部图像大小可以取3*3大小邻域图像，ω为一可调参数，其通常可以取1，一般可以认为细节信息越多的地方图像的噪点可见度越小，细节信息越少的地方噪点的可见度越大。
最后，将增益系数矩阵与对应层的对应像素点的拉普拉斯金字塔相乘，可获得增强后的拉普拉斯金字塔，增强后的拉普拉斯金字塔的计算公式如下：
其中，
为增强后的拉普拉斯金字塔在第d层坐标为(x，y)位置处的像素值。
步骤4.32、对增强后的拉普拉斯金字塔进行反变换，形成融合后的图像。
例如，请参见图15，图15为图10a和图11a经融合后的图像。
本发明可以对两帧曝光图像实现有效的“鬼影”去除和图像融合的效果，其处理结果能够对图像过曝光以及欠曝光区域的细节信息进行有效的恢复，同时本实施例的亮度平衡算法能够避免传统融合图像中出现的斑块和伪影现象，本实施例所提供的两帧曝光图像的融合方法可以大大降低图像拍摄的时间分辨率，为本实施例所提供的方法能够在硬件平台上实施以及高动态范围实时视频的获取奠定了坚实的基础。
本发明所提供的针对动态场景的双曝光视频成像系统，为了实现对可见光相机连续两帧高低交替曝光模式(双曝光模式)拍摄的功能，采用基于FPGA结构的嵌入式系统，以完成对高动态范围动态场景信息的采样。双曝光图像采集模块的FPGA通过实时修改可见光相机寄存器配置的方式，与控制可见光相机曝光时间的硬件系统进行通信，对每帧图像的曝光时间进行控制调整，采用连续交替曝光时间对场景信息成像，以获得明暗变化的双曝光视频数据，使得可见光相机以高低交替曝光模式进行动态场景信息的连续采样。双曝光可见光相机所采集的视频数据流将利用ARM压缩传输至PC上位机进行实时显示，利用所开发软件对不同曝光的图像分别进行显示，以便用户针对具体场景选取最佳光圈大小。动态场景鬼影去除算法，将一组高低曝光交替的视频序列合成为高动态范围视频，解决了传统曝光融合系统无法处理动态场景以及高低帧曝光图像亮度难以平衡的问题，同时所采用的两帧曝光图像融合方式最大限度地提升了视频的时间分辨率，并且采用的基于细节增强的多曝光图像融合算法，能够使得生成的视频中能清晰的显示场景中过亮以及过暗区域的所有信息。例如在风景照中，天空和陆地之间通常有巨大反差，本发明的双曝光视频成像系统能够同时捕捉天空和陆地的细节信息，使得拍摄效果更加生动。如图16a～16c、17a～17c、18a～18c所示为双曝光可见光相机拍摄的视频帧，以及通过融合算法处理后的结果展示，其中，图16a、图17a和图18a为低曝光图像，图16b、图17b和图18b为高曝光图像，图16c、图17c和图18c为融合后的曝光图像，从以上三组结果中可看出，本实施例的双曝光视频成像系统能够对所拍摄图像进行高质量融合，所获得的结果能够很好恢复低曝光与高曝光区域的细节信息，同时消除了两帧图像运动区域所产生的鬼影现象，使得融合结果只保留了其中一帧图像的运动状态。综上所述，能够说明本双曝光视频成像系统是一种能够获取动态场景高质量HDR视频的有效系统。
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (7)
1.一种基于动态场景的双曝光视频成像系统，其特征在于，包括：
双曝光图像采集模块，用于通过控制曝光时间获取第一序列图像数据，所述第一序列图像数据包括若干帧第一曝光图像，相邻两个所述第一曝光图像的曝光度分别为第一曝光度和第二曝光度，且所述第一曝光度和所述第二曝光度不相等；
图像传输模块，连接所述双曝光图像采集模块，用于获取所述第一序列图像数据，对所述第一序列图像数据进行固定间隔帧抽帧处理得到第二序列图像数据，其中，所述第二序列图像数据包括若干帧第二曝光图像，相邻两个所述第二曝光图像的曝光度分别为第一曝光度和第二曝光度；
图像处理模块，连接所述图像传输模块，用于获取所述第一序列图像数据或所述第二序列图像数据，并对所述第一序列图像数据中相邻两个所述第一曝光图像或所述第二序列图像数据中相邻两个所述第二曝光图像进行融合处理，最终获得融合后的图像序列；
所述双曝光图像采集模块包括第一处理器和可见光相机，其中：
所述第一处理器，用于控制所述可见光相机中的寄存器的曝光时间交替按照第一曝光时间和第二曝光时间进行曝光；
所述可见光相机，用于根据所述寄存器的第一曝光时间和第二曝光时间进行曝光，得到所述第一序列图像数据；
所述图像传输模块包括第二处理器、第一存储器、第二存储器、GPS授时模块和第三处理器，所述可见光相机、所述第一存储器、所述第二存储器、所述GPS授时模块和所述第三处理器均连接所述第二处理器，其中：
所述第二处理器，用于接收所述第一序列图像数据，并对所述第一序列图像数据进行抽帧处理得到第二序列图像数据；
所述第一存储器，用于缓存与转发所述第一序列图像数据和所述第二序列图像数据；
所述第二存储器，用于存储经所述第一存储器缓存和转发的所述第一序列图像数据；
所述GPS授时模块，用于对所述若干帧第一序列曝光图像进行授时；
所述第三处理器，用于接收所述第一存储器缓存和转发的所述第二序列图像数据，并对所述第二序列图像数据进行压缩传输处理；
图像处理模块包括PC上位机，所述PC上位机连接所述第三处理器，其中：
所述PC上位机，用于对压缩后的第二序列图像数据进行解压，根据自适应阈值对相邻两个所述第一曝光图像或解压后的相邻两个所述第二曝光图像进行处理得到包括运动区域的二值图像，并对相邻两个所述第一曝光图像或相邻两个所述第二曝光图像进行亮度平衡处理对应得到两帧亮度平衡图像，且将相邻两个所述第一曝光图像或相邻两个所述第二曝光图像分别与包括运动区域的二值图像进行结合对应得到两帧基础权重图像，最后根据增强后的拉普拉斯金字塔对所述两帧亮度平衡图像和所述基础权重图像进行处理得到融合后的图像。
2.根据权利要求1所述的双曝光视频成像系统，其特征在于，所述第一处理器为FPGA。
3.根据权利要求1所述的双曝光视频成像系统，其特征在于，所述可见光相机和所述第二处理器通过CAMERALINK传输线缆进行连接。
4.根据权利要求1所述的双曝光视频成像系统，其特征在于，所述第二处理器为FPGA，所述第三处理器为ARM。
5.根据权利要求1所述的双曝光视频成像系统，其特征在于，还包括无线发射模块和无线接收模块，所述第三处理器和所述PC上位机通过所述无线发射模块和所述无线接收模块进行无线连接。
6.根据权利要求1所述的双曝光视频成像系统，其特征在于，所述增强后的拉普拉斯金字塔的公式为：
其中，
为增强后的拉普拉斯金字塔，/>
为增益系数矩阵塔，/>
为融合后的拉普拉斯金字塔，d为融合后的拉普拉斯金字塔的层号，(x，y)为坐标位置。
7.根据权利要求6所述的双曝光视频成像系统，其特征在于，所述增益系数的计算公式为：
其中，
为增益系数矩阵塔，/>
为最小的增益系数，/>
为最大的增益系数，/>
为融合后的拉普拉斯金字塔的最高层的层号，d为融合后的拉普拉斯金字塔的层号，/>
为可调参数，/>
为第d层的融合后的拉普拉斯金字塔中坐标位置为(x，y)处的噪声可见度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910693033.1A CN110619593B (zh) | 2019-07-30 | 2019-07-30 | 一种基于动态场景的双曝光视频成像系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910693033.1A CN110619593B (zh) | 2019-07-30 | 2019-07-30 | 一种基于动态场景的双曝光视频成像系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110619593A CN110619593A (zh) | 2019-12-27 |
| CN110619593B true CN110619593B (zh) | 2023-07-04 |
Family
ID=68921630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910693033.1A Active CN110619593B (zh) | 2019-07-30 | 2019-07-30 | 一种基于动态场景的双曝光视频成像系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110619593B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113364964B (zh) * | 2020-03-02 | 2023-04-07 | RealMe重庆移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与终端设备 |
| CN113347368B (zh) * | 2020-03-03 | 2023-04-18 | 华为技术有限公司 | 一种基于曝光控制的视频采集方法及装置 |
| CN114630053B (zh) * | 2020-12-11 | 2023-12-12 | 青岛海信移动通信技术有限公司 | 一种hdr图像显示方法及显示设备 |
| CN112528944B (zh) * | 2020-12-23 | 2024-08-06 | 杭州海康汽车软件有限公司 | 一种图像识别方法、装置、电子设备及存储介质 |
| CN114697537B (zh) * | 2020-12-31 | 2024-05-10 | 浙江清华柔性电子技术研究院 | 图像获取方法、图像传感器及计算机可读存储介质 |
| CN112887623B (zh) * | 2021-01-28 | 2022-11-29 | 维沃移动通信有限公司 | 图像生成方法、装置及电子设备 |
| CN113012070B (zh) * | 2021-03-25 | 2023-09-26 | 常州工学院 | 一种基于模糊控制的高动态场景图像序列获取方法 |
| CN113079323B (zh) * | 2021-03-31 | 2022-02-11 | 中国科学院长春光学精密机械与物理研究所 | 一种基于二维熵的航天遥感载荷自动曝光方法 |
| FR3122276B1 (fr) | 2021-04-26 | 2023-03-10 | Commissariat Energie Atomique | Traitement d'image destiné à une inférence intégrée |
| CN113222870B (zh) * | 2021-05-13 | 2023-07-25 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN115706870B (zh) * | 2021-08-12 | 2023-12-26 | 荣耀终端有限公司 | 视频处理方法、装置、电子设备和存储介质 |
| CN115086567B (zh) * | 2021-09-28 | 2023-05-19 | 荣耀终端有限公司 | 延时摄影方法和装置 |
| CN113822819B (zh) * | 2021-10-15 | 2023-10-27 | Oppo广东移动通信有限公司 | Hdr场景检测方法与装置、终端及可读存储介质 |
| CN114071023B (zh) * | 2021-11-18 | 2023-06-02 | 成都微光集电科技有限公司 | 图像传感器曝光时序切换方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106375675A (zh) * | 2016-08-30 | 2017-02-01 | 中国科学院长春光学精密机械与物理研究所 | 一种航空相机多曝光图像融合方法 |
| WO2019071613A1 (zh) * | 2017-10-13 | 2019-04-18 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN109754377A (zh) * | 2018-12-29 | 2019-05-14 | 重庆邮电大学 | 一种多曝光图像融合方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8406569B2 (en) * | 2009-01-19 | 2013-03-26 | Sharp Laboratories Of America, Inc. | Methods and systems for enhanced dynamic range images and video from multiple exposures |
| US10148888B2 (en) * | 2016-05-18 | 2018-12-04 | Texas Instruments Incorporated | Image data processing for multi-exposure wide dynamic range image data |
-
2019
- 2019-07-30 CN CN201910693033.1A patent/CN110619593B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106375675A (zh) * | 2016-08-30 | 2017-02-01 | 中国科学院长春光学精密机械与物理研究所 | 一种航空相机多曝光图像融合方法 |
| WO2019071613A1 (zh) * | 2017-10-13 | 2019-04-18 | 华为技术有限公司 | 一种图像处理方法及装置 |
| CN109754377A (zh) * | 2018-12-29 | 2019-05-14 | 重庆邮电大学 | 一种多曝光图像融合方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110619593A (zh) | 2019-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110619593B (zh) | 一种基于动态场景的双曝光视频成像系统 | |
| US11558558B1 (en) | Frame-selective camera | |
| US11854167B2 (en) | Photographic underexposure correction using a neural network | |
| CN110599433B (zh) | 一种基于动态场景的双曝光图像融合方法 | |
| CN110072051B (zh) | 基于多帧图像的图像处理方法和装置 | |
| US11132771B2 (en) | Bright spot removal using a neural network | |
| KR101699919B1 (ko) | 다중 노출 퓨전 기반에서 고스트 흐림을 제거한 ｈｄｒ 영상 생성 장치 및 방법 | |
| CN110033418B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN110445988B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP4234195B2 (ja) | 画像分割方法および画像分割システム | |
| US7463296B2 (en) | Digital cameras with luminance correction | |
| WO2020207262A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN110248106B (zh) | 图像降噪方法、装置、电子设备以及存储介质 | |
| CN110191291B (zh) | 基于多帧图像的图像处理方法和装置 | |
| EP1583032A2 (en) | Luminance Correction | |
| WO2020207261A1 (zh) | 基于多帧图像的图像处理方法、装置、电子设备 | |
| CN111064904A (zh) | 一种暗光图像增强方法 | |
| KR20210118233A (ko) | 모바일 전자 기기를 사용한 고품질 플래쉬 사진을 위해 복수의 이미지를 촬영 및 블렌딩하는 장치 및 방법 | |
| CN108156369B (zh) | 图像处理方法和装置 | |
| WO2014093048A1 (en) | Determining an image capture payload burst structure | |
| CN110047060B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN111242860A (zh) | 超级夜景图像的生成方法、装置、电子设备及存储介质 | |
| CN107682611B (zh) | 对焦的方法、装置、计算机可读存储介质和电子设备 | |
| CN107451971A (zh) | 基于暗通道和高斯组合先验的低照度盲卷积图像复原法 | |
| CN115578273A (zh) | 图像多帧融合的方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |