CN111147690A - 一种多图像传感器摄像机的帧同步装置及方法 - Google Patents

Abstract

本发明实施例公开了一种多图像传感器摄像机的帧同步装置及方法，涉及图像处理领域。所述装置包括：主控芯片、时钟复制器和图像传感器，所述图像传感器至少有两个，图像传感器包括第一图像传感器和第N图像传感器，所述主控芯片、时钟复制器和图像传感器彼此之间电连接，其中，所述第一图像传感器的时钟发送端连接至时钟复制器的时钟接收端。本发明实施例能够解决现有多图像传感器摄像机的多路图像传感器之间帧不同步导致拼接图像质量不高的问题。

Description

一种多图像传感器摄像机的帧同步装置及方法

技术领域

本发明实施例涉及图像处理领域，具体涉及一种多图像传感器摄像机的帧同步装置及方法。

背景技术

近年来，随着视频采集技术及半导体技术的不断发展，图像采集领域对分辨率及视场的技术需求越来越高。但是，由于摄像机传统光学镜头的限制，又无法同时兼顾高分辨率及大视场，在此背景下，市场上开始出现多图像传感器摄像机的解决方案。另外近几年来兴起的光场成像技术亦采用多图像传感器对空间中的多维度光学信息进行采集。

多图像传感器摄像机方案一般采用单个主控芯片连接多路图像传感器的方式实现，主控芯片负责多路图像传感器的数据采集以及图像的拼接、校正等功能。但常用的监控类主控芯片无图像传感器功能，所使用的图像传感器为各自独立的IC，在图像信号的采集、处理、发送上均无法实现相互传感器间的同步。而且多感光芯片产生的多路不同步的信号经过主控芯片拼接后压缩、编码又加剧了图像不同步的现象。例如在针对长焦距移动物体的场景下的视频采集，图像的不同步性所造成的不良效果非常明显。如一台双目摄像机经过拼接能达到90度水平视场角，在拍摄交通路况时，当行驶中的汽车越过两个摄像头采集区域的间隙，即从一个摄像头移动到另一个摄像头的拍摄区域时，会有明显的画面撕裂，甚至被拍物体缺损的现象，当用户观察时就会觉得汽车是从一个区域瞬间移动到了另一个区域。当摄像头增多时，如在同样的焦距及水平视场角情况下，摄像头增加到四目，即四个独立的图像传感器，这种现象会越加严重。

这种由采集端独立工作造成的图像传感器间的帧不同步现象无法通过图像传感器或现有的主控芯片内部硬件或者程序的调整来解决。

发明内容

本发明实施例的目的在于提供一种多图像传感器摄像机的帧同步装置及方法，用以解决现有多图像传感器摄像机的多路图像传感器之间帧不同步导致拼接图像质量不高的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种多图像传感器摄像机的帧同步装置，

所述装置包括：主控芯片、时钟复制器和图像传感器，所述图像传感器至少有两个，图像传感器包括第一图像传感器和第N图像传感器，所述主控芯片、时钟复制器和图像传感器彼此之间电连接，其中，所述第一图像传感器的时钟发送端连接至时钟复制器的时钟接收端。

进一步地，所述主控芯片通过控制电路连接至时钟复制器和图像传感器，所述时钟复制器的时钟发送端连接至主控芯片和每一个第N图像传感器的时钟接收端，每个图像传感器的数据发送端连接至主控芯片的数据接收端。

进一步地，所述图像传感器的第一图像传感器和第N图像传感器为同一型号的传感器，且图像传感器被配置的工作模式包括主动产生图像时钟的主模式和接受外部输入图像时钟的从模式。

进一步地，所述时钟复制器基于现场可编程门阵列FPGA。

第二方面，本发明实施例提供了一种多图像传感器摄像机的帧同步方法，

所述方法应用于一种多图像传感器摄像机的帧同步装置，所述方法包括：初始化主控芯片，并启动图像传感器和时钟复制器；时钟复制器进行内部初始化后，接收第一图像传感器的图像时钟；将时钟复制器的输出和输入的图像时钟进行同步，直至时钟复制器具有同步且稳定的输出；主控芯片控制各路图像传感器根据各自的图像时钟生成图像数据；主控芯片采集各路图像传感器输入的图像并标记其时间戳；主控芯片根据各图像的时间戳间隔将图像拼接成一帧图像。

进一步地，所述主控芯片在启动图像传感器前将第一图像传感器的工作模式配置为主模式，将第N图像传感器的工作模式配置为从模式。

进一步地，所述将时钟复制器的输出和输入的图像时钟进行同步，具体包括：时钟复制器将采集的图像时钟复制后并输出到FPGA内部总线；时钟复制器将复制输出的图像时钟与输入的图像时钟分别采样并计算出相位差；当相位差大于输入的图像时钟周期的1％时，则认为输入与输出时钟不同步，当相位差小于输入的图像时钟周期的1％时，则认为输入与输出时钟同步。

进一步地，所述方法包括：当输入与输出时钟不同步时，时钟复制器将计算得到的相位差经过FPGA内部建立的共轭梯度模型求解得到输出的延时控制参数，再根据延时控制参数对时钟复制器的输出时钟信号进行延时微调。

进一步地，所述方法包括：当两个图像的时间戳间隔小于1毫秒，则认为二者的时间戳接近，主控芯片将所述两个图像拼接成一帧图像。

本发明实施例提供的技术方案至少具有如下优点：

本发明实施例使用第一图像传感器作为唯一图像时钟基准并经过时钟复制器形成多个稳定、同步的时钟输出供各路图像传感器及主控芯片使用，保证了系统图像时钟的同步性，且本发明使用单一主控芯片和标记时间戳的方式使采集的各路图像帧的前后帧加以区分，保证了系统拼接时不会对各路图像的时间顺序产生混淆，使多路图像传感器之间帧同步，提高拼接图像质量。

附图说明

图1为本发明实施例提供的一种多图像传感器摄像机的帧同步装置的结构示意图。

图2为本发明实施例提供的一种多图像传感器摄像机的帧同步方法的步骤流程图。

图3为本发明实施例提供的一种多图像传感器摄像机的帧同步装置的局部流程图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本发明。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明实施例提供一种多图像传感器摄像机的帧同步装置，参考图1，该装置主要包括：主控芯片01、时钟复制器02和图像传感器。主控芯片01为具有多个图像接收接口且具备内部拼接能力的芯片，如Hi3519a、Hi3559a、H22、CV22、CV22AQ等；时钟复制器02为常用FPGA，如Zync-7000、Kintex系列等；图像传感器为带有数字图像输出接口并具有主从模式的图像传感器，如IMX290、IMX334、IMX477等。图像传感器至少有两个，图像传感器包括第一图像传感器03和第N图像传感器，主控芯片01、时钟复制器02和图像传感器彼此之间电连接，其中，需要说明的是：第一图像传感器03的时钟发送端04连接至时钟复制器02的时钟接收端05，从而将第一图像传感器03的工作设置成主模式，以实现所有图像传感器的时钟同步。

具体地，主控芯片01通过控制电路连接至时钟复制器02和图像传感器，用于控制时钟复制器02和图像传感器的启停，且本申请中主控芯片01、时钟复制器02和图像传感器具有一个共同的电源，从而保证本实施例所有部件电源的一致性，保证所有功能单元同时供电。

主控芯片01具有采集至少两路图像传感器数据以及将所采集图像数据进行拼接的能力，且主控芯片01具有一个时钟接收端05和多个数据接收端07，时钟复制器02具有一个时钟接收端05和多个时钟发送端04，图像传感器的第一图像传感器03和第N图像传感器为同一型号的传感器，图像传感器具有时钟发送端04、时钟接收端05和数据发送端06，可根据需要连接不同的端口。其中，N的值为2，3，4……n。

时钟复制器02的时钟发送端04连接至主控芯片01和每一个第N图像传感器的时钟接收端05，每个图像传感器的数据发送端06连接至主控芯片01的数据接收端07。第一图像传感器03的时钟发送端04连接至时钟复制器02的时钟接收端05，以便于时钟复制器02复制第一图像传感器03的图像时钟。且图像传感器被配置的工作模式包括主动产生图像时钟的主模式和接受外部输入图像时钟的从模式。

本申请的时钟复制器02基于现场可编程门阵列FPGA，Field-Programmable GateArray，FPGA采用了逻辑单元阵列LCA，Logic Cell Array，这样一个概念，内部包括Configurable Logic Block可配置逻辑模块CLB、Input Output Block输入输出模块IOB和内部连线Interconnect三个部分。FPGA利用小型查找表16×1RAM来实现组合逻辑，每个查找表连接到一个D触发器的输入端，触发器再来驱动其他逻辑电路或驱动I/O由此构成了既可实现组合逻辑功能又可实现时序逻辑功能的基本逻辑单元模块，这些模块间利用金属连线互相连接或连接到I/O模块。FPGA的逻辑是通过向内部静态存储单元加载编程数据来实现的，存储在存储器单元中的值决定了逻辑单元的逻辑功能以及各模块之间或模块与I/O间的联接方式，并最终决定了FPGA所能实现的功能，FPGA允许无限次的编程。

本实施例通过基于FPGA的时钟复制器02将输入的图像时钟经过内部采样、复制、相位同步和锁定、输出等步骤实现输入输出多个图像时钟的严格同步，以实现图像的帧同步，具体的方法参见下文的一种多图像传感器摄像机的帧同步方法。

与上述实施例对应的，本实施例提供一种多图像传感器摄像机的帧同步方法，参考图2，该方法主要包括：开启电源，初始化主控芯片01，并由主控芯片01启动图像传感器和时钟复制器02；其中主控芯片01在启动图像传感器前将第一图像传感器03的工作模式配置为主模式，将第N图像传感器的工作模式配置为从模式。

进一步地，时钟复制器02进行内部初始化后，时钟复制器02接收第一图像传感器03的图像时钟，并将输出和输入的图像时钟进行同步，直至时钟复制器02具有同步且稳定的输出，并锁定此时的时钟相位；主控芯片01根据时钟复制器02输出的图像时钟控制各路图像传感器采集图像数据，并发至主控芯片01；主控芯片01采集各路图像传感器输入的图像并标记其时间戳；主控芯片01根据各图像的时间戳间隔将图像拼接成一帧图像。

其中，参考图3，将时钟复制器02的输出和输入的图像时钟进行同步，具体包括：

时钟复制器02将采集的图像时钟复制后并输出到FPGA内部总线；时钟复制器02将复制输出的图像时钟与输入的图像时钟分别采样并计算出相位差

其中，t_A为输入信号初始相位时的时间，t_B为输出信号达到初始相位的时间，t_C为输入信号再次达到初始相位的时间，ΔT为输入输出信号时间差，T为信号周期。

当相位差大于输入的图像时钟周期的1％时，则认为输入与输出时钟不同步，当相位差小于输入的图像时钟周期的1％时，则认为输入与输出时钟同步。

当输入与输出时钟不同步时，时钟复制器02将计算得到的相位差经过FPGA内部建立的共轭梯度模型求解得到输出的延时控制参数，延时控制参数x(k)的计算步骤包括：

计算残差r(k)：

r(k)＝Ax(k-1)-b

根据残差计算方向向量d(k)：

根据方向向量计算步长a(k)：

根据步长更新解：

x(k)＝x(k-1)+a(k)d(k)

上述公式中k为迭代次数，A为对称正定矩阵，b为常量，r(k)为k次迭代的残差，d(k)为k次迭代的方向向量，a(k)为k次迭代的步长，x(k)为k次迭代的解，即延时控制参数。

再根据延时控制参数对时钟复制器02的输出时钟信号进行延时微调，延时的方法为根据下述公式得到FGPA设置的延时参数，其中B为单位转化常量：

dealy＝Bx

另外，优选的当两个图像的时间戳间隔小于1毫秒，则认为二者的时间戳接近，主控芯片01将两个图像拼接成一帧图像。

本发明实施例使用第一图像传感器03作为唯一图像时钟基准并经过时钟复制器02形成多个稳定、同步的时钟输出供各路图像传感器及主控芯片01使用，保证了系统图像时钟的同步性，且本发明使用单一主控芯片01和标记时间戳的方式使采集的各路图像帧的前后帧加以区分，保证了系统拼接时不会对各路图像的时间顺序产生混淆，使多路图像传感器之间帧同步，提高拼接图像质量。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件与软件组合来实现。当应用软件时，可以将相应功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (9)

1.一种多图像传感器摄像机的帧同步装置，其特征在于，所述装置包括：主控芯片、时钟复制器和图像传感器，所述图像传感器至少有两个，图像传感器包括第一图像传感器和第N图像传感器，所述主控芯片、时钟复制器和图像传感器彼此之间电连接，其中，所述第一图像传感器的时钟发送端连接至时钟复制器的时钟接收端。

2.如权利要求1所述的一种多图像传感器摄像机的帧同步装置，其特征在于，所述主控芯片通过控制电路连接至时钟复制器和图像传感器，所述时钟复制器的时钟发送端连接至主控芯片和每一个第N图像传感器的时钟接收端，每个图像传感器的数据发送端连接至主控芯片的数据接收端。

3.如权利要求1所述的一种多图像传感器摄像机的帧同步装置，其特征在于，所述图像传感器的第一图像传感器和第N图像传感器为同一型号的传感器，且图像传感器被配置的工作模式包括主动产生图像时钟的主模式和接受外部输入图像时钟的从模式。

4.如权利要求1所述的一种多图像传感器摄像机的帧同步装置，其特征在于，所述时钟复制器基于现场可编程门阵列FPGA。

5.一种多图像传感器摄像机的帧同步方法，其特征在于，所述方法应用于一种多图像传感器摄像机的帧同步装置，所述方法包括：

初始化主控芯片，并启动图像传感器和时钟复制器；

时钟复制器进行内部初始化后，接收第一图像传感器的图像时钟；

将时钟复制器的输出和输入的图像时钟进行同步，直至时钟复制器具有同步且稳定的输出；

主控芯片控制各路图像传感器根据各自的图像时钟生成图像数据；

主控芯片采集各路图像传感器输入的图像并标记其时间戳；

主控芯片根据各图像的时间戳间隔将图像拼接成一帧图像。

6.如权利要求5所述的一种多图像传感器摄像机的帧同步方法，其特征在于，所述主控芯片在启动图像传感器前将第一图像传感器的工作模式配置为主模式，将第N图像传感器的工作模式配置为从模式。

7.如权利要求5所述的一种多图像传感器摄像机的帧同步方法，其特征在于，所述将时钟复制器的输出和输入的图像时钟进行同步，具体包括：

时钟复制器将采集的图像时钟复制后并输出到FPGA内部总线；

时钟复制器将复制输出的图像时钟与输入的图像时钟分别采样并计算出相位差；

当相位差大于输入的图像时钟周期的1％时，则认为输入与输出时钟不同步，当相位差小于输入的图像时钟周期的1％时，则认为输入与输出时钟同步。

8.如权利要求7所述的一种多图像传感器摄像机的帧同步方法，其特征在于，所述方法包括：当输入与输出时钟不同步时，时钟复制器将计算得到的相位差经过FPGA内部建立的共轭梯度模型求解得到输出的延时控制参数，再根据延时控制参数对时钟复制器的输出时钟信号进行延时微调。

9.如权利要求8所述的一种多图像传感器摄像机的帧同步方法，其特征在于，所述方法包括：当两个图像的时间戳间隔小于1毫秒，则认为二者的时间戳接近，主控芯片将所述两个图像拼接成一帧图像。

Images