CN103544714A - 一种基于高速图像传感器的视觉追踪系统及方法 - Google Patents

Abstract

本发明公开了一种基于高速图像传感器的视觉追踪系统及方法，该系统包括光学镜头、图像采集及视觉处理片上系统、高速旋转平台和电源管理模块，其中，光学镜头用于对追踪目标进行成像；图像采集及视觉处理片上系统用于实现图像采集和视觉分析；高速旋转平台用于安装光学镜头和图像采集及视觉处理片上系统；电源管理模块用于为系统中各部分提供合适稳定的电源，保证系统正常工作。本发明通过图像采集及视觉处理片上系统对目标进行采集和分析，并根据目标位置驱动旋转平台运动，保证目标在系统视野中心并获得其位置、速度等信息。该系统集成度高、精度高、速度快、成本低，可完成传统追踪系统无法完成的高速目标追踪任务。

Description

一种基于高速图像传感器的视觉追踪系统及方法

技术领域

本发明涉及可编程视觉芯片及安全监控技术领域，尤其涉及一种基于高速图像传感器的视觉追踪系统及方法，具有高速度、高集成、低功耗、低成本的优势，可应用于安全监控和工农业生产自动检测中。

背景技术

随着计算机系统的应用和机器视觉的发展，通过摄像头及相应的图像处理网络的监控和追踪系统被越来越多的行业所采用。目前带有自动追踪功能的监控系统主要有两类：一种是基于PC的监控追踪系统，通过将图像传输到PC上利用相应软件进行处理、识别和追踪，但限于传输瓶颈，其处理速度较慢且成本较高；另一类是基于嵌入式系统的追踪系统，其主要采用CPU或DSP对图像进行处理，但传输瓶颈依然存在(一般不超过50帧/秒)，并由于处理能力有限，应用复杂度也受限。

发明内容

(一)要解决的技术问题

针对以上问题，本发明提供了一种高集成度、高性能、低成本、低功耗的基于高速图像传感器的视觉追踪系统及方法，以实现在不同环境下运动目标的追踪，可应用于工农业生产和安全监控等领域中。

(二)技术方案

为达到上述目的，本发明提供了一种基于高速图像传感器的视觉追踪系统，该系统包括：光学镜头，用于对追踪目标进行成像；图像采集及视觉处理片上系统，用于实现图像采集和视觉分析；高速旋转平台，用于安装光学镜头和图像采集及视觉处理片上系统；电源管理模块，用于为系统中各部分提供合适稳定的电源，保证系统正常工作。

上述方案中，该光学镜头为可调焦镜头，能够根据环境及追踪目标需求而自动调节，以达到最好的成像效果。

上述方案中，该图像采集及视觉处理片上系统是将图像采集和视觉处理集成在同一芯片上，包括图像采集子模块、视觉处理子模块和执行器控制子模块，其中：该图像采集子模块为二维像素阵列，用于对高速采集的图像进行初步去噪和模数转换，然后传输至视觉处理子模块；该视觉处理子模块，用于根据实际的应用算法，对来自图像采集子模块的图像进行低、中、高级处理，获取目标的位置和速度信息；该执行器控制子模块，用于根据得到的目标的位置、速度信息，计算高速旋转平台所需的运动方向和角度，进而生成相应的控制伺服电机运转方向和角度的脉冲。

上述方案中，该视觉处理子模块包括像素处理器、局部处理器和全局处理器，其中，像素处理器为二维像素阵列，每一单元对应一个或多个像素，用于对图像进行像素级并行处理；局部处理器用于将一定范围内的图像进行特征提取；全局处理器用于对整个图像提取特征并进行判决。

上述方案中，该视觉处理子模块的高级处理部分和执行器控制子模块共用多核精简指令处理器，在保证系统性能的前提下提升硬件利用率。

上述方案中，该高速旋转平台为三自由度(x,y,z)旋转平台，由x,y,z伺服电机及其相应的传动装置组成，在接收到执行器控制子模块的控制脉冲后精确运动到指定角度，并将运动角度传回执行器控制子模块。

上述方案中，该视觉追踪系统通过USB、以太网口接口与上位机或网络相连接，下载追踪算法并将追踪的结果、位置、速度信息进行发布。

为达到上述目的，本发明还提供了一种基于高速图像传感器的视觉追踪方法，该方法对于图像采集及视觉处理片上系统获得的每一帧图像，执行以下步骤：步骤a：对其进行图像预处理以减小噪声，突出特征点；步骤b：计算并更新背景；步骤c：将当前图像与背景相减取模以获得运动差值；步骤d：对差值图进行阈值分割，获得运动目标的大致坐标；步骤e：提取获得坐标周围一定范围内的颜色直方图；步骤f：将获取的直方图与目标直方图进行相似性比对；步骤g：对比对结果进行判决并获取目标具体位置，更新目标直方图；若没有匹配目标，即目标丢失，则依据之前获得的目标位置信息进行目标搜索；步骤h：根据目标位置控制高速旋转平台运动到相应位置并对光学镜头进行适当调焦；步骤i：流程返回步骤a，继续追踪目标。

(三)有益效果

从本发明的技术方案可以看出，本发明有以下有益效果：

1、本发明提供的基于高速图像传感器的视觉追踪系统及方法，采用的图像采集及视觉处理片上系统集成了图像采集和处理两大功能，图像信息在片内传输处理，消除了传统图像传输瓶颈；视觉处理部分采用低中高分级处理，并采取不同程度的并行处理，极大地提高了处理效率和精度，进而可以实现高速运动物体(1000帧/秒以上)的快速追踪。

2、本发明提供的基于高速图像传感器的视觉追踪系统及方法，采用片上系统进行图像采集和处理，提高系统集成度，降低了应用成本。

3、本发明提供的基于高速图像传感器的视觉追踪系统及方法，采用高速旋转平台，可实现360°全景搜索追踪，速度和效率远高于传统的计算机追踪系统和嵌入式系统。

附图说明

图1为本发明提供的基于高速图像传感器的视觉追踪系统的结构示意图；

图2为图1中图像采集及视觉处理片上系统的结构示意图；

图3为本发明提供的基于高速图像传感器的视觉追踪方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

如图1所示，图1为本发明提供的基于高速图像传感器的视觉追踪系统的结构示意图，该系统包括光学镜头、图像采集及视觉处理片上系统、高速旋转平台和电源管理模块，其中，光学镜头用于对追踪目标进行成像；图像采集及视觉处理片上系统用于实现图像采集和视觉分析；高速旋转平台用于安装光学镜头和图像采集及视觉处理片上系统；电源管理模块用于为系统中各部分提供合适稳定的电源，保证系统正常工作。

其中，光学镜头为可调焦镜头，能够根据环境及追踪目标需求而自动调节，以达到最好的成像效果。

如图2所示，图像采集及视觉处理片上系统是将图像采集和视觉处理集成在同一芯片上，包括图像采集子模块、视觉处理子模块和执行器控制子模块，是追踪系统的处理和控制核心。其中：该图像采集子模块为二维像素阵列，用于对高速采集的图像进行初步去噪和模数转换，然后传输至视觉处理子模块；该视觉处理子模块，用于根据实际的应用算法，对来自图像采集子模块的图像进行低、中、高级处理，获取目标的位置和速度信息；该执行器控制子模块依托着多核精简指令级处理器，用于根据得到的目标的位置、速度等信息，计算高速旋转平台所需的运动方向和角度，进而生成相应的控制伺服电机运转方向和角度的脉冲。

视觉处理子模块包括像素处理器、局部处理器和全局处理器，分别对应于图像处理中的低中高级处理；其中，像素处理器为二维像素阵列，每一单元对应一个或多个像素，用于对图像进行像素级并行处理；局部处理器，用于将一定范围内的图像进行特征提取；全局处理器为多核精简指令处理器，计算能力强，用于对整个图像提取特征并进行判决。该视觉处理子模块的高级处理部分和执行器控制子模块共用多核精简指令处理器，在保证系统性能的前提下提升硬件利用率。

高速旋转平台为三自由度(x,y,z)旋转平台，光学镜头和图像采集及视觉处理片上系统安装在该平台上；高速旋转平台由x,y,z伺服电机及其相应的传动装置组成，在接收到执行器控制子模块的控制脉冲后精确运动到指定角度，并将运动角度传回执行器控制子模块。高速旋转平台由基座、x转台、y转台和z转台组成，可实现xyz方向的旋转。基座用于旋转平台的固定和安装，上面有打有相应的安装孔；z转台安装在基座上，由z台面、减速器、驱动器和伺服电机组成，在接收到执行器控制模块的控制脉冲后，伺服电机带动减速器转动，从而驱动z台面绕z轴旋转；y转台安装在z台面上，由y台面、减速器、驱动器和伺服电机组成，在接收到执行器控制模块的控制脉冲后，伺服电机带动减速器转动，从而驱动y台面绕y轴旋转；x转台安装在y台面上，由x台面、减速器、驱动器和伺服电机组成，在接收到执行器控制模块的控制脉冲后，伺服电机带动减速器转动，从而驱动x台面绕x轴旋转，进而带动光学镜头完成调焦动作。

如图1所示，本发明提供的视觉追踪系统中所需各种电源类型复杂，电源管理模块4为系统中各部分提供合适稳定的电源，保证系统正常工作。本发明提供的视觉追踪系统通过USB、以太网口接口与上位机或网络相连接，下载追踪算法并将追踪的结果、位置、速度信息进行发布。

基于图1和图2示出的基于高速图像传感器的视觉追踪系统，本发明还提供了一种基于高速图像传感器的视觉追踪方法，如图3所示，该方法对于图像采集及视觉处理片上系统获得的每一帧图像，执行以下步骤：

步骤a：对其进行图像预处理以减小噪声，突出特征点；

步骤b：计算并更新背景；

步骤c：将当前图像与背景相减取模以获得运动差值；

步骤d：对差值图进行阈值分割，获得运动目标的大致坐标；

步骤e：提取获得坐标周围一定范围内的颜色直方图；

步骤f：将获取的直方图与目标直方图进行相似性比对；

步骤g：对比对结果进行判决并获取目标具体位置，更新目标直方图；若没有匹配目标，即目标丢失，则依据之前获得的目标位置信息进行目标搜索；

步骤h：根据目标位置控制高速旋转平台运动到相应位置并对光学镜头进行适当调焦；

步骤i：流程返回步骤a，继续追踪目标。

采用本发明还提供的这种基于高速图像传感器的视觉追踪方法，追踪目标出现在视野中，图像采集及视觉处理片上系统2高速采集图像并对图像进行分析处理，获取所需的目标坐标，然后依据目标的位置、速度等信息控制高速旋转平台3精确运动到指定角度并自动调节光学镜头1焦距，从而保证追踪目标一直处于视野中央；具体方法流程如下：

(a)获取一帧图像，对其进行图像预处理以减小噪声，突出特征点；图像预处理主要包括高斯滤波、形态学滤波和图像增强，这样可以有效地抑制背景噪声点并突出边缘等图像特征。

(b)计算并更新背景；背景更新按照公式1.1完成，

B_i＝αF_i+(1-α)B_i-1      1.1

其中B_i为当前帧背景，B_i-1为上一帧背景，F_i为当前帧图像，α为[0，1]的学习速率。

(c)将当前图像与背景相减以获得运动差值；剪除的背景应为为上一帧背景(B_i-1)

(d)对差值图进行阈值分割，获得运动目标的大致坐标。

(e)提取获得坐标周围一定范围内的颜色直方图；所取直方图的大小取决于追踪目标的大小，要保证完全覆盖目标同时又不能过大以免过度降低系统性能。

(f)将获取的直方图与目标直方图进行相似性比对；对比可采用巴式系数进行度量，如公式1.2所示：

$\mathrm{\ρ}\left(y\right)=\mathrm{\ρ}[q\left(y_0\right),p\left(y\right)]=\mathrm{\Σ}\sqrt{q\left(y_0\right),p\left(y\right)}---\left(1.2\right)$

(g)对比对结果进行判决并获取目标具体位置，更新目标直方图；

(h)根据目标位置控制高速旋转平台运动到相应位置并适当调焦；

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种基于高速图像传感器的视觉追踪系统，其特征在于，该系统包括：

光学镜头，用于对追踪目标进行成像；

图像采集及视觉处理片上系统，用于实现图像采集和视觉分析；

高速旋转平台，用于安装光学镜头和图像采集及视觉处理片上系统；

电源管理模块，用于为系统中各部分提供合适稳定的电源，保证系统正常工作。

2.根据权利要求1所述的基于高速图像传感器的视觉追踪系统，其特征在于，该光学镜头为可调焦镜头，能够根据环境及追踪目标需求而自动调节，以达到最好的成像效果。

3.根据权利要求1所述的基于高速图像传感器的视觉追踪系统，其特征在于，该图像采集及视觉处理片上系统是将图像采集和视觉处理集成在同一芯片上，包括图像采集子模块、视觉处理子模块和执行器控制子模块，其中：

该图像采集子模块为二维像素阵列，用于对高速采集的图像进行初步去噪和模数转换，然后传输至视觉处理子模块；

该视觉处理子模块，用于根据实际的应用算法，对来自图像采集子模块的图像进行低、中、高级处理，获取目标的位置和速度信息；

该执行器控制子模块，用于根据得到的目标的位置、速度信息，计算高速旋转平台所需的运动方向和角度，进而生成相应的控制伺服电机运转方向和角度的脉冲。

4.根据权利要求3所述的基于高速图像传感器的视觉追踪系统，其特征在于，该视觉处理子模块包括像素处理器、局部处理器和全局处理器，其中，像素处理器为二维像素阵列，每一单元对应一个或多个像素，用于对图像进行像素级并行处理；局部处理器用于将一定范围内的图像进行特征提取；全局处理器用于对整个图像提取特征并进行判决。

5.根据权利要求3所述的基于高速图像传感器的视觉追踪系统，其特征在于，该视觉处理子模块的高级处理部分和执行器控制子模块共用多核精简指令处理器，在保证系统性能的前提下提升硬件利用率。

6.根据权利要求1所述的基于高速图像传感器的视觉追踪系统，其特征在于，该高速旋转平台为三自由度(x,y,z)旋转平台，由x,y,z伺服电机及其相应的传动装置组成，在接收到执行器控制子模块的控制脉冲后精确运动到指定角度，并将运动角度传回执行器控制子模块。

7.根据权利要求1所述的基于高速图像传感器的视觉追踪系统，其特征在于，该视觉追踪系统通过USB、以太网口接口与上位机或网络相连接，下载追踪算法并将追踪的结果、位置、速度信息进行发布。

8.一种基于高速图像传感器的视觉追踪方法，应用于权利要求1至7中任一项所述的视觉追踪系统，其特征在于，该方法对于图像采集及视觉处理片上系统获得的每一帧图像，执行以下步骤：

步骤a：对其进行图像预处理以减小噪声，突出特征点；

步骤b：计算并更新背景；

步骤c：将当前图像与背景相减取模以获得运动差值；

步骤d：对差值图进行阈值分割，获得运动目标的大致坐标；

步骤e：提取获得坐标周围一定范围内的颜色直方图；

步骤f：将获取的直方图与目标直方图进行相似性比对；

步骤g：对比对结果进行判决并获取目标具体位置，更新目标直方图；若没有匹配目标，即目标丢失，则依据之前获得的目标位置信息进行目标搜索；

步骤h：根据目标位置控制高速旋转平台运动到相应位置并对光学镜头进行适当调焦；

步骤i：流程返回步骤a，继续追踪目标。

Images