CN109151439A - 一种基于视觉的自动追踪拍摄系统及方法 - Google Patents

Abstract

本发明设计了一种基于视觉的自动追踪拍摄系统及方法，所述系统包括深度获取设备，可动跟踪摄像设备以及中央处理器。所述方法的主要步骤包括：确定初始目标位置，初始化追踪目标的深度特征；在上一帧的目标位置附近，利用深度特征寻找目标在当前帧的位置；根据追踪目标在当前帧的位置，控制对追踪目标的跟踪拍摄。本发明显著有效提高拍摄系统的智能性，减少人为控制相机的次数，降低拍摄操作的复杂程度，具有广泛应用前景。

Description

一种基于视觉的自动追踪拍摄系统及方法

技术领域

本发明涉及计算机及视觉领域，具体涉及一种基于视觉的自动追踪拍摄系统及方法。

背景技术

随着摄像设备的普及和性能的提升，越来越多的场合开始使用到摄像设备进行直播或记录活动的画面，如公共演讲，网络教育，在线直播等等。这些场景大都使用固定摄像头，往往无法得到满意的拍摄效果。特别当拍摄的主要目标不是静止的物体而是活动的人或其他目标时，一般需要专业的拍摄人员对所述主要目标进行跟踪拍摄，这在很大程度上限制了此类活动的推广。如果使用自动追踪拍摄系统，只需要完成设备的架设和初始目标的确定后，就可以将后续的拍摄工作交给自动追踪拍摄系统来完成，这将极大地减轻拍摄人员的压力，推动高质量拍摄活动的普及。

基于图像信息的目标追踪是自动追踪拍摄系统的关键内容。它是指在连续获取的图像序列中，建立目标特征信息，根据建立的目标特征信息确定目标在每一帧图像中所处的位置，最终得到目标在追踪时间内完整的运动轨迹。除了应用于自动追踪拍摄系统中，目标追踪在其他的工作、生活领域中还有着广泛的应用。利用目标追踪，可以在智能监控中锁定危险人员或物体的方位；在自动驾驶中绘制其他车辆、行人的运动轨迹用于规划行驶路径；机器人亦可利用该技术锁定跟从目标，完成跟随动作等。

目前的追踪方法大都是基于图像的二维信息。二维信息主要包含颜色、梯度、亮度等特征。这些特征在大多数简单场景下能够满足基本的追踪需求。但是当目标处于包含复杂背景的场景中，或者目标被大面积遮挡时，这些特征信息往往会被干扰甚至完全消失，此时目标跟踪就将会有很大的可能性失败。

发明内容

为解决现有技术存在的上述问题，本发明提出了一种基于视觉的自动追踪拍摄系统及方法，结合计算机视觉技术的发展以及固定双目、多目摄像设备，本发明提出了通过利用计算机能够通过图像来获得场景的深度信息，基于深度信息构建追踪目标的追踪算法及追踪方法、追踪系统，且进一步提出了基于深度信息且结合二维信息特征的追踪算法及追踪方法、追踪系统，从而提升追踪算法的准确性和稳定性。本发明这一系统及方法将减少视频拍摄人员所需具备的专业摄影知识，削减录制影片的成本，提升使用者与相机的交互程度，降低操作难度。

本发明提出的一种基于视觉的自动追踪拍摄系统，包括：

两台或两台以上位置相对固定的摄像机组成的双目或多目深度获取设备；

由一台或一台以上可变焦摄像机和一自由度以上的可动设备组成的可动跟踪摄像设备；以及

中央处理器。

其中，所述可变焦摄像机安置在所述可动设备上，所述深度获取设备、所述可动跟踪摄像设备均与所述中央处理器相连接。

其中，所述中央处理器可以进行各类图像相关的处理并能够对可动跟踪摄像设备进行控制。

本发明还提出了一种基于视觉的自动追踪拍摄方法，其包含以下步骤：

1)确定追踪目标的初始位置，结合当前帧场景的深度信息确定所述追踪目标的初始深度特征信息；

2)利用上一帧中的所述追踪目标的位置、深度特征信息以及当前帧场景的深度信息，获得当前帧的有效深度区域，再根据有效深度区域，更新所述追踪目标在当前帧的标志位置及深度特征信息；

3)根据所述追踪目标在当前帧的标志位置，调控可动跟踪摄像设备对所述跟踪目标进行跟踪拍摄。

本发明中，步骤1)中可以通过上述摄像机确定追踪初始目标。本发明基于视觉的自动追踪拍摄方法，其确定追踪目标位置的初始位置可以通过图像设备采集到的画面，自动地检测识别物体，或者可以通过人工手动地选择追踪区域等方式来确定。

本发明中，所述当前帧场景的深度信息是指当前帧整幅画面的深度信息，是通过深度获取设备获得的。

其中，所述深度信息获取设备可以通过两个或两个以上位置固定的相机组成的双目或者多目设备来获取，该信息还可以通过结构光相机，TOF相机，激光测距仪，超声波测距仪等深度获取设备来获得。

本发明基于视觉的自动追踪拍摄方法中，所述步骤2)中，更新追踪目标在当前帧的标志位置及深度特征信息，包括以下步骤：

2a)以上一帧中追踪目标的标志位置为中心，以所述上一帧中追踪目标的标志位置周围一定范围的区域作为当前帧中追踪目标位置的搜索区域；

2b)通过深度获取设备得到所述搜索区域对应的深度特征信息；

2c)根据上一帧中追踪目标的深度特征信息，在当前帧的所述搜索区域中筛选出具有与该深度特征信息相近的深度特征的有效深度区域；

2d)消除有效深度区域内的散点并填充有效深度区域内的空缺部分；

2e)根据所述有效深度区域来确定追踪目标在当前帧的标志位置，并更新当前帧的追踪目标的深度特征信息；

2f)重复上述步骤2a)～2e)。

本发明步骤2a)中，以上一帧追踪目标的标志位置为中心，该标志位置可选取目标上任意像素点如特征点，中心点等具有代表性的位置。选取该标志位置周围一定范围区域作为当前帧中追踪目标位置的搜索区域。

其中，选取所述上一帧追踪目标的标志位置作为中心，宽与高均放大一定倍率r作为确定当前帧追踪目标位置的搜索区域。

本发明步骤2c)中，在当前帧的搜索区域筛选出与该深度相近的有效深度区域，即，搜索区域内与上一帧深度差值的绝对值小于容忍阈值Thre的区域。

本发明步骤2e)中，所述深度特征信息包括当前帧追踪目标的有效深度区域，追踪框的宽与高，以及目标在当前帧的深度。

本发明步骤2e)中，在所述追踪目标的深度特征信息基础上结合入二维特征信息，即，将追踪目标在当前帧的标志位置周围一定区域作为候选区域，利用上一帧目标的二维特征确定当前帧的目标位置，并更新当前帧的深度特征和二维特征。更新追踪目标在当前帧所处的位置(当前帧的追踪框)时可以在深度信息的基础上加入二维特征信息，增加追踪的稳定性。所述精确定位后的追踪框中心为(x,y)，其中，x＝p₁*x_d+p₂*x_f,y＝p₁*y_f+p₂*y_f，宽和高是通过目标在当前帧的深度来计算获得的，其中，(x_d,y_d)为通过深度特征定位的追踪目标在当前帧的标志位置，(x_f,y_f)为通过二维特征定位的追踪目标在当前帧的标志位置，p₁,p₂为权重系数，且p₁+p₂＝1。具体步骤如下：

a)以上一帧追踪目标的标志为中心，该标志可选取目标上任意像素点如特征点，中心点等具有代表性的位置。选取该标志周围一定范围区域作为当前帧目标位置的搜索区域；

b)通过深度获取设备得到搜索区域对应的深度信息；

c)根据上一帧追踪目标的深度特征，在当前帧的搜索区域筛选出与其深度相近的有效深度区域；

d)消除有效深度区域内的散点并填充有效区域内的空缺部分；

e)根据有效深度区域来确定目标在当前帧的标志，并计算当前帧目标的深度特征；

f)将追踪目标在当前帧的标志周围一定区域作为候选区域，利用上一帧目标的二维特征确定当前帧的目标标志位置，并更新当前帧的深度特征和二维特征；

g)重复上述步骤a)-步骤f)。

本发明步骤3)包括：

步骤3-1)，中央处理设备向追踪摄像设备发送位置查询指令，获取追踪摄像设备的当前水平位置θ_p，垂直位置θ_t和可变焦相机的缩放(zoom)值d_z；

步骤3-2)，中央处理器根据追踪摄像设备当前状态信息(包括上述θ_p、θ_t和d_z)和追踪结果控制追踪摄像设备运动。

本发明步骤3-2)包括：

(1)根据追踪框中心的位置(x,y)，当前目标深度值d以及固定双目设备的相机焦距f_x,f_y和主点c_x,c_y计算目标在固定双目设备坐标系中的三维坐标(X_a,Y_a,Z_a)，其中

(2)根据步骤1得到的固定双目设备与可动跟踪摄像设备之间的位置关系T和R，将目标在固定双目设备坐标系中的三维坐标投影到可动跟踪摄像设备的坐标系中，其中，公式为(X_c,Y_c,Z_c)＝R*(X_a,Y_a,Z_a)+T，(X_c,Y_c,Z_c)为目标在可动跟踪摄像设备的坐标系中的三维坐标；

(3)计算可动跟踪摄像设备的可变焦摄像机保持目标在屏幕中按一定比例出现的缩放值d_z′，d_z′＝ε*X_c；其中，ε为可变焦摄像机相应的缩放系数，缩放的控制量为C_d＝α(d_z′-d_z)，α为缩放的控制系数；

(4)分别计算可动追踪摄像设备的水平(pan)和垂直(tilt)的目标位置θ_p′,θ_t′；其中对应的控制量分别为 β和γ分别为pan和tilt对应的控制系数，θ_p和θ_t分别为水平和垂直位置的当前值；

(5)中央处理器根据控制量C_d，C_p，C_t向可动跟踪摄像设备发送控制指令，控制可动跟踪摄像设备始终将目标放置在相机的中心区域，且保持合适的显示比例。

本发明基于视觉的自动追踪拍摄方法，在所述步骤1)之前，包括预先标定步骤：预先标定深度获取设备和可动跟踪摄像设备之间的相对位置关系。通过预先标定可变焦的摄像机与深度获取设备之间的相对位置关系，获得可变焦的摄像机在多目相机坐标系中的位姿坐标，用于提升摄像机拍摄的准确性。

所述预先标定步骤包括：

P-1)将深度获取设备和可动跟踪摄像设备保持稳定的相对位置关系；

P-2)在深度获取设备和可动跟踪摄像设备的视野重叠部分放置标志物；

P-3)保证标志物始终出现在深度获取设备和可动跟踪摄像设备的视野重叠部分，改动标志物的位置和角度，采集深度获取设备的图像和可动跟踪摄像的图像。共采集N组图像，N为大于2的整数；

P-4)利用采集到的N组图像计算深度获取设备和可动跟踪摄像设备之间的平移矢量T和旋转矢量R，完成标定。

为标定拍摄相机与深度获取设备之间的位置关系，所述预先标定步骤还可以包括：还可以通过保持标志物不动，在保持深度获取设备和可动跟踪摄像设备之间位置不变且所述标志物一直出现在它们视野重叠部分的情况下，整体改变它们的位置，采集N组图像，计算它们之间的平移矢量T和旋转矢量R。

本发明提出的所述拍摄系统的标定方法为：通过预先标定可变焦的摄像机与深度获取设备之间的相对位置关系，获得可变焦的摄像机在多目相机坐标系中的位置坐标。

本发明有益效果包括：该设备可以在无操作人员干预的情况下完成对目标的自动的追踪拍摄，并自动调节目标在画面中以合适的比例出现；同时本发明不指定相机的型号以及各个相机的摆放位置，具有较好的泛用性。

附图说明

图1是本发明基于视觉的自动追踪拍摄系统的示意图；

图2是本发明基于视觉的自动追踪拍摄系统中各设备工作关系的示意图；

图3是更新目标位置和深度特征的流程图；

图4是本发明方法中以深度作为追踪特征的流程图；

图5是本发明方法中以深度特征和二维特征作为追踪特征的流程图；

图6是实施例1中根据上一帧深度滤除阈值外深度区域后留下的深度图而构造的中间矩阵；

图7是实施例1中经过形态学操作后的中间矩阵；

图8是实施例1中剔除过小区域块后的中间矩阵；

图9是实施例1中在中间矩阵定位的追踪框中心。

具体实施方式

结合以下具体实施例和附图，对本发明作进一步的详细说明。为了简洁，在描述本发明实施例的各流程、条件、实验方法等时，省略了一些本领域已知的内容，本发明对此类内容没有特别的限制。

实施例1

本发明提出的一种基于视觉和声音定位的自动追踪拍摄系统，如图1所示，包括：两台或多台位置相对固定的摄像机组成的双目或多目视觉系统，以作为深度获取设备；由一台以上可变焦的摄像机及一自由度以上可动设备(例如云台)组成的可动跟踪摄像设备；以及一台中央处理器设备。双目或多目深度获取设备可以是固定双目或多目摄像设备。图2展示了本发明基于视觉的自动追踪拍摄系统中各设备工作关系的示意图，包括深度获取设备、中央处理器、具有可变焦摄像机的可动跟踪摄像设备，上述系统用于对追踪目标(例如人)进行追踪拍摄。

如图1、2所示，中央处理器包括图像处理设备，该图像处理设备分别与深度获取设备(即固定双目摄像设备)、可动跟踪摄像设备的可变焦摄像机相连接。将固定双目摄像设备、可动追踪摄像设备放置在合适的位置，使两者的视场角包含重叠区域。深度获取设备即固定双目摄像设备将拍摄图像传送到中央处理器。固定双目摄像设备、可动追踪摄像设备将采集到的同一场景、同一时间、不同视角的图像传送给中央处理器中的图像处理设备。中央处理器利用固定双目摄像设备传输来的图像，根据本发明提出的基于二维特征和深度特征的目标追踪拍摄方法，计算所述追踪目标在固定双目或多目摄像设备坐标系中的三维位置，再根据可动跟踪摄像设备返回其云台的实时位置信息得到当前云台追踪目标所需的控制量。可动跟踪摄像设备接受中央处理器的控制设备发送的控制量，始终保持追踪目标在可动跟踪摄像设备的相机画面中心以合适的比例出现，进而实现跟踪拍摄的功能。

本发明提出的基于视觉的目标追踪拍摄方法，首先确定追踪目标，初始化追踪目标深度特征；然后利用上一帧图像中的追踪目标位置、深度特征，搜索有效深度区域，根据有效深度区域确定追踪目标在当前帧图像中的位置，更新追踪目标的深度特征；根据追踪目标在当前帧图像中的位置和可动跟踪摄像设备的位置，控制可动跟踪摄像设备对追踪目标进行跟踪拍摄。上述方法具体可包括如下步骤：

1)确定追踪目标初始位置，结合当前帧场景的深度信息确定所述追踪目标的初始深度特征信息；

2)利用上一帧中的所述追踪目标的位置、深度特征信息以及当前帧场景的深度信息获得当前帧中的有效深度区域(即追踪目标在当前帧中可能出现的深度区域)，再根据有效深度区域，计算出并更新获得所述追踪目标在当前帧中的标志位置及所述追踪目标在当前帧中的深度特征信息；

3)根据所述追踪目标在当前帧中的标志位置，调控可动跟踪摄像设备对所述追踪目标进行跟踪拍摄。

当追踪目标丢失时，在丢失追踪目标的位置尝试找回目标。

(1)以目标丢失前最后一次跟踪成功的标志位置为搜索中心，设定一定的搜索宽度和高度以形成搜索区域；

(2)在深度获取设备(即固定双目或多目摄像设备)采集到的图像中提取对应搜索区域的图像；

(3)通过中央处理器，计算当前帧搜索区域的深度图；

(4)根据当前帧搜索区域的深度图与上一帧搜索区域的深度图的深度差值的绝对值是否大于容忍阈值Thre来构建中间矩阵。容忍阈值Thre为事先设定好的深度变化可接受范围；

(5)利用形态学的方法消除中间矩阵中的杂点，同时填充深度图中部分深度空缺区域；

(6)利用边缘检测算法对经过形态学操作后的深度进行处理，得到这些区域的轮廓。滤除面积过小的区域块，保留面积大于M的区域块，M的大小可事先设定。

如图5所示，本发明方法还可以通过利用二维特征精确定位追踪目标在当前帧的标志位置，更新追踪目标的深度特征和二维特征，在所述追踪目标的深度特征信息基础上结合入二维特征信息,实现对追踪目标的跟踪拍摄。

其中，追踪目标可以是处于活动状态中的人或其他动物或植物。

其中，所述深度获取设备包括深度相机或摄像机、深度传感设备、或通过位置固定的两个或多个相机组成的双目或多目摄像设备。

其中，所述追踪目标的初始位置可以通过中央处理器在采集到的图像中通过自动物体检测识别或通过人工手动选择追踪区域来确定。

其中，所述步骤3)中，所述可动跟踪摄像设备可为可变焦的云台摄像机、监控摄像机等可控制运动的摄像设备。

其中，所述步骤2)中，可进一步包括以下步骤：

2a)以上一帧追踪目标的标志位置为中心，以所述上一帧追踪目标的标志位置的周围一定范围区域作为当前帧追踪目标位置的搜索区域；

其中，所述标志位置是选取自追踪目标上具有代表性的位置的任意像素点；选取所述上一帧追踪目标的标志位置作为中心，宽与高均以一定倍率r(可预先设定)作为确定当前帧追踪目标位置的搜索区域。

2b)通过深度获取设备得到所述搜索区域对应的深度特征信息；

2c)根据上一帧追踪目标的深度特征信息，在当前帧的搜索区域筛选出位于该深度附近的有效深度区域；

其中，搜索区域内与上一帧深度相差大于阈值Thre的点赋值0，其他点保持原本深度，以提取出有效深度区域；

2d)消除有效深度区域内的散点并填充有效区域内的空缺部分；

2e)根据有效深度区域来确定追踪目标在当前帧的标志位置，并更新当前帧追踪目标的深度特征信息；

其中，深度特征信息包括当前帧追踪目标的有效深度区域，追踪框的宽与高，以及目标在当前帧的深度。

2f)重复上述步骤2a)～2e)以实现持续的追踪。

该过程的流程图如图3所示。

本发明提出的基于视觉的自动目标追踪拍摄方法，如图4、5所示，在所述步骤1)之前，还可以包括预先标定方法P，标定深度获取设备，例如固定双目设备的主相机(如固定双目相机中的左相机)和可动追踪摄像设备在初始位置处的相对位置关系。标定方法可以采用多种方式，其中，标定方法的方式一，包括以下具体步骤：

P-1)将深度获取设备和可动跟踪摄像设备保持稳定的相对位置关系；

P-2)在深度获取设备的两个相机设备视野重叠区域放置标定板即标志物，不断改变标定板的位置和角度，并采集多个时刻固定双目或多目摄像设备的主相机和可动追踪摄像设备相机拍摄到的图像；重复采集过程，直到采集N组对应的图片，N为大于2的整数；

P-3)中央处理器中的图像处理设备利用立体标定算法处理采集到的N组图像，得到固定双目或多目摄像设备中的主相机和可动追踪设备相机之间的平移矢量T和旋转矢量R，完成标定。

所述预先标定方法还可以是采用另一种方式，方式二：保持标志物(如标定板)不动，在保持深度获取设备和可动跟踪摄像设备之间位置不变且所述标志物一直出现在它们视野重叠部分的情况下，整体改变它们的位置，采集N组图像，计算它们之间的平移矢量T和旋转矢量R。

如图5所示，本发明方法还可以通过利用二维特征精确定位目标在当前帧的标志位置，更新目标的深度特征和二维特征，在所述追踪目标的深度特征信息基础上结合入二维特征信息,实现对追踪目标的跟踪拍摄。

在上述标定步骤之后，本发明基于视觉的自动目标追踪拍摄方法还可包括如下步骤，以结合追踪目标的深度特征和二维特征：

步骤1)，根据策略决定追踪目标，并初始化追踪。

(1)中央处理器读取固定双目或多目摄像设备中的主相机的图像，利用图像处理设备检测图像中的追踪目标，并根据具体的追踪策略决定追踪目标。具体的策略有：

(a)预先设定追踪初始的区域，当有目标在该区域存在超过一定时间后，自动以该目标作为追踪目标。

(b)若在固定双目设备的主相机采集的图像中只检测到一个目标时，自动以该目标作为追踪目标。

(c)若在固定双目设备的主相机采集的图像中检测到多个目标时，为这些目标赋予不同的数字编号，等待人工输入决定追踪目标的编号后，再以对应编号的目标作为追踪目标。

(2)为选择的追踪目标初始化深度和二维特征。利用固定双目设备采集场景的深度信息，再根据初始追踪框提取追踪目标区域的深度，计算该区域的平均深度作为追踪目标的初始深度值接着在该目标区域放大一定倍率的区域统计二维信息，并将其作为追踪目标的初始二维特征。以追踪目标区域的中心作为追踪框的中心(x₀,y₀)，此时追踪框的宽w₀和高h₀由目标的深度决定，具体的其中τ为系数，f为固定双目设备的相机焦距。

接着进行步骤2)，其中的第一步，步骤2-1)，根据上一帧追踪框、深度特征和二维特征，在追踪框周围利用基于视觉的自动追踪拍摄方法搜索追踪目标在当前帧中的标志位置。具体步骤为：

(1)以上一帧追踪框的中心(x_t-1,y_t-1)为搜索中心，并将其宽和高分别扩大一定的倍率作为当前帧的搜索区域；

(2)在固定双目设备采集到的图像中提取对应搜索区域的图像；

(3)通过图像处理设备，计算当前帧搜索区域的深度图；

(4)根据当前帧搜索区域的深度图中与上一帧的深度差值的绝对值是否大于容忍阈值Thre来构建中间矩阵，如图6所示。容忍阈值Thre为事先设定好的深度变化可接受范围；

(5)消除中间矩阵中的散点，同时填充中间矩阵的部分深度空缺区域，如图7所示；

(6)得到经过处理后中间矩阵内的各个区域的轮廓。滤除面积过小的区域块，保留面积大于M的区域，如图8所示。根据保留的区域块数量采取不同的后续步骤，具体为：

(a)若经过形态学操作和滤除过小区域块的操作后没有符合条件的区域块留下，则认为目标丢失，进入步骤2-2)尝试对追踪目标进行找回。

(b)若经过形态学操作和滤除过小区域块的操作后，存在1个以上足够大的区域块，则计算这些区域块对应深度图区域的平均深度其中d_i为深度图区域内每个有效点的深度值，n为深度图区域内有效点的个数。选取轮廓中的最高点，向下移动y_m个像素作为追踪目标中心在当前搜索区域的y_d′。在该y值处向左向右延长，直至分别与轮廓的左右边缘相交，交点设为x_l,x_r。取它们的平均值如图9所示。将结果中心(x_d′,y_d′)映射回原始固定双目摄像设备相机采集到的图像中，得到基于深度的目标追踪算法预测的当前帧追踪框中心为(x_d,y_d)，宽和高为其中τ为系数，f为固定双目设备的相机焦距。之后执行步骤2-3)，对目标进行精确定位。

步骤2)进一步可包括第二步，步骤2-2)，当追踪目标丢失时，在丢失的追踪目标位置尝试找回目标。

(1)以目标丢失前最后一次跟踪成功的追踪框为搜索中心，宽和高分别扩大一定倍率作为搜索区域；

(2)在固定双目或多目摄像设备采集到的图像中提取对应搜索区域的图像；

(3)通过图像处理设备，计算当前帧搜索区域的深度图；

(4)根据当前帧搜索区域的深度图与上一帧搜索区域的深度图的深度差值的绝对值是否大于容忍阈值Thre来构建中间矩阵。容忍阈值Thre为事先设定好的深度变化可接受范围；

(5)利用形态学的方法消除中间矩阵中的杂点，同时填充中间矩阵中部分深度空缺区域；

(6)利用边缘检测算法对经过形态学操作后的中间矩阵进行处理，得到这些区域的轮廓。滤除面积过小的区域块，保留面积大于M的区域。根据保留的区域块数量采取不同的后续步骤，具体为：

(a)若经过形态学操作和滤除过小区域块的操作后没有符合条件的区域块留下，则认为目标丢失，使丢失计数lost_count的值+1。如果丢失计数的值大于设定的完全丢失计数complete_lost，则认为目标完全丢失，丢失计数lost_count清零，之后进入步骤1)重新寻找追踪目标；否则仍然执行步骤2-2)，仍然在丢失位置尝试找回目标，例如第二次尝试找回目标可以采用比第一次更大的搜索区域。

(b)若经过形态学操作和滤除过小区域块的操作后存在1个以上足够大的区域块，则计算这些区域块对应深度图区域的平均深度其中n为这些区域块内深度有效点的数量，d_i为这些点对应的深度值；选取轮廓中的最高点，向下移动y_m个像素作为追踪目标中心在当前搜索区域的y_d′。在该y值处分别向左向右延长，直至分别与轮廓的左右边缘相交，交点设为x_l,x_r。取它们的平均值将结果中心(x_d′,y_d′)映射回原始固定双目设备相机采集到的图像中，得到基于深度的目标追踪算法预测的当前帧追踪框中心为(x_d,y_d)，宽和高为其中τ为系数，f为固定双目设备的相机焦距。之后进入步骤2-3)。

步骤2)的第三步，步骤2-3)，以二维特征精确定位目标位置。具体为：

(1)以基于深度的目标追踪算法得到的追踪框中心(x_d,y_d)为中心，宽和高分别为w_d,h_d一定倍率的范围作为二维特征的定位区域。

(2)统计该区域内的二维信息，寻找与上一帧的二维信息最接近的中心位置(x_f,y_f)；

(3)精确定位后的追踪框中心为(x,y)，其中x＝p₁*x_d+p₂*x_f,y＝p₁*y_f+p₂*y_f，宽和高仍为深度追踪框的宽w＝w_d和高h＝h_d。其中，p₁,p₂为权重系数，且p₁+p₂＝1。

接着，执行步骤3)，其包括：

步骤3-1)，中央处理器向可动跟踪摄像设备发送位置查询指令，获取可动跟踪摄像设备的当前水平位置θ_p，垂直位置θ_t和可变焦相机的缩放值d_z。

步骤3-2)，中央处理器根据可动跟踪摄像设备当前信息和追踪结果控制可动跟踪摄像设备运动，具体为：

(1)根据追踪框中心的位置(x,y)，当前目标深度值d以及固定双目设备的相机焦距f_x,f_y(分别对应左相机的焦距和右相机的焦距)和主点c_x,c_y计算追踪目标在固定双目设备坐标系中的三维坐标(X_a,Y_a,Z_a)。其中焦距f_x,f_y和主点c_x,c_y均为相机固定参数；

(2)根据步骤1得到的固定双目设备与可动跟踪摄像设备之间的位置关系T和R，将追踪目标在固定双目设备坐标系中的三维坐标投影到可动跟踪摄像设备的坐标系中。公式为(X_c,Y_c,Z_c)＝R*(X_a,Y_a,Z_a)+T；

(3)计算可动跟踪摄像设备的可变焦摄像机(例如可采用云台相机)保持追踪目标在屏幕中按一定比例出现的缩放值d_z′，d_z′＝ε*X_c。其中ε为对应云台相机相应的缩放系数。缩放的控制量为C_d＝α(d_z′-d_z)，α为缩放的控制系数；

(4)分别计算可动跟踪摄像设备的水平和垂直的目标位置θ_p′,θ_t′。其中 对应的控制量分别为β和γ分别为水平和垂直的对应的控制量，θ_p和θ_t分别为云台水平和垂直位置的当前值；

(5)中央处理器根据控制量C_d，C_p，C_t向可动跟踪摄像设备发送控制指令，控制可动跟踪摄像设备始终将追踪目标放置在可变焦摄像机的中心区域，且保持合适的显示比例。之后执行步骤2)，开始下一帧的跟踪操作。

本发明提出的基于视觉的自动追踪拍摄系统及方法，本发明方法以深度特征为追踪的主要目标，能够有效地减少遮挡、复杂背景对追踪算法效果的影响，提升自动拍摄系统的稳定性。本发明整个系统及方法在拍摄过程中无需专业摄影人员参与，且需要交互的操作极少，本发明有广泛的推广与应用前景。

本发明的保护内容不局限于以上实施例。在不背离本发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。

Claims (13)

1.一种基于视觉的自动追踪拍摄系统，其特征在于，所述系统包括：

两台或两台以上位置相对固定的摄像机组成的双目或多目深度获取设备；

由一台或一台以上可变焦摄像机和一自由度以上的可动设备组成的可动跟踪摄像设备；以及

中央处理器；

其中，所述可变焦摄像机安置在所述可动设备上，所述深度获取设备、所述可动跟踪摄像设备均与所述中央处理器相连接。

2.一种基于视觉的自动追踪拍摄方法，其特征在于，所述方法包括以下步骤1)～3)：

1)确定追踪目标的初始位置，结合当前帧场景的深度信息确定所述追踪目标的初始深度特征信息；

2)利用上一帧中的所述追踪目标的位置、深度特征信息以及当前帧场景的深度信息，获得当前帧的有效深度区域，再根据有效深度区域，更新所述追踪目标在当前帧的标志位置及深度特征信息；

3)根据所述追踪目标在当前帧的标志位置，调控可动跟踪摄像设备对所述跟踪目标进行跟踪拍摄。

3.根据权利要求2所述的自动追踪拍摄方法，其特征在于，所述步骤1)中，所述当前帧场景的深度信息由深度获取设备获得；其中，所述深度获取设备包括深度相机、激光测距仪和超声波测距仪中的至少一种。

4.根据权利要求3所述的自动追踪拍摄方法，其特征在于，所述深度相机包括由位置相对固定的两个或多个相机组成的双目或多目相机、结构光相机或TOF相机。

5.根据权利要求2所述的自动追踪拍摄方法，其特征在于，所述步骤1)中，确定追踪目标的初始位置还包括获得所述追踪目标的初始二维特征。

6.根据权利要求2所述的自动追踪拍摄方法，其特征在于，所述步骤2)进一步包括：

2a)以上一帧中追踪目标的标志位置为中心，以所述上一帧中追踪目标的标志位置周围一定范围的区域作为当前帧中追踪目标位置的搜索区域；

2b)通过深度获取设备得到所述搜索区域对应的深度特征信息；

2c)根据上一帧中追踪目标的深度特征信息，在当前帧的所述搜索区域中筛选出具有与该深度特征信息相近的深度特征的有效深度区域；

2d)消除有效深度区域内的散点并填充有效深度区域内的空缺部分；

2e)根据所述有效深度区域来确定追踪目标在当前帧的标志位置，并更新当前帧的追踪目标的深度特征信息；

2f)重复上述步骤2a)～2e)。

7.根据权利要求6所述的自动追踪拍摄方法，其特征在于，所述步骤2a)中，所述标志位置是选取自所述追踪目标上具有代表性的位置的任意像素点；选取所述上一帧中追踪目标的标志位置作为中心，以一定倍率r在宽度与高度方向上扩展后得到当前帧中追踪目标位置的搜索区域。

8.根据权利要求6所述的自动追踪拍摄方法，其特征在于，所述步骤2c)中，在当前帧的搜索区域中筛选出与上一帧深度差值的绝对值小于容忍阈值Thre的像素点构成有效深度区域。

9.根据权利要求6所述的自动追踪拍摄方法，其特征在于，所述步骤2e)中，在所述追踪目标的深度特征信息基础上结合二维特征信息，利用二维特征信息精确定位所述追踪目标在当前帧的标志位置，并更新所述追踪目标在当前帧的深度特征信息和二维特征信息。

10.根据权利要求9所述的自动追踪拍摄方法，其特征在于，精确定位所述追踪目标在当前帧的标志位置包括：确定追踪框，所述追踪框的中心为(x,y)，其中，x＝p₁*x_d+p₂*x_f,y＝p₁*y_f+p₂*y_f，所述追踪框的宽和高是通过目标在当前帧的深度来计算获得的，其中，(x_d,y_d)为通过深度特征定位的追踪目标在当前帧的标志位置，(x_f,y_f)为通过二维特征定位的追踪目标在当前帧的标志位置，p₁,p₂为权重系数，且p₁+p₂＝1。

11.根据权利要求2所述的自动追踪拍摄方法，其特征在于，所述步骤3)进一步包括：

步骤3-1)，中央处理器向可动跟踪摄像设备发送位置查询指令，获取可动跟踪摄像设备的当前水平位置θ_p、垂直位置θ_t和所述可动跟踪摄像设备中的可变焦摄像机的zoom值d_z；

步骤3-2)，中央处理器根据可动跟踪摄像设备的当前水平位置θ_p、垂直位置θ_t和zoom值d_z和追踪结果控制可动跟踪摄像设备运动。

12.根据权利要求11所述的自动追踪拍摄方法，其特征在于，由深度获取设备获得当前帧中追踪目标的深度信息，所述深度获取设备包括固定双目相机，所述步骤3-2)包括：

(1)根据追踪框中心的位置(x,y)、当前帧中追踪目标的深度值d以及所述固定双目相机的焦距f_x,f_y和主点c_x,c_y计算所述追踪目标在固定双目相机坐标系中的三维坐标(X_a,Y_a,Z_a)，其中

(2)根据固定双目相机与可动跟踪摄像设备之间的平移矢量T和旋转矢量R，将追踪目标在固定双目相机坐标系中的三维坐标投影到可动跟踪摄像设备的坐标系中，其中，坐标转换公式为(X_c,Y_c,Z_c)＝R*(X_a,Y_a,Z_a)+T，(X_c,Y_c,Z_c)为追踪目标在可动跟踪摄像设备的坐标系中的三维坐标；

(3)计算利用可动跟踪摄像设备的可变焦摄像机保持追踪目标在屏幕中按一定比例出现的缩放值d_z′，d_z′＝ε*X_c；其中，ε为可变焦摄像机相应的缩放系数，缩放的控制量为C_d＝α(d_z′-d_z)，α为缩放的控制系数，d_z为当前可变焦摄像机的zoom值；

(4)分别计算可动追踪摄像设备的水平和垂直目标位置θ_p′,θ_t′；其中 对应的控制量分别为β和γ分别为pan和tilt对应的控制系数，θ_p和θ_t分别为pan和tilt的当前值；

(5)中央处理器根据控制量C_d，C_p，C_t向可动跟踪摄像设备发送控制指令，控制可动跟踪摄像设备始终将追踪目标放置在可变焦摄像机的中心区域，且保持显示比例。

13.根据权利要求2所述的自动追踪拍摄方法，其特征在于，在所述步骤1)之前，还包括预先标定步骤，以预先标定深度获取设备和可动跟踪摄像设备之间的相对位置关系；所述预先标定步骤采用以下方式之一：

方式一，包括以下步骤：

P-1)将所述深度获取设备和所述可动跟踪摄像设备保持稳定的相对位置关系；

P-2)在所述深度获取设备和所述可动跟踪摄像设备的视野重叠部分放置标志物；

P-3)保证所述标志物始终出现在所述深度获取设备和所述可动跟踪摄像设备的视野重叠部分，通过调整所述标志物的位置和角度，分别通过所述深度获取设备和所述可动跟踪摄像设备采集图像；重复采集过程，采集N组图像，N为大于2的整数；

P-4)利用采集到的N组图像计算深度获取设备和可动跟踪摄像设备之间的平移矢量T和旋转矢量R，完成所述预先标定；

或，方式二，包括以下步骤：

通过保持标志物不动，在保持深度获取设备和可动跟踪摄像设备之间位置不变且所述标志物一直出现在所述深度获取设备和可动跟踪摄像设备视野重叠部分的情况下，整体改变所述深度获取设备和可动跟踪摄像设备的位置，分别通过所述深度获取设备和所述可动跟踪摄像设备采集图像，重复采集过程，采集N组图像，N为大于2的整数，利用采集到的N组图像计算深度获取设备和可动跟踪摄像设备之间的平移矢量T和旋转矢量R。