Nothing Special   »   [go: up one dir, main page]

CN111489384A - 基于互视角的遮挡评估方法及装置、设备、系统和介质 - Google Patents

基于互视角的遮挡评估方法及装置、设备、系统和介质 Download PDF

Info

Publication number
CN111489384A
CN111489384A CN201910073901.6A CN201910073901A CN111489384A CN 111489384 A CN111489384 A CN 111489384A CN 201910073901 A CN201910073901 A CN 201910073901A CN 111489384 A CN111489384 A CN 111489384A
Authority
CN
China
Prior art keywords
person
focal plane
target
light field
occlusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910073901.6A
Other languages
English (en)
Other versions
CN111489384B (zh
Inventor
朱康
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaoke Intelligent Technology Shanghai Co ltd
Original Assignee
Yaoke Intelligent Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaoke Intelligent Technology Shanghai Co ltd filed Critical Yaoke Intelligent Technology Shanghai Co ltd
Priority to CN201910073901.6A priority Critical patent/CN111489384B/zh
Publication of CN111489384A publication Critical patent/CN111489384A/zh
Application granted granted Critical
Publication of CN111489384B publication Critical patent/CN111489384B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请的基于互视角的遮挡评估方法及装置、设备、系统和介质，通过获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合；依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合；依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。本申请可以选择出最优的视角对被遮挡位置进行光场渲染，获取到最佳的人脸信息。

Description

基于互视角的遮挡评估方法及装置、设备、系统和介质
技术领域
本发明涉及图像处理技术领域，特别是涉及一种基于互视角的遮挡评估方法及装置、设备、系统和介质。
背景技术
光作为一种分布在空间中的电磁场，具有振幅、相位、波长等多种属性，帮助人类感知物体的明暗、位置和色彩。然而，传统的光学成像智能捕获到光辐射在二维平面上的投影强度，而失去了目标的三维形态数据。光场数据采集，便是获取光辐射的完整分布，通过变换和积分等数据处理手段来计算所需要的图像。光场成像指的是光场的采集将光场处理为图像的过程。光场成像作为一种计算成像技术，其“所得”(光场)需要经过相应的数字处理算法才能得到“所见”(图像)。
光场渲染是人脸检测系统的重要算法模块。首先根据人脸检测系统的内外参，对采集到的画面进行去畸变，并通过投影技术手段去除倾斜角对场景的影响；然后，利用光场合成孔径成像技术和光场重建算法，根据不同的聚焦参数，对图像进行不同焦平面的光场重聚焦渲染，完成光场去遮挡功能。
针对不同的应用场景，存在多种方法确定对焦平面。对于应用范围单一的固定场景，可以直接人为设定焦平面，使得光场系统对焦于同一个焦平面，进行光场渲染；对于需要前景对焦的场景，可以利用图像算法对场景前景进行测距，从而估计出焦平面距离，这种方法的准确性很大程度上依赖于测距方法的有效性以及场景环境的复杂程度；对于多对焦平面需求的应用，可以通过扫焦的方式，即由远至近的设定不同的对焦面，知道光场对焦，但是这一种对焦方式，一是与场景内容无关，所以并不知道哪一个对焦面是准确的，二是它的效果依赖于扫焦分辨率。因次，有必要优化对焦准确性以及去遮挡渲染的效果。
发明内容
鉴于以上所述现有技术的缺点，本申请的目的在于提供一种基于互视角的遮挡评估方法及装置、设备、系统和介质，以解决现有技术中的对焦不准确、以及去遮挡渲染效果不佳的问题。
为实现上述目的及其他相关目的，本申请提供一种基于互视角的遮挡评估方法，所述方法包括：获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合；依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合；依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。
于本申请的一实施例中，所述获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合的方法包括：从所述第一成像数据中截取符合行人头部高度的第三成像数据；对所述第三成像数据进行头部区域检测以检测其中的各个行人头部；定位所述第三成像数据中的至少一个行人头部上预定位置的参考点的图像坐标，并利用所述顶部深度相机的内、外参数映射为该参考点的世界坐标；利用所述光场相机阵列的外参来映射该参考点的世界坐标为所述光场相机阵列的相机坐标系下的相机坐标，以得到所述参考点所在的对应该所述光场相机阵列的深度数据；依据所述第二成像数据、及深度数据，以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合。
于本申请的一实施例中，所述三维坐标集合包括：人员头部中心点的世界坐标系下的三维坐标集、及以人员头部中心点为中心预设半径为r所构成的人员头围的世界坐标系下的三维坐标集合。
于本申请的一实施例中，所述依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合的方法包括：依据所述人员头部中心点、及所述半径r，将各所述人员的脸部区域模型化为宽度：高度＝2r：3r的脸部矩形；依据所述脸部矩阵，将各所述人员的躯干区域模型化为宽度：高度＝所述脸部矩阵宽度的3部：所述脸部矩阵高度的2部的躯干矩形；依据所述焦平面、人员头部中心点、所述半径r、脸部与躯干的比例关系，计算出所述包含脸部矩形与躯干矩形的世界坐标系下的人员焦平面坐标集合。
于本申请的一实施例中，所述评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况的方法包括：依据所述彩色传感器所标定的内参数、旋转矩阵、及平移向量，以判定所述目标人员是否在所述彩色传感器的视野范围内；若否，则判定为全遮挡；若判定所述目标人员在所述彩色传感器的视野范围内，则判定所述目标人员与遮挡人员的焦平面的前后关系；若所述目标人员的焦平面在前，则判定为未被遮挡；若所述目标人员的焦平面在后，则评估所述目标人员被所述遮挡人员遮挡的比例；依据所述目标人员于所述遮挡人员的焦平面上的投影与所述遮挡人员重叠程度，得到针对所述目标人员的遮挡程度评估。
于本申请的一实施例中，所述方法还包括：预设一函数ratio＝overlapping(Robj,Rocclu)，以计算同一焦平面上所述目标人员与所述遮挡人员的重叠度。
为实现上述目的及其他相关目的，本申请提供一种基于互视角的遮挡评估装置，所述装置包括：获取模块，用于获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合；处理模块，用于依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合；依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。
为实现上述目的及其他相关目的，本申请提供一种基于互视角的遮挡评估设备，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机程序；所述处理器运行计算机程序实现如上所述的基于互视角的遮挡评估方法；所述通信器用于与外部设备通信连接。
为实现上述目的及其他相关目的，本申请提供一种基于互视角的遮挡评估系统，所述系统包括：设于场景上方且采集方向为向下的至少一个深度相机；设置成采集方向为面向该场景中行人的光场相机阵列；如上所述的基于互视角的遮挡评估设备，通过其通信器通信连接各所述深度相机及光场相机阵列。
为实现上述目的及其他相关目的，本申请提供一种计算机存储介质，存储有计算机程序，所述计算机程序被运行时执行如上所述的基于互视角的遮挡评估方法。
如上所述，本申请的一种基于互视角的遮挡评估方法及装置、设备、系统和介质，获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合；依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合；依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。
具有以下有益效果：
本申请可以选择出最优的视角对被遮挡位置进行光场渲染，获取到最佳的人脸信息。
附图说明
图1显示为本申请于一实施例中的基于互视角的遮挡评估方法的流程示意图。
图2显示为本申请于一实施例中的基于互视角的遮挡评估方法的步骤S101具体细分步骤的流程示意图。
图3显示为本申请于一实施例中的基于互视角的遮挡评估方法的步骤S101具体的场景示意图。
图4显示为本申请于一实施例中的基于互视角的遮挡评估方法的步骤S102具体细分步骤的流程示意图。
图5显示为本申请于一实施例中的人员焦平面坐标的模型示意图。
图6显示为本申请于一实施例中的基于互视角的遮挡评估方法的步骤S103具体的场景示意图。
图7显示为本申请于一实施例中的基于互视角的遮挡评估方法的步骤S103具体细分步骤的流程示意图。
图8显示为本申请于一实施例中的基于互视角的遮挡评估装置的模块示意图。
图9显示为本申请于一实施例中的基于互视角的遮挡评估设备的结构示意图。
图10显示为本申请于一实施例中的基于互视角的遮挡评估系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本申请的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本申请的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
承前所述，在现有的焦平面定位系统中，都是基于在面对人群的方向进行深度图像的采集从而进行人脸识别，而对人脸所在焦平面都是采取估计的方式，其精确性较为欠缺，同时为了更有效率、针对性地进行光场渲染，达到预期的光场去遮挡功能，本发明提供一种基于互视角的遮挡评估方法及装置、设备、系统和介质，以选择出最优的视角对被遮挡位置进行光场渲染，获取到最佳的人脸信息。
于本实施例中，所述互视角是指由针对同一场景的多个视角所形成的互动视角关系。
如图1所示，展示为本申请一实施例中的基于互视角的遮挡评估方法的流程示意图。如图所示，所述方法包括：
步骤S101：获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合。
在本申请的一实施例中，如图2所示，步骤S101进一步包括：
S201、从所述第一成像数据中截取符合行人头部高度的第三成像数据；
S202、对所述第三成像数据进行头部区域检测以检测其中的各个行人头部；
S203、定位所述第三成像数据中的至少一个行人头部上预定位置的参考点的图像坐标，并利用所述顶部深度相机的内、外参数映射为该参考点的世界坐标；
S204、利用所述光场相机阵列的外参来映射该参考点的世界坐标为所述光场相机阵列的相机坐标系下的相机坐标，以得到所述参考点所在的对应该所述光场相机阵列的深度数据；
S205、依据所述第二成像数据、及深度数据，以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合。
参阅图3展示为本申请一实施例中的基于互视角的遮挡评估方法的步骤S101具体的场景示意图。
在如图所示的场景中，所述场景可以是公共场合的场景，例如人流量密集的室外空间及室内空间，如街头、景点、或商场等。需特别说明的是，上述举例的场景并非为限制本申请的具体实施，只是在人流量较大的场景中更能体现本发明在不同深度以对应不同行人进行精准确定人脸所在焦平面的优点。
图中包括：至少一光场相机阵列301、及至少一顶部深度相机302。
所述光场相机阵列301设置成采集方向为面向该场景中行人的状态。举例来讲，所述光场相机阵列301可以正对行人正面设置。所述至少一个光场相机阵列301构成光学成像系统，其用于对各个行人的人脸进行成像。
所述顶部深度相机302设于场景上方且采集方向为向下设置。具体来讲，所述顶部深度相机302可以向下采集包含场景中各个行人的头部的图像，例如图片或视频等图像格式；而且，顶部深度相机302在所采集该图像中包含了深度数据，因此该图像即可称为深度图像；所述深度是相对沿顶部深度相机302的光轴的远近来讲的，通常的相机只能采集到被拍摄物体的二维平面图像，即在平面图像上，每个像素点只有(x，y)两个坐标，并没有在光轴方向Z上的远近的坐标呈现；而顶部深度相机302还采集了该光轴上远近的坐标z，以令每个成像的像素点还保有被拍摄物对应位置的深度信息。
顶部深度相机302根据其工作原理可以分为三种：TOF、RGB双目、结构光所述顶部深度相机302，本发明实施例中的顶部深度相机302可以选自其中的任意一种。
在本实施例中，展示有离光场相机阵列301不同远近的三个行人，也就是说，在光学成像系统所成像的图像上能保留这个三个行人的人脸的精确的深度信息，用于对这三个行人的人脸所在的焦平面即焦平面A、焦平面B、焦平面C分别进行对焦来形成清晰的人脸图像的成像，以供人脸识别。而精确的深度信息的获取可以通过该顶部深度相机302来实现。
具体的，所述顶部深度相机302优选是设置成采集方向竖直向下，竖直向下采集的人体头部图像不会形变严重。但需说明的是，所述采集方向也可以是向下的其它方向，并非以此为限。
所述顶部深度相机302采集包含各个行人的头部的深度图像。在这个向下拍摄的深度图像中，只要能在其平面数据中定位各个行人的头部位置，进而定位各个行人脸部的焦平面位置，也就相当于确定了相对光场相机阵列301来讲的各个焦平面的精确的深度位置(深度数据)；再利用光场相机阵列301的所述第二成像数据，即在所定位各个焦平面对焦成像，就能得到各个行人的清晰的人脸图像，进而也就可得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合。
关于该项技术内容，可参考申请号为201810863649.4、发明名称为“焦平面定位方法、处理装置、焦平面定位系统及存储介质”的专利文献。
进一步来说，通过上述技术内容，可以依据顶部深度信息实时检测和定位场景中人群的所有头部位置，这些头部位置所处平面可以通过内外参关系转化为前置的光场相机阵列视角下的焦平面位置信息，以用于光场渲染。但是，为了更有效率、针对性地进行光场渲染，达到预期的光场去遮挡功能，需要根据头部定位信息、顶视相机参数信息和前置光场相机参数信息，完成评估人群头部的遮挡关系，从而直接选择最优的视角对被遮挡位置进行光场渲染。
在本申请的一实施例中，所述三维坐标集合包括：人员头部中心点的世界坐标系下的三维坐标集、及以人员头部中心点为中心预设半径为r所构成的人员头围的世界坐标系下的三维坐标集合。
于本实施例中，通过步骤S101可以得到针对目标场景中多个区域中的人员头部的三维坐标集合表示如下：
S＝{sm|sm＝{pm,prm},pm＝[xm,ym,zm],prm＝[xm+rm,ym,zm],m∈[1,M]}；
其中，pm为第m个人员头部中心点的坐标，prm为pm圆心，半径为rm的圆周上一点。pm和prm共同确定了为第m个人的人员头部位置和人员头围大小。
然后，将S转化至世界坐标系下的坐标表示如下：
Sw＝{smw|smw＝{Pmw,Pmrw},Pmw＝Rd·pm+td,Pmrw＝Rd·prm+td,m∈[1,M]}；
其中，设定顶部深度相机为Cd，利用计算机视觉中的相机标定技术获取其内参为Kd、旋转矩阵为Rd，以及平移向量为td。
步骤S102：依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合。
在本申请的一实施例中，如图4所示，步骤S102进一步包括：
步骤S401：依据所述人员头部中心点、及所述半径r，将各所述人员的脸部区域模型化为宽度：高度＝2r：3r的脸部矩形。
步骤S402：依据所述脸部矩阵，将各所述人员的躯干区域模型化为宽度：高度＝所述脸部矩阵宽度的3部：所述脸部矩阵高度的2部的躯干矩形。
举例来说，将每个人员m模型化在平面z＝zmw，即该平面为当前人员脸部所在的焦平面。将每个人员模型化为该平面上两个矩形，分别用来表示人员在焦平面上的人脸区域和躯干区域。人脸区域宽度与高度比例为w:h＝2:3。躯干宽度为3倍脸部的宽，躯干高度设定为2倍脸部的高。
可参阅图5展示为本申请一实施例中的人员焦平面坐标的模型示意图。
需要说明的是，躯干高度设定为2倍脸部的高的原因是考虑到一般情况下，2倍以下的躯干部分基本不会对其他人员的人脸存在遮挡关系，故只取2倍高度。
步骤S403：依据所述焦平面、人员头部中心点、所述半径r、脸部与躯干的比例关系，计算出所述包含脸部矩形与躯干矩形的世界坐标系下的人员焦平面坐标集合。
于本实施例中，根据已知的平面z＝zmw、头中心Pmw、头边缘点Pmrw以及脸部和躯干设定的比例关系，可以计算出头部矩形和躯干矩形在世界坐标中的位置。
至此，我们可以将Sw映射为人员焦平面坐标集合，即将通过步骤S101得到的针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合转换为人员焦平面坐标集合，具体如下：
Sw＝{smw|smw＝{Pmw,Pmrw},Pmw＝Rd·pm+td,Pmrw＝Rd·prm+td,m∈[1,M]}。
步骤S103：依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。
参阅图6展示为本申请一实施例中的基于互视角的遮挡评估方法的步骤S103具体的场景示意图。
举例来说，设定前置光场相机组Cc存在N个RGB彩色传感器。如图所示，评估任意第k(k∈[1,N])个传感器Ckc视角下第i(i∈[1,M])个人员头部被第j(j∈[1,M])个人员的头部和躯干遮挡的情况。其中，利用计算机视觉中的相机标定技术获取Ckc的内参Kkc、旋转矩阵Rkc以及平移向量tkc；tiw处于z＝ziw平面，同时tjw处于z＝zjw平面，前者tiw为被遮挡目标，后者tjw为遮挡物。由此，再通过步骤S103可以对遮挡情况进行评估。
在本申请的一实施例中，如图7所示，对应对遮挡情况评估的步骤S103进一步包括：
步骤S701：依据所述彩色传感器所标定的内参数、旋转矩阵、及平移向量，以判定所述目标人员是否在所述彩色传感器的视野范围内；若否，则判定为全遮挡。
在本申请的一实施例中，所述方法还包括：预设一函数，以计算同一焦平面上所述目标人员与所述遮挡人员的重叠度。
于本实施例中，结合图6来看，判定tiw是否在Ckc视野范围内。即将tiw的Rihead投影到Ckc的图像坐标系里，以检测其投影位置是否在图像尺寸范围内。具体tiw的Rihead投影到Ckc的图像坐标系的表示为：
Figure BDA0001958133900000081
于本实施例中，tiw在Ckc视野中的像是由[uit,vit],(t∈[1,4])四个点形成的矩形(设为Robj)，如果该矩形在图像的画幅范围内(画幅矩形设为Rimg)，则表明tiw在没有遮挡的情况下可以被Ckc观测到，所以应该继续评估其被遮挡情况。反之，该矩形完全不在画幅范围内，则表明tiw已经超出了Ckc的视野范围，所以无需在该视角下评估其遮挡情况，直接判定为全遮挡。
于本实施例中，或者综合考虑当overlapping(Robj,Rimg)小于一个阈值之后，我们认为tiw不在视野范围内。
步骤S702：若判定所述目标人员在所述彩色传感器的视野范围内，则判定所述目标人员与遮挡人员的焦平面的前后关系。
于本实施例中，结合图6来看，当评估tiw被tjw遮挡比例时，如果ziw≤zjw，我们认为tiw相对于tjw距离Ckc更近，tiw不会被tjw造成遮挡。反之，需要进一步进行评估。
步骤S703：若所述目标人员的焦平面在前，则判定为未被遮挡；若所述目标人员的焦平面在后，则评估所述目标人员被所述遮挡人员遮挡的比例。
于本实施例中，结合图6来看，tiw的头部部分在向Ckc投影的过程中，会在tjw的焦平面z＝zjw上相交于一个重投影矩形R′ihead，tjw对tiw的遮挡程度等效于R′ihead被R'jhead和R'jbody遮挡的程度。即Ratioji|k＝overlapping(R′ihead,RjHead)+overlapping(R′ihead,RjBody)。
步骤S704：依据所述目标人员于所述遮挡人员的焦平面上的投影与所述遮挡人员重叠程度，得到针对所述目标人员的遮挡程度评估。
于本实施例中，结合图6来看，对于
Figure BDA0001958133900000091
j≠i,执行b,c过程。得到tiw在Ckc视角下被所有人员遮挡的情况Ratioji|k,j∈[1,M],j≠i。从而得到tiw在Ckc视角下的遮挡程度：
Ratioi|k＝Max{Ratio1i|k,Ratio2i|k,Ratio3i|k,...,Ratio(i-1)i|k,Ratio(i+1)i|k,...,Ratiomi|k}。
最后，将上述过程应用至
Figure BDA0001958133900000092
的相机Ckc，可以得到Ratioi|1,Ratioi|2,...,Ratioi|N。
至此，对于人员tiw，我们得到了其在前置的光场相机阵列中的每个视角中的遮挡情况。对此可以选择出最优的视角(即Mink∈[1,N]Ratioi|k)，结合tiw所在的焦平面z＝ziw进行光场渲染，去遮挡获取tiw的清晰人脸。
综上所述，本申请可以对全部人员进行遮挡程度评估，最终可形成如表1所示的遮挡程度评估集合。
表1遮挡程度评估集合
人员 焦平面 C<sub>1c</sub> C<sub>2c</sub> C<sub>3c</sub> ... C<sub>Nc</sub>
t<sub>1w</sub> z<sub>1w</sub> Ratio<sub>1|1</sub> Ratio<sub>1|2</sub> Ratio<sub>1|3</sub> ... Ratio<sub>1|N</sub>
t<sub>2w</sub> z<sub>2w</sub> Ratio<sub>2|1</sub> Ratio<sub>2|2</sub> Ratio<sub>2|3</sub> ... Ratio<sub>2|N</sub>
t<sub>3w</sub> z<sub>3w</sub> Ratio<sub>3|1</sub> Ratio<sub>3|2</sub> Ratio<sub>3|3</sub> ... Ratio<sub>3|N</sub>
... ... ... ... ... ... ...
t<sub>Mw</sub> z<sub>Mw</sub> Ratio<sub>M|1</sub> Ratio<sub>M|2</sub> Ratio<sub>M|3</sub> ... Ratio<sub>M|N</sub>
如图8所示，展示为本申请于一实施例中的基于互视角的遮挡评估装置的模块示意图。如图所示，所述基于互视角的遮挡评估装置800包括：
获取模块801，用于获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合；
处理模块802，用于依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合；依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。
可以理解的是，所述基于互视角的遮挡评估装置800通过各模块的运行，能够实现如图1所述的基于互视角的遮挡评估方法。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，处理模块802可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上处理模块802的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，或，一个或多个微处理器(digital signal processor，简称DSP)，或，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(Central Processing Unit，简称CPU)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称SOC)的形式实现。
如图9所示，展示为本申请于一实施例中的基于互视角的遮挡评估设备的结构示意图。如图所示，所述基于互视角的遮挡评估设备900包括：存储器901、处理器902、及通信器903；所述存储器901用于存储计算机程序；所述处理器902运行计算机程序实现如图1所述的基于互视角的遮挡评估方法；所述通信器903用于与外部设备通信连接。
于本实施例中，所述外部设备可以是深度相机、及光场相机阵列。
所述存储器901可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
所述处理器902可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
所述通信器903用于实现其他设备(例如客户端、控制器、读写库和只读库)之间的通信连接。其可包含一组或多组不同通信方式的模块。所述通信连接可以是一个或多个有线/无线通讯方式及其组合。通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
如图10所示，展示为本申请于一实施例中的基于互视角的遮挡评估系统的结构示意图。如图所示，所述基于互视角的遮挡评估系统1000，包括：
设于场景上方且采集方向为向下的至少一个深度相机1001；
设置成采集方向为面向该场景中行人的光场相机阵列1002；
如图9所述的基于互视角的遮挡评估设备1003，通过其通信器通信连接各所述深度相机1001及光场相机阵列1002。
于本实施例中，所述通信方式包括：互联网、CAN、内联网、广域网(WAN)、局域网(LAN)、无线网络、数字用户线(DSL)网络、帧中继网络、异步传输模式(ATM)网络、虚拟专用网络(VPN)和/或任何其它合适的通信网络中的任何一个或多个。例如：WIFI、蓝牙、NFC、GPRS、GSM、及以太网中任意一种及多种组合。
于本实施例中，至少一个所述深度相机1001可以是TOF、RGB双目、结构光三种类型深度相机中的任意一种或多种组合。
于本实施例中，所述光场相机阵列1002可以一排或一列的线性阵列，也可以是多边形阵列，或者为圆形、椭圆形、弧形阵列。其中光场相机阵列1002中包含多个光场相机、及多个彩色传感器。
于本申请的一实施例中，本申请提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的基于互视角的遮挡评估方法。
所述计算机可读存储介质，本领域普通技术人员可以理解：实现上述系统及各单元功能的实施例可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述系统及各单元功能的实施例；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
综上所述，本申请的基于互视角的遮挡评估方法及装置、设备、系统和介质，通过获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合；依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合；依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。
本申请有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本申请的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中包含通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本申请的权利要求所涵盖。

Claims (10)

1.一种基于互视角的遮挡评估方法，其特征在于，所述方法包括：
获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合；
依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合；
依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。
2.根据权利要求1所述的基于互视角的遮挡评估方法，其特征在于，所述获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合的方法包括：
从所述第一成像数据中截取符合行人头部高度的第三成像数据；
对所述第三成像数据进行头部区域检测以检测其中的各个行人头部；
定位所述第三成像数据中的至少一个行人头部上预定位置的参考点的图像坐标，并利用所述顶部深度相机的内、外参数映射为该参考点的世界坐标；
利用所述光场相机阵列的外参来映射该参考点的世界坐标为所述光场相机阵列的相机坐标系下的相机坐标，以得到所述参考点所在的对应该所述光场相机阵列的深度数据；
依据所述第二成像数据、及深度数据，以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合。
3.根据权利要求2所述的基于互视角的遮挡评估方法，其特征在于，所述三维坐标集合包括：人员头部中心点的世界坐标系下的三维坐标集、及以人员头部中心点为中心预设半径为r所构成的人员头围的世界坐标系下的三维坐标集合。
4.根据权利要求3所述的基于互视角的遮挡评估方法，其特征在于，所述依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合的方法包括：
依据所述人员头部中心点、及所述半径r，将各所述人员的脸部区域模型化为宽度：高度＝2r：3r的脸部矩形；
依据所述脸部矩阵，将各所述人员的躯干区域模型化为宽度：高度＝所述脸部矩阵宽度的3部：所述脸部矩阵高度的2部的躯干矩形；
依据所述焦平面、人员头部中心点、所述半径r、脸部与躯干的比例关系，计算出所述包含脸部矩形与躯干矩形的世界坐标系下的人员焦平面坐标集合。
5.根据权利要求1所述的基于互视角的遮挡评估方法，其特征在于，所述评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况的方法包括：
依据所述彩色传感器所标定的内参数、旋转矩阵、及平移向量，以判定所述目标人员是否在所述彩色传感器的视野范围内；若否，则判定为全遮挡；
若判定所述目标人员在所述彩色传感器的视野范围内，则判定所述目标人员与遮挡人员的焦平面的前后关系；
若所述目标人员的焦平面在前，则判定为未被遮挡；若所述目标人员的焦平面在后，则评估所述目标人员被所述遮挡人员遮挡的比例；
依据所述目标人员于所述遮挡人员的焦平面上的投影与所述遮挡人员重叠程度，得到针对所述目标人员的遮挡程度评估。
6.根据权利要求5所述的基于互视角的遮挡评估方法，其特征在于，所述方法还包括：
预设一函数ratio＝overlapping(Robj,Rocclu)，以计算同一焦平面上所述目标人员与所述遮挡人员的重叠度。
7.一种基于互视角的遮挡评估装置，其特征在于，所述装置包括：
获取模块，用于获取通过至少一个顶部深度相机对目标场景以俯视角度采集得到的第一成像数据、及通过光场相机阵列对目标场景以主视角度采集得到的第二成像数据，据以得到针对目标场景中多个区域中的人员头部的世界坐标系下的三维坐标集合；
处理模块，用于依据所述三维坐标集合将各人员坐标模型化至目标人员脸部坐在的焦平面，以得到人员焦平面坐标集合；依据所述光场相机阵列中至少一个彩色传感器，评估任意一或多个所述彩色传感器视角下目标人员被遮挡情况，并得到针对所述目标人员的遮挡程度评估集合，以供选出最优视角。
8.一种基于互视角的遮挡评估设备，其特征在于，所述设备包括：存储器、处理器、及通信器；所述存储器用于存储计算机程序；所述处理器运行计算机程序实现权利要求1至6中任意一项所述的基于互视角的遮挡评估方法；所述通信器用于与外部设备通信连接。
9.一种基于互视角的遮挡评估系统，其特征在于，所述系统包括：
设于场景上方且采集方向为向下的至少一个深度相机；
设置成采集方向为面向该场景中行人的光场相机阵列；
如权利要求8所述的基于互视角的遮挡评估设备，通过其通信器通信连接各所述深度相机及光场相机阵列。
10.一种计算机存储介质，其特征在于，存储有计算机程序，所述计算机程序被运行时执行如权利要求1至6中任一项所述的基于互视角的遮挡评估方法。
CN201910073901.6A 2019-01-25 2019-01-25 基于互视角的遮挡评估方法及装置、设备、系统和介质 Active CN111489384B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910073901.6A CN111489384B (zh) 2019-01-25 2019-01-25 基于互视角的遮挡评估方法及装置、设备、系统和介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910073901.6A CN111489384B (zh) 2019-01-25 2019-01-25 基于互视角的遮挡评估方法及装置、设备、系统和介质

Publications (2)

Publication Number Publication Date
CN111489384A true CN111489384A (zh) 2020-08-04
CN111489384B CN111489384B (zh) 2023-05-16

Family

ID=71795760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910073901.6A Active CN111489384B (zh) 2019-01-25 2019-01-25 基于互视角的遮挡评估方法及装置、设备、系统和介质

Country Status (1)

Country Link
CN (1) CN111489384B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257520A (zh) * 2020-09-30 2021-01-22 洛伦兹（北京）科技有限公司 人流量统计方法、装置及系统
CN112396125A (zh) * 2020-12-01 2021-02-23 中国第一汽车股份有限公司 一种定位测试场景的分类方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107010A1 (en) * 2011-11-02 2013-05-02 Microsoft Corporation Surface segmentation from rgb and depth images
US20180352209A1 (en) * 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and Systems for Light Field Compression Using Multiple Reference Depth Image-Based Rendering
CN109242900A (zh) * 2018-08-01 2019-01-18 曜科智能科技（上海）有限公司 焦平面定位方法、处理装置、焦平面定位系统及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130107010A1 (en) * 2011-11-02 2013-05-02 Microsoft Corporation Surface segmentation from rgb and depth images
US20180352209A1 (en) * 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and Systems for Light Field Compression Using Multiple Reference Depth Image-Based Rendering
CN109242900A (zh) * 2018-08-01 2019-01-18 曜科智能科技（上海）有限公司 焦平面定位方法、处理装置、焦平面定位系统及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
姜岩;高峰;徐国艳;: "基于角点特征的立体视觉车辆环境感知系统研究" *
杨贵军;柳钦火;黄华国;刘强;顾行发;: "基于场景模型的热红外遥感成像模拟方法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257520A (zh) * 2020-09-30 2021-01-22 洛伦兹（北京）科技有限公司 人流量统计方法、装置及系统
CN112396125A (zh) * 2020-12-01 2021-02-23 中国第一汽车股份有限公司 一种定位测试场景的分类方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111489384B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
KR102674646B1 (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
KR102261020B1 (ko) 개선된 카메라 캘리브레이션 시스템, 타겟 및 프로세스
CN105894499B (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
US8208029B2 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
JP6363863B2 (ja) 情報処理装置および情報処理方法
US20130335535A1 (en) Digital 3d camera using periodic illumination
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
JP2008537190A (ja) 赤外線パターンを照射することによる対象物の三次元像の生成
CA2650557A1 (en) System and method for three-dimensional object reconstruction from two-dimensional images
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
JP6541920B1 (ja) 情報処理装置、プログラム及び情報処理方法
KR101969082B1 (ko) 다수의 카메라를 이용한 최적의 구형 영상 획득 방법
CN112470189B (zh) 光场系统的遮挡消除
CN109242900B (zh) 焦平面定位方法、处理装置、焦平面定位系统及存储介质
US20230394832A1 (en) Method, system and computer readable media for object detection coverage estimation
Svoboda et al. Matching in catadioptric images with appropriate windows, and outliers removal
CN115345942A (zh) 空间标定方法、装置、计算机设备和存储介质
JP6285686B2 (ja) 視差画像生成装置
CN111489384B (zh) 基于互视角的遮挡评估方法及装置、设备、系统和介质
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
KR20160049639A (ko) 부분 선형화 기반의 3차원 영상 정합 방법
CN111383262B (zh) 遮挡检测方法、系统、电子终端以及存储介质
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
JP3275252B2 (ja) ３次元情報入力方法及びそれを使った３次元情報入力装置
Kuhl et al. Monocular 3D scene reconstruction at absolute scales by combination of geometric and real-aperture methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant