Nothing Special   »   [go: up one dir, main page]

CN112073640B - 全景信息采集位姿获取方法及装置、系统 - Google Patents

全景信息采集位姿获取方法及装置、系统 Download PDF

Info

Publication number
CN112073640B
CN112073640B CN202010966678.0A CN202010966678A CN112073640B CN 112073640 B CN112073640 B CN 112073640B CN 202010966678 A CN202010966678 A CN 202010966678A CN 112073640 B CN112073640 B CN 112073640B
Authority
CN
China
Prior art keywords
face recognition
image acquisition
face
equipment
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010966678.0A
Other languages
English (en)
Other versions
CN112073640A (zh
Inventor
黄乘风
陈昱彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beike Technology Co Ltd
Original Assignee
Beike Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beike Technology Co Ltd filed Critical Beike Technology Co Ltd
Priority to CN202010966678.0A priority Critical patent/CN112073640B/zh
Publication of CN112073640A publication Critical patent/CN112073640A/zh
Application granted granted Critical
Publication of CN112073640B publication Critical patent/CN112073640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70Multimodal biometrics, e.g. combining information from different biometric modalities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725Cordless telephones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种全景信息采集位姿获取方法及装置、系统,利用面部识别设备和图像采集设备的互动,面部识别设备采集到面部信息后,与图像采集设备采集的全景图像比对,获取在全景图像中的位置,进而确定面部识别设备与图像采集设备的相对夹角。面部识别设备获取自身位姿参数后,根据所述相对夹角获取图像采集设备的位姿参数。根据面部识别设备的位姿参数结合相对夹角来获取图像采集设备的位姿参数,避免了图像采集设备采集的全景图像由于没有位姿参数而造成在拼接时出现的角度偏差问题。

Description

全景信息采集位姿获取方法及装置、系统
技术领域
本发明涉及信息采集技术领域,尤其是一种全景信息采集位姿获取方法及装置、系统。
背景技术
在室内三维模型的数据采集阶段,一般需要利用特殊设备,收集不同的拍摄点数据(包括深度数据和RGB图像数据)。在完成对数据收集以后,通过标定好的相机参数、RGB图片以及深度图片得到RGBD图。其中,RGB是工业界的一种颜色标准,是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的,RGB即是代表红、绿、蓝三个通道的颜色,这个标准几乎包括了人类视力所能感知的所有颜色,是目前运用最广的颜色系统之一。深度图(Depth Map)是包含与视点的场景对象的表面的距离有关的信息的图像或图像通道。其中,Depth Map类似于灰度图像,只是它的每个像素值是传感器距离物体的实际距离。通常RGB图像和Depth图像是配准的,因而像素点之间具有一对一的对应关系。
现有技术中,能够结合相机位姿将RGBD图转化为单个相机点位的点云。这需要找出不同拍摄点的在全局坐标系下的坐标,才能把这些点云数据拼接成一个完整房屋的点云模型。
现有技术中,通常使用AR(虚拟现实)技术实时定位并进行全景信息采集。这种方案尽管AR引擎可以回传任意时刻手机的位姿信息,但是无法将手机位姿和全景相机的拍摄角度进行关联,从而导致结果的整体角度偏差。
发明内容
本发明实施例所要解决的一个技术问题是:提供一种全景信息采集位姿获取方法及装置、系统,解决现有技术中无法将手机位姿和全景相机的拍摄角度进行关联,从而导致结果的整体角度偏差的问题。
根据本发明的一个方面,提供了一种全景信息采集位姿获取方法,所述方法包括:
将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配;所述面部识别设备与图像采集设备固定相对位置设置;
根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角;
根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数。
可选地,所述面部识别设备与图像采集设备固定相对位置设置,包括:
所述面部识别设备与图像采集设备相对位置、相对距离和相对角度均固定设置。
可选地,所述方法还包括:
当所述面部识别设备获取所述面部信息时,所述图像采集设备进行全景图像采集。
可选地,所述方法还包括:
所述面部识别设备获取任一面部信息作为所述面部信息。
可选地,所述方法还包括:
所述面部识别设备在获取所述面部信息后,确定所述面部信息的清晰度和角度符合预设的阈值时,通知所述图像采集设备进行全景图像采集;
所述预设的阈值根据清晰识别面部信息所需要的清晰度和角度范围设定。
可选地,所述根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角,包括:
在所述全景图像中比对所述面部信息;
根据所述面部信息在所述全景图像中的位置,确定所述面部信息与图像采集设备的相对位置;
根据所述面部信息与图像采集设备的相对位置,计算得到所述面部识别设备与图像采集设备的相对夹角。
可选地,所述根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数,包括:
获取所述面部识别设备的位姿参数;
根据所述面部识别设备的位姿参数,结合所述相对夹角调整得到所述图像采集设备的位姿参数。
根据本发明的另一个方面,提供了一种全景信息采集位姿获取装置,包括:
匹配单元,用于将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配;所述面部识别设备与图像采集设备固定相对位置设置;
相对角度获取单元,用于根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角;
位姿参数获取单元,用于根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数。
可选地,所述装置还包括:
面部识别单元,用于获取任一面部信息作为所述面部信息,并发送所述匹配单元在图像采集设备获取的全景图像中匹配。
可选地,所述面部识别单元,还用于在获取所述面部信息后,确定所述面部信息的清晰度和角度符合预设的阈值时,通知所述图像采集设备进行全景图像采集;所述预设的阈值根据清晰识别面部信息所需要的清晰度和角度范围设定。
可选地,所述装置还包括:
全景图像采集单元,用于采集全景图像。
可选地,所述相对角度获取单元,具体用于:
在所述全景图像中比对所述面部信息;根据所述面部信息在所述全景图像中的位置,确定所述面部信息与图像采集设备的相对位置;根据所述面部信息与图像采集设备的相对位置,计算得到所述面部识别设备与图像采集设备的相对夹角。
可选地,所述位姿参数获取单元,具体用于:
获取所述面部识别设备的位姿参数;根据所述面部识别设备的位姿参数,结合所述相对夹角调整得到所述图像采集设备的位姿参数。
根据本发明的另一个方面,提供了一种全景信息采集位姿获取系统,包括固定相对位置设置的面部识别设备和图像采集设备,其中:
所述面部识别设备,用于获取面部信息;
所述图像采集设备,用于采集全景图像;
所述控制设备,用于将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配;根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角;根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数。
可选地,所述面部识别设备,还用于在获取所述面部信息时,通知所述图像采集设备进行全景图像采集。
根据本发明的另一个方面,提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述所述的方法。
根据本发明的另一个方面,提供了一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述所述的方法。
基于本发明上述实施例提供的方案,主要包括如下有益效果:
将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配;所述面部识别设备与图像采集设备固定相对位置设置;根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角;根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数。本发明实施例的方案,利用面部识别设备和图像采集设备的互动,根据面部识别设备的位姿参数结合相对夹角来获取图像采集设备的位姿参数,避免了图像采集设备采集的全景图像由于没有位姿参数而造成在拼接时出现的角度偏差问题。
面部识别设备获取自身位姿参数后,根据所述相对夹角获取图像采集设备的位姿参数。可以方便的将图像采集设备在房间各个位置采集的全景图像自动拼接为三维图像,通过简单的图像采集设备采集房间点位的全景图像,就能够推断出该房间的一个矢量化的极简三维模型,能够满足快速简洁的全屋重建的需求。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例,并且连同描述一起用于解释本发明的原理。
同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
图1为本发明一个实施例提供的全景信息采集位姿获取方法原理流程图。
图2为本发明一个实施例提供的全景信息采集位姿获取装置结构示意图。
图3为本发明一个实施例提供的全景信息采集位姿获取系统结构示意图。
图4为本发明一个实施例提供的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
本发明实施例中,可以通过图像采集设备在房间内不同的位置采集不同的全景图像,然后将不同全景图像的点云拼接成整个房屋模型。但是由于图像采集设备的位置和角度不确定,造成图像拼接的困难。因而,需要首先确定图像采集设备的位姿参数。而通常的图像采集设备并不具备位姿参数获取的功能,因而需要利用其它技术获取图像采集设备的位姿参数。
本发明实施例中的图像采集设备可以时普通全景相机,用以采集全景图像。通常可以时普通的商用全景相机,或者可以采集深度数据和RGB图像数据的特殊设备。
本发明实施例中的面部识别设备,可以是常用的具备面部识别功能的移动设备,例如,手机、平板电脑等。只要具备面部识别功能的设备均可以作为面部识别设备。
本发明实施例中的面部识别设备通常还需要具备虚拟现实(AR)技术,可以应用例如ar-core或ar-kit等增强现实软件工具包进行相应的操作。可以利用这些增强现实软件工具包获取面部识别设备的位姿参数,进行后续操作。
本发明实施例中,以通过面部识别为例,来说明如何利用常规的面部识别设备和图像采集设备进行全景信息的采集,此处并不限定是面部信息。实际上,只要能够为面部识别设备和图像采集设备识别,进而可以进行相对夹角运算的参照物都可以作为本发明方案的参照,本发明实施例并不限于面部识别。
如图1所示,为本实施例提供的全景信息采集位姿获取原理流程图,其中,
步骤11,将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配。
在本发明的一个实施例中,面部识别设备和图像采集设备的相对位置需要固定。例如,可以是采用一个三脚架,将图像采集设备固定在三脚架的顶端,面部识别设备固定在三脚架的中间,也就是图像采集设备的下方。这样,三脚架移动位置后,图像采集设备和面部识别设备的相对位置不会发生变化。
在本发明的一个实施例中,面部识别设备采集到面部信息后,图像采集设备也采集全景图像。全景图像中应该也包括面部信息。二者匹配,可以获知具体的面部信息在全景图像中的相对位置。
在本发明的一个实施例种,面部识别设备可以先采集面部信息,待面部信息被识别后,再进行图像采集设备的全景图像采集。也可以是在面部识别设备采集面部信息的同时,图像采集设备进行全景图像的采集。
步骤12,根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角。
在本发明的一个实施例中,获取了面部信息在全景图像中的位置,确定为同一面部信息。由于面部识别设备在识别面部信息时,需要正对相关的面部,因而,其角度可确定。而图像采集设备采集的是全景信息,并没有角度。确定了面部识别设备的朝向,则可以获知该面部信息在全景图像的位置,也就是获取了面部识别设备的朝向与图像采集设备的主方向在平面上的相对夹角,这个相对夹角是面部识别设备与图像采集设备主方向之间的夹角,用以确认二者的相对偏差角度。
步骤13,根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数。
位姿参数,即为物体的位置和姿态的参数,用以表征特定物体的位置和物体的姿态。位姿是指给定若干图像,估计其中相机运动的问题。可以采用特征点法来获取相机的位姿参数。先从图像当中提取许多特征,然后在图像间进行特征匹配,这样就得到许多匹配好的点,再根据这些点进行相机位姿的求解。
在本发明的一个实施例中,面部识别设备内部可以设置例如ar-core或ar-kit等增强现实软件工具包进行相应的操作。这些增强现实软件工具包可以感知面部识别设备的位置和姿态,获取面部识别设备的位姿参数。
例如,ar-core是谷歌推出的搭建增强现实应用程序的软件平台,类似苹果公司推出的ar-kit,可以利用云软件和设备硬件的进步,将数字对象放到现实世界中。ar-core的主要功能包括:1)动作捕捉:使用传感器和相机,可以准确感知设备的位置和姿态,并改变显示的虚拟物体的位置和姿态;2)环境感知:感知平面,比如你面前的桌子、地面,在虚拟空间中准确复现这个平面3)光源感知:使用手机的环境光传感器,感知环境光照情况,对应调整虚拟物体的亮度、阴影和材质,让它看起来更融入环境。
获取了面部识别设备的位姿参数后,结合相对夹角,可以计算得到图像采集设备的位姿参数,进而为图像采集设备采集的全景图像进行拼接做好准备。
在本发明的一个实施例中,所述面部识别设备与图像采集设备固定相对位置设置,包括:
所述面部识别设备与图像采集设备相对位置、相对距离和相对角度均固定设置。
面部识别设备与图像采集设备的相对位置、相对距离、相对角度都是需要固定的,以计算确定的相对夹角。
在本发明的一个实施例中,当所述面部识别设备获取所述面部信息时,所述图像采集设备进行全景图像采集。
由于面部信息识别时要求面部必须正对面部识别设备,因而,在面部正对设备的时候可以更为有效的进行面部信息识别。此时,确定面部正对着面部识别设备,面部识别设备通知图像采集设备进行图像采集,可以确保此时采集的全景图像中包含对应的面部信息。
在本发明的一个实施例中,所述面部识别设备获取任一面部信息作为所述面部信息。
面部识别设备并没有固定的面部信息供识别,而是可以获取任何的面部信息进行识别。只要这个面部信息可以在识别之后同时被图像采集设备采集到,即可以进行后续的操作。
在本发明的一个实施例中,所述面部识别设备在获取所述面部信息后,确定所述面部信息的清晰度和角度符合预设的阈值时,通知所述图像采集设备进行全景图像采集。面部识别设备在获取所述面部信息后需要在较短的时间内完成通知图像采集设备的过程,以避免面部识别设备采集的面部信息与图像采集设备采集的全景图像存在无法匹配的问题。
或者,当所述面部识别设备获取所述面部信息的同时,所述图像采集设备进行全景图像采集,以确保面部识别设备采集的面部信息与图像采集设备采集的全景图像的匹配。
所述预设的阈值根据清晰识别面部信息所需要的清晰度和角度范围设定。
面部识别的前提是对应的面部信息必须清晰和完整,侧面的面部信息很难识别到。因而,需要设定一个阈值,用来确定对应的面部信息是否可以准确识别。
通常,可以设置一个面部识别的取景框,当对应的面部在取景框中出现且覆盖取景框一定比例的范围后,可以准确识别。
在本发明的一个实施例中,所述根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角,包括:
在所述全景图像中比对所述面部信息;
根据所述面部信息在所述全景图像中的位置,确定所述面部信息与图像采集设备的相对位置;
根据所述面部信息与图像采集设备的相对位置,计算得到所述面部识别设备与图像采集设备的相对夹角。
在本发明的一个实施例中,所述根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数,包括:
获取所述面部识别设备的位姿参数;
根据所述面部识别设备的位姿参数,结合所述相对夹角调整得到所述图像采集设备的位姿参数。
具体来说,本发明实施例中,借助面部(人脸)为中间标记物,通过面部识别设备采集面部信息+全景图像中面部信息匹配来计算相对夹角,获得图像采集设备的位姿,从而实现空间信息的采集和拼接。
面部识别设备上的摄像头识别面部信息,保证面部信息在取景框内占比,从而确保所述面部是正对摄像头的,此时,面部识别设备与面部的夹角为0。如若此时检测到面部信息,则记录面部信息并向图像采集设备发出拍摄指令,此时所述面部信息对应的人的位置是不动的。获取图像采集设备拍摄的全景图像后,识别此时面部信息在全景图像中的位置,即与图像采集设备的相对夹角。知道这个相对夹角后,用这个夹角和虚拟现实引擎返回的位姿夹角,就能计算出图像采集设备的真实位姿,从而对图像采集设备在不同位置采集的全景图像实现精确的拼接。
本发明实施例的方案,将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配;所述面部识别设备与图像采集设备固定相对位置设置;根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角;根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数。本发明实施例的方案,利用面部识别设备和图像采集设备的互动,面部识别设备采集到面部信息后,与图像采集设备采集的全景图像比对,获取在全景图像中的位置,进而确定面部识别设备与图像采集设备的相对夹角。面部识别设备获取自身位姿参数后,根据所述相对夹角获取图像采集设备的位姿参数。根据面部识别设备的位姿参数结合相对夹角来获取图像采集设备的位姿参数,避免了图像采集设备采集的全景图像由于没有位姿参数而造成在拼接时出现的角度偏差问题。
举例来说,通常对于房间全景图像的采集时通过全景相机在多个位置采集到多张全景图像,然后进行拼接得到房间的整体模型。而由于全景相机本身并不能直接获取自身的位姿参数,全景相机的位姿变换,会造成拼接时各全景图像的角度存在偏差,无法有效拼接。根据本实施例的方案,可以利用面部识别设备获取的位姿参数推断全景相机(图像采集设备)的位姿参数,为后续的全景图像拼接提供确定的角度,可以方便的将图像采集设备在房间各个位置采集的全景图像自动拼接为三维图像。
本发明的一个实施例提供了一种全景信息采集位姿获取装置,如图2所示,所述装置包括:
匹配单元21,用于将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配;所述面部识别设备与图像采集设备固定相对位置设置;
相对角度获取单元22,用于根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角;
位姿参数获取单元23,用于根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数。
在本发明的一个实施例中,所述装置还包括:
面部识别单元24,用于获取任一面部信息作为所述面部信息,并发送所述匹配单元21在图像采集设备获取的全景图像中匹配。
在本发明的一个实施例中,所述面部识别单元24,还用于在获取所述面部信息后,确定所述面部信息的清晰度和角度符合预设的阈值时,通知所述图像采集设备进行全景图像采集;所述预设的阈值根据清晰识别面部信息所需要的清晰度和角度范围设定。
面部识别设备在获取所述面部信息后需要在较短的时间内完成通知图像采集设备的过程,以避免面部识别设备采集的面部信息与图像采集设备采集的全景图像存在无法匹配的问题。
或者,当所述面部识别设备获取所述面部信息的同时,所述图像采集设备进行全景图像采集,以确保面部识别设备采集的面部信息与图像采集设备采集的全景图像的匹配。
在本发明的一个实施例中,所述装置还包括:
全景图像采集单元25,用于采集全景图像。
所述相对角度获取单元22,具体用于:
在所述全景图像中比对所述面部信息;根据所述面部信息在所述全景图像中的位置,确定所述面部信息与图像采集设备的相对位置;根据所述面部信息与图像采集设备的相对位置,计算得到所述面部识别设备与图像采集设备的相对夹角。
所述位姿参数获取单元23,具体用于:
获取所述面部识别设备的位姿参数;根据所述面部识别设备的位姿参数,结合所述相对夹角调整得到所述图像采集设备的位姿参数。
如图3所示,本发明实施例还提供一种全景信息采集位姿获取系统,包括控制设备31、固定相对位置设置的面部识别设备32和图像采集设备33,其中:
所述面部识别设备32,用于获取面部信息;
所述图像采集设备33,用于采集全景图像;
所述控制设备31,用于将面部识别设备32获取的面部信息在图像采集设备33获取的全景图像中匹配;根据所述面部信息在全景图像中的位置,得到所述面部识别设备32与图像采集设备33的相对夹角;根据所述面部识别设备32的位姿参数与所述相对夹角,获取所述图像采集设备33的位姿参数。
所述面部识别设备32,还用于在获取所述面部信息时,通知所述图像采集设备33进行全景图像采集。
在本发明的一个实施例中,所述面部识别设备32可以是常用的具备面部识别功能的移动设备,例如,手机、平板电脑等。只要具备面部识别功能的设备均可以作为面部识别设备32。
在本发明的一个实施例中,图像采集设备33可以是普通全景相机,用以采集全景图像。通常可以是普通的商用全景相机,或者可以采集深度数据和RGB图像数据的特殊设备。
在本发明的一个实施例中,所述控制设备31可以与面部识别设备32一同设置,也可以单独设置。控制设备31是整个系统的主控设备,需要进行面部识别设备32与图像采集设备33的控制,还需要进行相关呃运算。
在本发明的一个实施例中,还提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序用于执行上述的方法。
在本发明的一个实施例中,还提供了一种电子设备,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述的方法。
图4为本发明电子设备一个应用实施例的结构示意图。如图4所示,电子设备包括一个或多个处理器和存储器。
处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元,并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器可以运行所述程序指令,以实现上文所述的本发明的各个实施例的基于行为分析的匹配方法以及/或者其他期望的功能。
在一个示例中,电子装置还可以包括:输入装置和输出装置,这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
此外,该输入装置还可以包括例如键盘、鼠标等等。
该输出装置可以向外部输出各种信息,包括确定出的距离信息、方向信息等。该输出装置可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出装置等等。
当然,为了简化,图4中仅示出了该电子设备中与本发明有关的组件中的一些,省略了诸如总线、输入/输出接口等等的组件。除此之外,根据具体应用情况,电子设备还可以包括任何其他适当的组件。
除了上述方法和设备以外,本发明的实施例还可以是计算机程序产品,其包括计算机程序指令,所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述部分中描述的根据本发明各种实施例的基于行为分析的匹配方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例操作的程序代码,所述程序设计语言包括面向对象的程序设计语言,诸如Java、C++等,还包括常规的过程式程序设计语言,诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
基于本发明上述实施例提供的方案,主要包括如下有益效果:
将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配;所述面部识别设备与图像采集设备固定相对位置设置;根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角;根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数。本发明实施例的方案,利用面部识别设备和图像采集设备的互动,面部识别设备采集到面部信息后,与图像采集设备采集的全景图像比对,获取在全景图像中的位置,进而确定面部识别设备与图像采集设备的相对夹角。面部识别设备获取自身位姿参数后,根据所述相对夹角获取图像采集设备的位姿参数。根据面部识别设备的位姿参数结合相对夹角来获取图像采集设备的位姿参数,避免了图像采集设备采集的全景图像由于没有位姿参数而造成在拼接时出现的角度偏差问题。根据图像采集设备的位姿参数,可以方便的将图像采集设备在房间各个位置采集的全景图像自动拼接为三维图像,通过简单的图像采集设备采集房间点位的全景图像,就能够推断出该房间的一个矢量化的极简三维模型,能够满足快速简洁的全屋重建的需求。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
可能以许多方式来实现本发明的方法和装置。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (15)

1.一种全景信息采集位姿获取方法,其特征在于,所述方法包括:
将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配;所述面部识别设备与图像采集设备固定相对位置设置;
根据所述面部信息在所述全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角;
根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数;
其中,所述根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角,包括:
在所述全景图像中比对所述面部信息;
根据所述面部信息在所述全景图像中的位置,确定所述面部信息与图像采集设备的相对位置;
根据所述面部信息与图像采集设备的相对位置,计算得到所述面部识别设备与图像采集设备的相对夹角。
2.如权利要求1所述的方法,其特征在于,所述面部识别设备与图像采集设备固定相对位置设置,包括:
所述面部识别设备与图像采集设备相对位置、相对距离和相对角度均固定设置。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
当所述面部识别设备获取所述面部信息时,所述图像采集设备进行全景图像采集。
4.如权利要求3所述的方法,其特征在于,所述方法还包括:
所述面部识别设备获取任一面部信息作为所述面部信息。
5.如权利要求3或4所述的方法,其特征在于,所述方法还包括:
所述面部识别设备在获取所述面部信息后,确定所述面部信息的清晰度和角度符合预设的阈值时,通知所述图像采集设备进行全景图像采集;
所述预设的阈值根据清晰识别面部信息所需要的清晰度和角度范围设定。
6.如权利要求1所述的方法,其特征在于,所述根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数,包括:
获取所述面部识别设备的位姿参数;
根据所述面部识别设备的位姿参数,结合所述相对夹角调整得到所述图像采集设备的位姿参数。
7.一种全景信息采集位姿获取装置,其特征在于,包括:
匹配单元,用于将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配;所述面部识别设备与图像采集设备固定相对位置设置;
相对角度获取单元,用于根据所述面部信息在所述全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角,其中在所述全景图像中比对所述面部信息;根据所述面部信息在所述全景图像中的位置,确定所述面部信息与图像采集设备的相对位置;根据所述面部信息与图像采集设备的相对位置,计算得到所述面部识别设备与图像采集设备的相对夹角;
位姿参数获取单元,用于根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数。
8.如权利要求7所述的装置,其特征在于,所述装置还包括:
面部识别单元,用于获取任一面部信息作为所述面部信息,并发送所述匹配单元在图像采集设备获取的全景图像中匹配。
9.如权利要求8所述的装置,其特征在于,所述面部识别单元,还用于在获取所述面部信息后,确定所述面部信息的清晰度和角度符合预设的阈值时,通知所述图像采集设备进行全景图像采集;所述预设的阈值根据清晰识别面部信息所需要的清晰度和角度范围设定。
10.如权利要求7所述的装置,其特征在于,所述装置还包括:
全景图像采集单元,用于采集全景图像。
11.如权利要求7~10任一所述的装置,其特征在于,所述位姿参数获取单元,具体用于:
获取所述面部识别设备的位姿参数;根据所述面部识别设备的位姿参数,结合所述相对夹角调整得到所述图像采集设备的位姿参数。
12.一种全景信息采集位姿获取系统,其特征在于,包括固定相对位置设置的面部识别设备和图像采集设备、以及控制设备,其中:
所述面部识别设备,用于获取面部信息;
所述图像采集设备,用于采集全景图像;
所述控制设备,用于将面部识别设备获取的面部信息在图像采集设备获取的全景图像中匹配;根据所述面部信息在全景图像中的位置,得到所述面部识别设备与图像采集设备的相对夹角,其中在所述全景图像中比对所述面部信息;根据所述面部信息在所述全景图像中的位置,确定所述面部信息与图像采集设备的相对位置;根据所述面部信息与图像采集设备的相对位置,计算得到所述面部识别设备与图像采集设备的相对夹角;根据所述面部识别设备的位姿参数与所述相对夹角,获取所述图像采集设备的位姿参数。
13.如权利要求12所述的系统,其特征在于,所述面部识别设备,还用于在获取所述面部信息时,通知所述图像采集设备进行全景图像采集。
14.一种计算机可读存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序用于执行上述权利要求1-6任一所述的方法。
15.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
所述处理器,用于从所述存储器中读取所述可执行指令,并执行所述指令以实现上述权利要求1-6任一所述的方法。
CN202010966678.0A 2020-09-15 2020-09-15 全景信息采集位姿获取方法及装置、系统 Active CN112073640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010966678.0A CN112073640B (zh) 2020-09-15 2020-09-15 全景信息采集位姿获取方法及装置、系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010966678.0A CN112073640B (zh) 2020-09-15 2020-09-15 全景信息采集位姿获取方法及装置、系统

Publications (2)

Publication Number Publication Date
CN112073640A CN112073640A (zh) 2020-12-11
CN112073640B true CN112073640B (zh) 2022-03-29

Family

ID=73695811

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010966678.0A Active CN112073640B (zh) 2020-09-15 2020-09-15 全景信息采集位姿获取方法及装置、系统

Country Status (1)

Country Link
CN (1) CN112073640B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115937722A (zh) * 2021-09-30 2023-04-07 华为技术有限公司 一种设备定位方法、设备及系统
CN115426488B (zh) * 2022-11-04 2023-01-10 中诚华隆计算机技术有限公司 一种虚拟现实图像数据传输方法、系统及芯片

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108594999A (zh) * 2018-04-20 2018-09-28 北京京东金融科技控股有限公司 用于全景图像展示系统的控制方法和装置
CN111629242A (zh) * 2020-05-27 2020-09-04 腾讯科技(深圳)有限公司 一种图像渲染方法、装置、系统、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109427040B (zh) * 2017-08-22 2023-10-10 富联国基(上海)电子有限公司 图像处理装置及方法
TWI649721B (zh) * 2017-12-06 2019-02-01 凌通科技股份有限公司 無人飛行機之全景拍照方法與使用其之無人飛行機
CN108168458A (zh) * 2017-12-29 2018-06-15 北京领航视觉科技有限公司 一种室内三维数据自动采集设备
CN109389367B (zh) * 2018-10-09 2021-06-18 苏州科达科技股份有限公司 人员考勤方法、装置及存储介质
CN111080804B (zh) * 2019-10-23 2020-11-06 贝壳找房(北京)科技有限公司 三维图像生成方法及装置
CN111612842B (zh) * 2020-05-29 2023-08-18 如你所视(北京)科技有限公司 生成位姿估计模型的方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108594999A (zh) * 2018-04-20 2018-09-28 北京京东金融科技控股有限公司 用于全景图像展示系统的控制方法和装置
CN111629242A (zh) * 2020-05-27 2020-09-04 腾讯科技(深圳)有限公司 一种图像渲染方法、装置、系统、设备及存储介质

Also Published As

Publication number Publication date
CN112073640A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
US11145038B2 (en) Image processing method and device for adjusting saturation based on depth of field information
US10002463B2 (en) Information processing apparatus, information processing method, and storage medium, for enabling accurate detection of a color
JP6560480B2 (ja) 画像処理システム、画像処理方法、及びプログラム
US10410089B2 (en) Training assistance using synthetic images
JP5740884B2 (ja) 繰り返し撮影用arナビゲーション及び差異抽出のシステム、方法及びプログラム
US9129435B2 (en) Method for creating 3-D models by stitching multiple partial 3-D models
JP6428266B2 (ja) 色補正装置、色補正方法および色補正用プログラム
CN106705837B (zh) 一种基于手势的物体测量方法及装置
CN111783820A (zh) 图像标注方法和装置
CN108200334B (zh) 图像拍摄方法、装置、存储介质及电子设备
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
US20220078385A1 (en) Projection method based on augmented reality technology and projection equipment
US20180357819A1 (en) Method for generating a set of annotated images
WO2021136386A1 (zh) 数据处理方法、终端和服务器
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
CN111970454B (zh) 一种拍摄画面的展示方法、装置、设备及储存介质
KR20130112578A (ko) 사용자 기반의 증강 현실 정보를 제공하기 위한 장치 및 방법
CN112073640B (zh) 全景信息采集位姿获取方法及装置、系统
US10127424B2 (en) Image processing apparatus, image processing method, and image processing system
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
WO2020032254A1 (ja) 注意対象推定装置及び注意対象推定方法
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
CN112396654A (zh) 用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置
US20220303460A1 (en) Systems and Methods for Generating Consistent Images of Objects
US11138807B1 (en) Detection of test object for virtual superimposition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant