Nothing Special   »   [go: up one dir, main page]

CN108269288A - 智能异形投影非接触式交互系统和方法 - Google Patents

智能异形投影非接触式交互系统和方法 Download PDF

Info

Publication number
CN108269288A
CN108269288A CN201711460835.5A CN201711460835A CN108269288A CN 108269288 A CN108269288 A CN 108269288A CN 201711460835 A CN201711460835 A CN 201711460835A CN 108269288 A CN108269288 A CN 108269288A
Authority
CN
China
Prior art keywords
image
projection
projecting apparatus
camera
interaction area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711460835.5A
Other languages
English (en)
Other versions
CN108269288B (zh
Inventor
王波
于海涛
朱晓阳
蒋永实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhongke Qichuang Tianjin Technology Co ltd
Institute of Automation of Chinese Academy of Science
Original Assignee
Zhongke Qichuang Tianjin Technology Co ltd
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhongke Qichuang Tianjin Technology Co ltd, Institute of Automation of Chinese Academy of Science filed Critical Zhongke Qichuang Tianjin Technology Co ltd
Priority to CN201711460835.5A priority Critical patent/CN108269288B/zh
Publication of CN108269288A publication Critical patent/CN108269288A/zh
Application granted granted Critical
Publication of CN108269288B publication Critical patent/CN108269288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明属于异形投影领域,具体涉及一种智能异形投影非接触式交互系统和方法,旨在解决异形面投影的非接触式交互问题,本系统包括投影模块,用于进行视频投影,并在交互投影初始化时生成交互区域索引图;图像采集模块,用于实时采集交互区域的图像;异形投影标定模块包括摄像机标定、投影仪标定、摄像机和投影仪同时标定;影像制作模块,用于制作对应投影仪需要投影的视频和异形面上对应的交互区域图;交互模块,用于检测所采集的交互区域的图像中是否具有触控斑点,并以此为依据选择对应的投影影像发送投影仪进行投影播放。本发明采用机器视觉的原理实现非接触式交互功能,能够实现对大型异形投影长距离交互投影播放。

Description

智能异形投影非接触式交互系统和方法
技术领域
本发明属于异形投影领域,具体涉及一种智能异形投影非接触式交互系统和方法。
背景技术
随着科技的发展,各种投影技术得到较大的发展,其中大型异形投影技术使得投影画面能够与异形面完美贴合,给人一种异形面本上在发光的视觉感受,能够展示出美轮美奂的异形效果,增强了体验者的沉溺感,因而得到广泛的发展。与一般的平面投影不同,异形面的投影技术可以在各种异形面上进行投影,如汽车、人体模型、艺术墙体、立体沙盘等。在教育、娱乐、虚拟现实、商业宣传、军事沙盘等方面都有较为广泛的应用。异形面的投影需要考虑异形面的结构特征,否则投影出来的影像可能与异形面无法对齐,出现漏光、错位等现象,无法达到预期效果。为了解决这个问题常用的方法及时在投影异形面上生成网格,然后人工在异形面上拖动网格实现影像对齐的效果,但是这种方法缺少自动化的能力,需要耗费较大的人力,特别是对于较大的异形面进行投影时,比如对大型立体沙盘进行投影。
较大的异形面进行投影时需要多投影仪进行联动投影。每个投影仪直接的拼接如果采用硬拼接,即一个投影仪的投影范围和其它投影仪的投影范围相邻但不叠加,投影面上会出现投影缝隙,而且投影仪位置的摆放难以操作;如果各投影仪之间存在重叠的投影区域,重叠的投影区域会出现高亮和重影现象;通常的解决方式是对重叠高亮区域对各投影仪进行亮度融合,但是该方法操作较为复杂。
在一些特定的应用中可能需要为用户提供一定的交互能力。目前,在与投影技术相结合个交互技术通常为触摸式,如红外线式触控交互技术,这种交互技术具有交互区域为平面、交互区域有限等要求。但是对于大型的异形面进行投影交互时,触摸式的交互技术无法满足需求。因此,大型异形面的投影,如何突破接触式交互技术的局限,解决非接触式交互技术成为急需解决的课题。
发明内容
为了解决现有技术中的上述问题,即为了解决异形面投影的非接触式交互问题,本发明的一方面,提出了一种智能异形投影非接触式交互系统,包括投影模块、图像采集模块、影像制作模块、异形投影标定模块、交互模块;所述投影模块包括至少一个投影仪;所述图像采集模块包括至少一个摄像机;
所述异形投影标定模块包括摄像机标定、投影仪标定、摄像机和投影仪同时标定;所述摄像机标定用于获得摄像机内参;所述投影仪标定用于获得摄像机内参;所述摄像机和投影仪同时标定用于获得摄像机和投影仪的外参、以及投影仪在摄像机坐标系下的位置;
所述影像制作模块,用于根据投影仪在摄像机坐标系中的位置,制作对应投影仪需要投影的视频和异形面上对应的交互区域图;所述影像制作模块中,影像制作过程中虚拟摄像机的参数和位置依据所述异形投影标定模块返回的投影仪内参、外参、位置进行配置;
所述投影模块,用于进行视频投影,并在交互投影初始化时根据所述交互区域图生成交互区域索引图;
所述图像采集模块,用于实时采集交互区域的图像;
所述交互模块,用于检测所采集的交互区域的图像中是否具有触控斑点,并以此为依据选择对应的投影影像发送投影仪进行投影播放。
进一步地,所述摄像机标定,其方法为:
将棋盘格固定到标定板上,在摄像机视场范围内改变标定板的位置或角度,每次改变标定板位置稳定后且各角点均能被完全正确检测时,摄像机采集标定图像;
获取各标定图像中检测出来的角点和各角点的物理位置;
根据各标定图像中检测出来的角点和各角点的物理位置标定摄像机的内参。
进一步地,所述投影仪标定,其方法为:
通过投影仪在摄像机标定所采用的标定板上投影棋盘格;通过摄像机获取所投影的棋盘格中角点的物理三维坐标,并发送给该投影仪进行内参标定。
进一步地,所述摄像机和投影仪同时标定,其方法为:
采用摄像机标定所采用的标定板,固定标定板的位置与角度,执行一次所述投影仪标定,获得摄像机和投影仪的选择矩阵分别为Rc、 Rp,摄像机和投影仪的平移向量分别为Tc、Tp,计算投影在摄像机坐标系中的位置
进一步地,所述“通过投影仪在摄像机标定所采用的标定板上投影棋盘格;通过摄像机获取所投影的棋盘格中角点的物理三维坐标,并发送给该投影仪进行内参标定”,包括如下步骤:
步骤A1,投影仪在摄像机视场内的标定板上投影白色图像,当标定板上的棋盘格角点能被完全正确检测时,摄像机采集图像B,该图像B中包含摄像机标定时的棋盘格,检测图像B图像中的角点,标定获得摄像机的外参;
步骤A2,保持标定板角度与位置不变,投影仪在摄像机视场内的标定板上投影棋盘格图像,摄像机采集图像I,获取只包含投影棋盘格上的前景图像F=I-B;
步骤A3,当图像F中的棋盘格角点能被完全正确检测时,使用摄像机的内参、外参,获得各角点的物理三维坐标,保存到角点物理位置信息集中;
步骤A4,改变标定板的角度和/或位置,重复步骤A1-A3,到达设定次数,使用角点物理位置信息集中保存的角点物理三维坐标和投影图像中角点对应的图像信息,标定投影仪的内参。
进一步地,所述“制作对应投影仪需要投影的视频和异形面上对应的交互区域图”,其方法为:
对各投影仪,生成交互区域图,像素值均为0;
根据各投影仪在摄像机坐标系中的位置,设定各虚拟摄像机的位置;各摄像机拍摄其视场内异形面的图像,将该图像中异形面上需要投影仪投影的对应位置转换到投影仪虚拟视场中进行渲染;
虚拟摄像机中需要渲染的场景影像包括播放影像和交互区域图;所述播放影像用于在异形面上播放,多台投影仪重叠的区域选择其中一台进行渲染,其余投影仪在的该重叠的区域投影的画面为黑色;所述交互区域图用于交互初始化,所述交互区域图中的交互区域渲染成白色,其余区域保持像素值为0不变。
进一步地,所述“在交互投影初始化时根据所述交互区域图生成交互区域索引图”,其方法为:
步骤B1,定义交互区域索引图默认为全黑图像,像素值为 0;
步骤B2,各投影仪之间协调投影,按照先投影大区域后投影小区域的原则,依次将所述交互区域图投影到摄像机视场内的异形面上,摄像机拍摄异形面图像;
步骤B3,对摄像机采集的图像依次进行灰度化、二值化操作、寻找最大连通域;
步骤B4,设定图像像素的最大取值为Max,异形面的交互区域数量为N,当前区域为n,则更新交互索引图中当前最大连通域对应位置的像素值为AreadIndex=n*Max/N。
进一步地,所述“检测所采集的交互区域的图像中是否具有触控斑点,并以此为依据选择对应的投影影像发送投影仪进行投影播放”,其方法为:
摄像机实时检测视场内异形面的图像,对每一帧图像进行灰度化、二值化处理后查询最大连通域,若最大连通域大于设定的阈值就判断为用户交互的斑点落在该连通域内;
按照最大连通域的位置读取交互索引图中该位置上的像素值AreadIndex,若AreadIndex=n*Max/N,则将AreadIndex作为当前帧的索引依次保存在交互区域索引队列中;
统计当前索引列表中出现索引次数最大的交互区域索引,并将该交互区域索引编号发送至投影模块中对应的投影仪进行交互影像的投影播放。
进一步地,所述交互区域索引队列的长度根据人机交互界面窗口进行设定。
本发明的另一方面,提出了一种智能异形投影非接触式交互方法,其特征在于,基于上述的智能异形投影非接触式交互系统,包括以下步骤:
步骤S1,初始化交互区域索引图;
步骤S2,读取摄像机实时采集的交互区域的图像;
步骤S3,检测所采集的交互区域的图像中是否具有触控斑点,如没有则继续播放当前影像,如有则执行步骤S4;
步骤S4,依据所检测到的触控斑点,选择对应的投影影像发送投影仪进行投影播放。
本发明的有益效果如下:
本发明采用机器视觉的原理实现非接触式交互功能,能够实现对大型异形投影长距离交互投影播放,用户可以随心所欲的交互展示特定区域,能够更好的应用在教育、科普以及大型军用沙盘等实例中;
本发明采用摄像机和投影仪的同时标定,返回投影仪的位置作为影像制作时虚拟摄像机的位置,因此大型异形面的投影不需要通过类似网格贴图的方式进行影像与异形物体构建的对齐,具有更高的自动化程度;
本发明中在相关投影仪影像制作环节能够提供虚拟影像的具体位置,因此不需要对多个投影仪的投影仪重叠部分进行图像亮度融合。
附图说明
图1是本发明一种实施例的智能异形投影非接触式交互系统结构示意图;
图2(a)是投影仪标定过程中,投影仪向贴有棋盘格的标定板打全白图像的示意图;
图2(b)是投影仪标定过程中,投影仪向贴有标定板的棋盘格打投影仪棋盘格的示意图;
图2(c)是通过摄像机背景建模获得的用于投影仪标定的棋盘格示意图;
图3由摄像机标定投影仪的关系示意图;
图4由摄像机采集的图像到虚拟摄像机渲染被投影仪投影的图像;
图5(a)、5(b)、5(c)分别为制作模块制作的交互区域图示例;
图6由投影仪投影交互区域图后,通过摄像机采集初始化得到的交互区域索引图;
图7本发明实例程序实现流程示意图。
附图标记说明:贴在标定板上的棋盘格101、投影仪打在标定板上的全白图像102、投影仪打在标定板上的棋盘格图像103、摄像机建模获得的背景图像104、背景建模图像上的棋盘格105、摄像机106、投影仪107。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
本发明提出的智能异形投影非接触式交互系统,为用户提供了更加智能的交互功能,同时可以使用多个投影仪实现大型异形面的联动投影,从根本上解决了投影仪之间的融合问题。
本发明一种实施例的智能异形投影非接触式交互系统,如图 1所示,包括投影模块、图像采集模块、影像制作模块、异形投影标定模块、交互模块。
1、投影模块
投影模块,用于进行视频投影,并在交互投影初始化时根据所述交互区域图生成交互区域索引图。
投影模块包括一个或多个投影仪;在多个投影仪的情况下,每个投影仪和其它投影仪设置有投影重叠区域,投影重叠区域不小于该投影仪投影区域的10%。
本实施例中,在交互投影初始化时根据所述交互区域图生成交互区域索引图,即为交互区域索引图的初始化,其方法为:
步骤B1,定义交互区域索引图默认为全黑图像,像素值为 0;
步骤B2,各投影仪之间协调投影,按照先投影大区域后投影小区域的原则,依次将所述交互区域图投影到摄像机视场内的异形面上,摄像机拍摄异形面图像;
步骤B3,对摄像机采集的图像依次进行灰度化、二值化操作、寻找最大连通域;
步骤B4,设定图像像素的最大取值为Max,异形面的交互区域数量为N,当前区域为n,则更新交互索引图中当前最大连通域对应位置的像素值为AreadIndex=n*Max/N。
2、图像采集模块
图像采集模块,用于实时采集交互区域的图像。
图像采集模块包括一个或多个摄像机;若采用多个摄像机,则各摄像机之间的视场有重叠,摄像机与在其视场内进行投影的投影仪投影区域有重叠,投影交互区域在摄像机的视场内。
3、异形投影标定模块
异形投影标定模块包括摄像机标定、投影仪标定、摄像机和投影仪同时标定;所述摄像机标定用于获得摄像机内参;所述投影仪标定用于获得投影仪内参;所述摄像机和投影仪同时标定用于获得摄像机和投影仪的外参、以及投影仪在摄像机坐标系下的位置。
(1)摄像机标定,其方法为:
将棋盘格固定到标定板上,在摄像机视场范围内改变标定板的位置或角度,每次改变标定板位置稳定后且各角点均能被完全正确检测时,摄像机采集标定图像;摄像机采集标定图像根据用户需求设定,一般不少于3张;
获取各标定图像中检测出来的角点和各角点的物理位置;
根据各标定图像中检测出来的角点和各角点的物理位置标定摄像机的内参,该方法为现有技术,此处不再赘述,可以参考:Zhengyou Zhang,A flexible new techniquefor camera calibration.IEEE Transactions on Pattern Analysis and MachineIntelligence,Volume:22,Issue:11,Nov 2000。
(2)投影仪标定,可以看作摄像机标定的逆过程,其方法为:
投影仪在摄像机标定时所采用的标定板上投影棋盘格;通过摄像机获取所投影的棋盘格中角点的物理三维坐标,并发送给该投影仪进行内参标定。
本实施例中,投影仪标定可以分为以下步骤:
步骤A1,投影仪在摄像机视场内的标定板上投影白色图像 (如图2(a)所示),当标定板上的棋盘格角点能被完全正确检测时,摄像机采集图像B,该图像B中包含摄像机标定时的棋盘格,检测图像B 图像中的角点,标定获得摄像机的外参;
步骤A2,保持标定板角度与位置不变,投影仪在摄像机视场内的标定板上投影棋盘格图像(如图2(b)),摄像机采集图像I,获取只包含投影棋盘格上的前景图像F=I-B(如图2(c));
步骤A3,当图像F中的棋盘格角点能被完全正确检测时,使用摄像机的内参、外参,获得各角点的物理三维坐标,保存到角点物理位置信息集中;
步骤A4,改变标定板的角度和/或位置,重复步骤A1-A3,到达设定次数,一般不少于3次。使用角点物理位置信息集中保存的角点物理三维坐标和投影图像中角点对应的图像信息,标定投影仪的内参,该方法为现有技术,此处不再赘述,可以参考:ZhengyouZhang,A flexible new technique for camera calibration.IEEE Transactions onPattern Analysis and Machine Intelligence,Volume:22,Issue:11,Nov 2000。
摄像机标定投影仪的关系示意图如图3所示。
(3)摄像机和投影仪同时标定,投影仪和摄像机同时标定的过程与投影仪的标定类似,不同之处在于此时标定板的角度与位置在标定过程中不变,其具体方法为:
采用摄像机标定所使用的标定板,固定标定板的位置与角度,执行一次所述投影仪标定,获得摄像机和投影仪的旋转矩阵:Rc、Rp以及,摄像机和投影仪的平移向量:Tc、Tp,计算投影仪在摄像机坐标系中的位置,该方法为现有技术,此处不再赘述,可以参考:Richard Hartley,Andrew Zisserman,Multiple View Geometry in Computer Vision,Cambridge University Press,2004.3。
4、影像制作模块
影像制作模块,用于根据投影仪在摄像机坐标系中的位置,制作对应投影仪需要投影的视频和异形面上对应的交互区域图;所述影像制作模块中,影像制作过程中虚拟摄像机的参数和位置依据所述异形投影标定模块返回的投影仪内参、外参、位置进行配置。
本实施例中,制作对应投影仪需要投影的视频和异形面上对应的交互区域图的方法为:
对各投影仪,生成交互区域图,像素值均为0;
根据各投影仪在摄像机坐标系中的位置,将其设定为各虚拟摄像机的位置;各摄像机拍摄其视场内异形面的图像,将该图像中异形面上需要投影仪投影的影像,变换到所述虚拟相机的视场内进行渲染;
虚拟摄像机中需要渲染的场景影像包括播放影像和交互区域图:
(1)播放影像用于在异形面上播放,多台投影仪重叠的区域选择其中一台进行渲染,其余投影仪在的该重叠的区域投影的画面为黑色;
(2)交互区域图用于交互初始化,所述交互区域图中的交互区域渲染成白色,其余区域保持像素值为0不变。
图4示出了由摄像机采集的图像到虚拟摄像机渲染被投影仪投影的图像的示例。
图5(a)、5(b)、5(c)为制作模块制作的交互区域图示例。
图6为投影仪投影交互区域图后,通过摄像机采集初始化得到的交互区域索引图。
5、交互模块
交互模块用于检测所采集的交互区域的图像中是否具有触控斑点,并以此为依据选择对应的投影影像发送投影仪进行投影播放。
本实施例的智能异形投影非接触式交互系统,其投影播放模式包括播放模式、交互模式;系统默认为播放模式,播放模式下各投影仪协调投影,在异形面上播放特定影像资料;交互模式下,系统提供交互功能,允许用户通过激光笔等点击特定交互区域进行交互。
在交互模式下,交互模块中的判断和播放控制方法为:
(1)摄像机实时检测视场内异形面的图像,对每一帧图像进行灰度化、二值化处理后查询最大连通域,若最大连通域大于设定的阈值就判断为用户交互的斑点落在该连通域内;
(2)按照最大连通域的位置读取交互索引图中该位置上的像素值AreadIndex,若AreadIndex=n*Max/N,则将AreadIndex作为当前帧的索引依次保存在交互区域索引队列中;
(3)统计当前索引列表中出现索引次数最大的交互区域索引,并将该交互区域索引编号发送至投影模块中对应的投影仪进行交互影像的投影播放。
本发明实施例的交互区域索引队列的长度可以根据需要,从人机交互界面窗口进行设定。
本发明一种实施例的智能异形投影非接触式交互方法,基于上述的智能异形投影非接触式交互系统,如图7所示,包括以下步骤:
步骤S1,初始化交互区域索引图;
步骤S2,读取摄像机实时采集的交互区域的图像;
步骤S3,检测所采集的交互区域的图像中是否具有触控斑点,如没有则继续播放当前影像,如有则执行步骤S4;
步骤S4,依据所检测到的触控斑点,选择对应的投影影像发送投影仪进行投影播放。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的方法的具体工作过程及有关说明,可以参考前述系统实施例中的对应内容,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、及方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块、或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种智能异形投影非接触式交互系统,其特征在于,包括投影模块、图像采集模块、影像制作模块、异形投影标定模块、交互模块;所述投影模块包括至少一个投影仪;所述图像采集模块包括至少一个摄像机;
所述异形投影标定模块包括摄像机标定、投影仪标定、摄像机和投影仪同时标定;所述摄像机标定用于获得摄像机内参;所述投影仪标定用于获得摄像机内参;所述摄像机和投影仪同时标定用于获得摄像机和投影仪的外参、以及投影仪在摄像机坐标系下的位置;
所述影像制作模块,用于根据投影仪在摄像机坐标系中的位置,制作对应投影仪需要投影的视频和异形面上对应的交互区域图;所述影像制作模块中,影像制作过程中虚拟摄像机的参数和位置依据所述异形投影标定模块返回的投影仪内参、外参、位置进行配置;
所述投影模块,用于进行视频投影,并在交互投影初始化时根据所述交互区域图生成交互区域索引图;
所述图像采集模块,用于实时采集交互区域的图像;
所述交互模块,用于检测所采集的交互区域的图像中是否具有触控斑点,并以此为依据选择对应的投影影像发送投影仪进行投影播放。
2.根据权利要求1所述的智能异形投影非接触式交互系统,其特征在于,所述摄像机标定,其方法为:
将棋盘格固定到标定板上,在摄像机视场范围内改变标定板的位置或角度,每次改变标定板位置稳定后且各角点均能被完全正确检测时,摄像机采集标定图像;
获取各标定图像中检测出来的角点和各角点的物理位置;
根据各标定图像中检测出来的角点和各角点的物理位置标定摄像机的内参。
3.根据权利要求2所述的智能异形投影非接触式交互系统,其特征在于,所述投影仪标定,其方法为:
通过投影仪在摄像机标定所采用的标定板上投影棋盘格;通过摄像机获取所投影的棋盘格中角点的物理三维坐标,并发送给该投影仪进行内参标定。
4.根据权利要求3所述的智能异形投影非接触式交互系统,其特征在于,所述摄像机和投影仪同时标定,其方法为:
采用摄像机标定所采用的标定板,固定标定板的位置与角度,执行一次所述投影仪标定,获得摄像机和投影仪的选择矩阵分别为Rc、Rp,摄像机和投影仪的平移向量分别为Tc、Tp,计算投影在摄像机坐标系中的位置
5.根据权利要求3所述的智能异形投影非接触式交互系统,其特征在于,所述“通过投影仪在摄像机标定所采用的标定板上投影棋盘格;通过摄像机获取所投影的棋盘格中角点的物理三维坐标,并发送给该投影仪进行内参标定”,包括如下步骤:
步骤A1,投影仪在摄像机视场内的标定板上投影白色图像,当标定板上的棋盘格角点能被完全正确检测时,摄像机采集图像B,该图像B中包含摄像机标定时的棋盘格,检测图像B图像中的角点,标定获得摄像机的外参;
步骤A2,保持标定板角度与位置不变,投影仪在摄像机视场内的标定板上投影棋盘格图像,摄像机采集图像I,获取只包含投影棋盘格上的前景图像F=I-B;
步骤A3,当图像F中的棋盘格角点能被完全正确检测时,使用摄像机的内参、外参,获得各角点的物理三维坐标,保存到角点物理位置信息集中;
步骤A4,改变标定板的角度和/或位置,重复步骤A1-A3,到达设定次数,使用角点物理位置信息集中保存的角点物理三维坐标和投影图像中角点对应的图像信息,标定投影仪的内参。
6.根据权利要求1所述的智能异形投影非接触式交互系统,其特征在于,所述“制作对应投影仪需要投影的视频和异形面上对应的交互区域图”,其方法为:
对各投影仪,生成交互区域图,像素值均为0;
根据各投影仪在摄像机坐标系中的位置,设定各虚拟摄像机的位置;各摄像机拍摄其视场内异形面的图像,将该图像中异形面上需要投影仪投影的对应位置转换到投影仪虚拟视场中进行渲染;
虚拟摄像机中需要渲染的场景影像包括播放影像和交互区域图;所述播放影像用于在异形面上播放,多台投影仪重叠的区域选择其中一台进行渲染,其余投影仪在的该重叠的区域投影的画面为黑色;所述交互区域图用于交互初始化,所述交互区域图中的交互区域渲染成白色,其余区域保持像素值为0不变。
7.根据权利要求1所述的智能异形投影非接触式交互系统,其特征在于,所述“在交互投影初始化时根据所述交互区域图生成交互区域索引图”,其方法为:
步骤B1,定义交互区域索引图默认为全黑图像,像素值为0;
步骤B2,各投影仪之间协调投影,按照先投影大区域后投影小区域的原则,依次将所述交互区域图投影到摄像机视场内的异形面上,摄像机拍摄异形面图像;
步骤B3,对摄像机采集的图像依次进行灰度化、二值化操作、寻找最大连通域;
步骤B4,设定图像像素的最大取值为Max,异形面的交互区域数量为N,当前区域为n,则更新交互索引图中当前最大连通域对应位置的像素值为AreadIndex=n*Max/N。
8.根据权利要求7所述的智能异形投影非接触式交互系统,其特征在于,所述“检测所采集的交互区域的图像中是否具有触控斑点,并以此为依据选择对应的投影影像发送投影仪进行投影播放”,其方法为:
摄像机实时检测视场内异形面的图像,对每一帧图像进行灰度化、二值化处理后查询最大连通域,若最大连通域大于设定的阈值就判断为用户交互的斑点落在该连通域内;
按照最大连通域的位置读取交互索引图中该位置上的像素值AreadIndex,若AreadIndex=n*Max/N,则将AreadIndex作为当前帧的索引依次保存在交互区域索引队列中;
统计当前索引列表中出现索引次数最大的交互区域索引,并将该交互区域索引编号发送至投影模块中对应的投影仪进行交互影像的投影播放。
9.根据权利要求8所述的智能异形投影非接触式交互系统,其特征在于,所述交互区域索引队列的长度根据人机交互界面窗口进行设定。
10.一种智能异形投影非接触式交互方法,其特征在于,基于权利要求1-9任一项所述的智能异形投影非接触式交互系统,包括以下步骤:
步骤S1,初始化交互区域索引图;
步骤S2,读取摄像机实时采集的交互区域的图像;
步骤S3,检测所采集的交互区域的图像中是否具有触控斑点,如没有则继续播放当前影像,如有则执行步骤S4;
步骤S4,依据所检测到的触控斑点,选择对应的投影影像发送投影仪进行投影播放。
CN201711460835.5A 2017-12-28 2017-12-28 智能异形投影非接触式交互系统和方法 Active CN108269288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711460835.5A CN108269288B (zh) 2017-12-28 2017-12-28 智能异形投影非接触式交互系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711460835.5A CN108269288B (zh) 2017-12-28 2017-12-28 智能异形投影非接触式交互系统和方法

Publications (2)

Publication Number Publication Date
CN108269288A true CN108269288A (zh) 2018-07-10
CN108269288B CN108269288B (zh) 2020-07-24

Family

ID=62772663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711460835.5A Active CN108269288B (zh) 2017-12-28 2017-12-28 智能异形投影非接触式交互系统和方法

Country Status (1)

Country Link
CN (1) CN108269288B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062484A (zh) * 2018-07-30 2018-12-21 安徽慧视金瞳科技有限公司 一种交互式课堂教学系统手动掩膜图获取方法
CN110933391A (zh) * 2019-12-20 2020-03-27 成都极米科技股份有限公司 投影系统的标定参数补偿方法、装置及可读存储介质
CN111093066A (zh) * 2019-12-03 2020-05-01 耀灵人工智能(浙江)有限公司 一种动态平面投影方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101321303A (zh) * 2008-07-17 2008-12-10 上海交通大学 非平面多投影显示的几何与光学校正方法
CN101561622A (zh) * 2008-04-17 2009-10-21 上海仕联文化传播有限公司 镜面影像交互系统
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
CN103500438A (zh) * 2013-10-21 2014-01-08 北京理工大学 一种互动的建筑物表面投影方法
CN103729888A (zh) * 2013-12-31 2014-04-16 成都有尔科技有限公司 一种方便调试的3d投影装置及其调试方法
CN105278662A (zh) * 2014-07-14 2016-01-27 腾讯科技(深圳)有限公司 电子白板系统的交互控制方法、装置以及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101561622A (zh) * 2008-04-17 2009-10-21 上海仕联文化传播有限公司 镜面影像交互系统
CN101321303A (zh) * 2008-07-17 2008-12-10 上海交通大学 非平面多投影显示的几何与光学校正方法
US20120249416A1 (en) * 2011-03-29 2012-10-04 Giuliano Maciocci Modular mobile connected pico projectors for a local multi-user collaboration
CN103500438A (zh) * 2013-10-21 2014-01-08 北京理工大学 一种互动的建筑物表面投影方法
CN103729888A (zh) * 2013-12-31 2014-04-16 成都有尔科技有限公司 一种方便调试的3d投影装置及其调试方法
CN105278662A (zh) * 2014-07-14 2016-01-27 腾讯科技(深圳)有限公司 电子白板系统的交互控制方法、装置以及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ZHENGYOU ZHANG: "A flexible new technique for camera calibration", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
朱博: "基于投影图像自适应校正方法的智能投影系统研究", 《中国博士学位论文全文数据库》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109062484A (zh) * 2018-07-30 2018-12-21 安徽慧视金瞳科技有限公司 一种交互式课堂教学系统手动掩膜图获取方法
CN111093066A (zh) * 2019-12-03 2020-05-01 耀灵人工智能(浙江)有限公司 一种动态平面投影方法及系统
CN110933391A (zh) * 2019-12-20 2020-03-27 成都极米科技股份有限公司 投影系统的标定参数补偿方法、装置及可读存储介质
CN110933391B (zh) * 2019-12-20 2021-11-09 成都极米科技股份有限公司 投影系统的标定参数补偿方法、装置及可读存储介质

Also Published As

Publication number Publication date
CN108269288B (zh) 2020-07-24

Similar Documents

Publication Publication Date Title
JP6984698B2 (ja) 仮想環境構築装置、仮想環境構築方法、およびプログラム
US8624962B2 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
CN107018336B (zh) 图像处理的方法和装置及视频处理的方法和装置
CN110720114B (zh) 图像处理装置、图像处理方法和存储介质
JP7566973B2 (ja) 情報処理装置、情報処理方法及びプログラム
TW202013149A (zh) 擴增實境的影像展示方法、裝置及設備
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN109064390A (zh) 一种图像处理方法、图像处理装置及移动终端
CN103548333A (zh) 图像处理装置和方法、增补图像产生装置和方法、程序和记录介质
CN108416832B (zh) 媒体信息的显示方法、装置和存储介质
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
CN104735435A (zh) 影像处理方法及电子装置
JP7027049B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN109640070A (zh) 一种立体显示方法、装置、设备及存储介质
WO2019012632A1 (ja) 認識処理装置、認識処理方法及びプログラム
CN108269288A (zh) 智能异形投影非接触式交互系统和方法
CN110673735A (zh) 全息虚拟人ar互动展示方法、装置及设备
Ohta et al. Live 3D video in soccer stadium
CN108933954A (zh) 视频图像处理方法、机顶盒以及计算机可读存储介质
CN114578952A (zh) 人机交互方法、系统、处理设备和计算机可读存储介质
CN104144329B (zh) 光学跟踪方法
CN110096144A (zh) 一种基于三维重建的交互全息投影方法及系统
TWI669633B (zh) Mixed reality interaction method and system thereof
EP2668983B1 (en) Apparatus and method of augmenting video
JP6799468B2 (ja) 画像処理装置、画像処理方法及びコンピュータプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant