CN102096529A - 多点触控交互系统 - Google Patents

Abstract

本发明涉及一种基于曲面的多点触控交互系统技术领域，特别是球面多点触控交互系统，该系统实现曲面投影显示下的多点触控交互，在实现球面投影显示时，配合图像的畸变校正以保证投影质量，红外光源作为交互用光，向投影屏幕投射红外光，红外摄像机收集由交互引起的反射的红外光，获得红外光图像，对红外光图像进行处理，根据处理结果控制显示，从而实现交互。这种球面多点触控技术能够满足实时性、准确性都比较高的要求，适用于多用户，光线适合的室内环境的球面交互展览及其它相关应用。

Description

多点触控交互系统

技术领域

本发明涉及一种多点触控交互系统，特别是涉及一种在曲面投影上实现的多点触控交互的系统。

背景技术

多点触控(multi-touch)是基于图像处理方法与硬件设备共同实现的交互方式，不使用传统的键盘、鼠标等输入设备，而使用各种手势或者其他触控物实现人机交互。多点触控的交互装置按照制作原理主要分为电阻式触控、电容式触控、声学式触控、光学式触控。其中光学式触控由于其成本较低，特别是大尺寸下易实现而受到广泛关注。光学式的多点触控一般使用红外光，如FTIR(受抑内全反射多点触控)、DI(散射光照射多点触控)、DSI(散射光平面多点触控)、LLP(激光平面多点触控)等方式，这些方式优缺点各异，近年来随着iPhone、Microsoft surface等产品的出现，多点触控方式已逐渐走进大众视野，但这些多点触控的交互主要集中在平面上的应用，在曲面上实现的多点触控交互尚无应用，比如球面、柱面等。

球面投影是近年来新出现的虚拟现实显示设备，由于其投影屏幕的外形呈球形，特别适合一些需要周视的投影界面需要，如地球等球体的内容展示，球面投影具备的360°的显示范围更可以满足多用户同时观看的需要，而目前对于球面投影显示的触控大都是通过间接地使用跟踪球、平面触控屏等其他非球面投影装置来实现交互，使球面投影本身只是一种显示输出设备而已，影响了交互的效果，并导致交互设备的组件的增加，给系统带来负担，不利于交互的进行。

发明内容

鉴于上述问题，本发明旨在在提出一种在曲面投影上实现的多点触控交互系统，实现快速、准确、简便的在曲面上，特别是球面上的多点触控交互。

根据本发明的多点触控交互系统，包括：用作投影屏幕的漫反射球；向漫反射球内发射红外光束的红外光发射装置；向漫反射球内投影可见光图像的投影装置；收集被漫反射球反射回的红外光，以识别触控点的红外光收集装置；以及控制装置，该控制装置根据红外光收集装置采集的数据分析触控点的位置和事件，解析位置以及事件以控制所述投影装置的显示，实现交互。

本发明的多点触控交互系统，集合了曲面投影技术，图像校正技术，图像处理及触控点识别技术，球面手势识别技术和球面标定技术，将球面投影和与多点触控技术有机结合，实现了大视场投影下炫丽的交互效果。本发明的多点触控交互系统能达到360°空间的显示，将图片、视频、地图等多媒体信息，以现实的空间感、透视感呈现给观察者，接受观察者实时的触摸而进行新颖有趣的交互。本发明的交互系统结构简单易行，在科普教育、展览展示、休闲娱乐等领域具有广泛的应用前景和很好的经济效益。

附图说明

图1为本发明实施例的球面多点触控交互系统示意图。

图2a-2c为图1所示系统在交互时IR摄像机获得的图像示例。

图3为本发明实施例的系统对红外图像处理的步骤流程图。

图4为本发明实施例中图像处理中的团块检测算法框图。

图5为本发明实施例中的触控事件处理算法流程图。

图6为本发明实施例的系统实现单手交互的手势示意图。

图7为本发明实施例的系统实现双手交互的手势示意图。

图8a为交互手势在平面上拖拽操作计算方法示意，图8b为本发明实施例的交互手势在球面上的拖拽操作计算方法示意。

图中：1漫反射球，2IR LEDs，3鱼眼镜头，4冷光镜5IR滤光片，6投影机，7计算机，8IR摄像机

具体实施方式

下面以球面投影的多点触控交互系统为例，详细阐述本发明的多点触控交互系统。

1.球面投影与交互用红外光学系统

球面投影技术打破了以往投影图像只能是平面规则图形的局限，利用光学镜头，将普通的平面影像进行特殊的变换，投射到一个球形的屏幕内侧，形成一个内投的球体影像，观察者在屏幕外侧可看到屏幕上的图像。

用作投影的镜头除标准镜头外，根据视场角大小可分为广角镜头(短焦镜头)、超短焦广角镜头、长焦镜头、鱼眼镜头四种。普通的标准镜头，视场角一般在60°以下，通常应用于教学。广角镜头根据投射比的大小，视场角可达60°-90°之间，在短距离内投射大画面，如互动投影、多通道环幕投影立体投影、会议室等工程，投射画面往往以4∶3、16∶9平面显示或者环形、柱形幕为主。鱼眼镜头是一种有效的实现大视场方式的成像系统，视场角达到120°以上。以鱼眼镜头作为投影机的附加镜头，用于扩大投影的视场，是解决近距离投射大场景的优选方式。

根据本发明的球面多点触控交互装置，如图1所示，主要依据DI(散射式照明)方式的交互原理，在球内表面覆盖了一层散射材料形成漫反射球1，具有该漫反射层的球表面起到投影屏幕的作用(内投球)，在漫反射球1的底部有缺口，漫反射球1能够满足在竖直截面上290°投影角度，在水平截面上360°的投影角度上的图像显示及人机交互。一般的，多点触控交互装置的球面投影屏置于高平台上，漫反射球的直径与高度和投影面积相关，投影以高分辨率的DLP投影机实现。该投影机投影出的图像，经鱼眼镜头3投射进入漫反射球内，实现球面投影，其中鱼眼镜头可由置于缺口处的支架安装，在缺口处或部分伸入缺口以投影图像。在漫反射球1底部的缺口周围设置有红外光源2，向球内发射红外光作为交互用的指示光，当观察者在球形投影屏幕上进行的交互时(如使用手触碰投影屏幕)将引起球内红外光的变化，这些变化反映在红外(IR)摄像机8拍摄的图像上，通过对上述红外图像进行处理，可以获知观察者的意图，从而实现交互。红外摄像机8可置于漫反射球1下方，正对上述缺口，或根据使用时空间位置的需要，借助反射或者折射光学器件，在其他位置收集来自漫反射球1方向的红外光。

图1所示装置给出了一种光路设置方式，投影机6和IR摄像机8分别置于冷光镜4的两臂光路上。例如，冷光镜呈45度时，投影机6投影出的图像经冷光镜4反射进入鱼眼镜头3，鱼眼镜头3置于漫反射球1的缺口处，在鱼眼镜头3上方、围绕缺口，设置有一圈红外光源，如红外LED或LD，从各方向上向漫反射球内发射红外光，在交互时，红外光经投影屏幕反射沿缺口射出(即缺口为整个球体的光通过口)，经冷光镜4透射进入IR摄像机8。这种光路设置方式实现了与投影机光线同光轴的触控感应，且布局紧凑，安装简便。为避免光线的相互干扰，优选的，在IR摄像机镜头前设置一IR滤光片5，在投影机镜头前设置一个IR截止片，使得投影机只出射可见光图像而IR摄影机仅收集到交互的红外反射光。这些红外光由球形底部缺口处的红外光源产生，该红外光源的波长与上述红外滤光片相匹配。例如，本发明使用具有72°发射广角的红外LED，发射出880nm波长的光线，配合880nm的红外滤光片。由于鱼眼镜头的使用，这台摄像机能够拍摄到球形表面的所有部分。

这种以内投球为投影屏幕，单台高亮度流明的投影机投影图像，配合鱼眼镜头的实现方式，视场广，无需额外的软件融合技术即实现了单投影机对球幕的投影。本领域技术人员可以理解，图1所示的光路设置方式仅为一种举例，在不违背各部分功能和作用的前提下对其做出的变换、部分组件的省略同样可以作为本发明的交互装置，包括但不限于，在光路中将冷光镜以透射可见光并反射红外光的分光镜代替，互换投影机和IR摄像机在两臂的位置；或以柱面、半球面等其他曲面屏幕形式，配合相应的广角镜头，实现曲面投影的交互。

2.球面投影图像的校正

众所周知，焦距越短，视角越大，图像产生的变形就越严重，在使用了鱼眼镜头时，需要对图像进行必要的处理，消除鱼眼镜头带来的畸变。由IR摄像机8获得的红外图像如图2所示，其中图2a为原始图像，图2b为二值化图像，图2c为手指识别图像。由于畸变，图像呈现出平面的辐射状，而此部分图像用于交互，消除畸变的处理不是必须的。而投影到漫反射球的可见光图像作为球面投影显示给观察者，必须要保证质量，因此需要进行3D笛卡尔坐标的反演变换，即3D坐标的数据要改变成与投影相匹配的辐射状图形。

畸变取决于漫反射球的物理尺寸，主要是球的半径和各个图像像素点的在球面上的位置。在球的物理尺寸确定后，一次校正后将数据保存，后续校正可直接调用。对于没有交互时的单纯球面投影应用，数据可以提前进行畸变校正；而对于有交互时，投影要使用实时校正计算。为了达到实时对交互的位置进行校正，本发明使用vertexshader(顶点绘制)的方法，给每一帧的图像计算辐射状图形的顶点位置。给定的顶点数目越多，绘制的也越精确，畸变校正的效果也越好。

3.球面图像处理及触控点识别

为实现人机交互，必须得到用于交互的物体(如，手指)在漫反射球上进行触控的点的位置，并处理得到诸如手指按下、移动、抬起等触控事件。

整个球面投影图像处理及触控点识别流程如图3所示。获取红外图像后首先对其进行滤波和增强，去除高斯噪声，增强信噪比；然后通过图像分割算法得到前景信息，去除背景信息的影响；对前景信息图像进行分析识别得到触控点的位置；为了克服在手指移动过程以及图像跟踪注册过程中可能出现的点的抖动现象，将对输出点的位置及事件进行卡尔曼滤波以得到稳定的输出信息(如点的位置及点的状态，即按下、移动、抬起等事件)；最后通过接口模块将数据传送给渲染引擎进行交互效果渲染，得到自然的人机交互效果。

3.1团块检测算法

本发明的交互装置中，使用团块检测算法检测IR摄像机摄取的图像中的触控点。以如图2所示的图像为例，该图像具有背景图像简单，前景图像与背景图像对比度高的特点，同时考虑到算法的效率，因此选用了尽量简单的团块检测算法。团块检测算法的流程如图4所示。

首先，使用等式(1)对背景图像做背景图像累积，其中Acc为背景图像像素的灰度值，Image为当前图像像素的灰度值，α为背景累积系数。

Acc(x，y)＝(1-α)×Acc(x，y)+α×Image(x，y)        (1)

其次，对采集的图像进行高斯滤波以滤除图像的高斯噪声；对图像每个像素做自乘以增强图像中的团块亮斑的亮度。

然后，对增强后的图像与背景图像进行差分操作，以得到前景图像。在此之后，对得到的前景图像进行二值化、腐蚀、膨胀操作以得到包括团块的清晰黑白图像。

最后，使用边缘检测算法检测所有团块的边缘，并通过等式(2)计算每个团块的中心坐标。

$X_{\mathrm{center}}=\frac{1}{n}{\mathrm{\Σ}}_{i=o}^n{X}_i,$ $Y_{\mathrm{center}}=\frac{1}{n}{\mathrm{\Σ}}_{i=0}^n{Y}_i---\left(2\right)$

3.2团块跟踪MDF算法

除检测外，还需要对触控点进行跟踪，相应的，本发明使用团块跟踪算法跟踪触控点的运动。对用于多光点的团块跟踪算法一般都采用最小距离(Minimum Distance First，MDF)算法。

为了说明最小距离算法，定义由上一帧图像得到的团块中心坐标为Old Blobs(Xold，Yold)，而本帧图像得到的团块中心坐标为NewBlobs(Xnew，Ynew)，该算法根据公式(3)计算新旧数据之间的欧式距离。根据公式(4)得到最佳相关系数D，其中D_th为最大相关距离，此时Old Blobs中的第i项与New Blobs中的第j项为最佳关联点。

$D_{\mathrm{ij}}=\sqrt{{(X_{{\mathrm{old}}_i}-X_{{\mathrm{new}}_j})}^2+{(Y_{{\mathrm{old}}_i}-Y_{{\mathrm{new}}_j})}^2}---\left(3\right)$

D＝min{D_ij，D_ij＜D_th}                    (4)

MDF算法具有简单、效率高等优点，但是匹配精度及鲁棒性不高，在处理多个交互点位置交叉、光点距离很近、亮斑抖动等问题时会出现跟踪丢失或者错误匹配的情况。为了克服MDF算法的缺点，综合考虑匹配精度、效率，以及鲁棒性，对团块跟踪MDF算法进行改进：在公式(4)中加入一个角度控制项A，参见等式(5)，从而得到公式(6)，其中M_th为最大相关系数，k为角度影响因子的比例系数，根据多次实验测试，优选值为约0.3。此时Old Blobs中的第i项与NewBlobs中的第j项即为优化后的最佳关联点。得到最佳关联点即将这一帧中的点和上一帧的点对应起来，从而标记出这一帧点的ID和状态(如相对前次，发生了移动)。

$A_{\mathrm{ij}}={\tan }^{-1}\left(\frac{X_{{\mathrm{old}}_i}-X_{{\mathrm{new}}_j}}{Y_{{\mathrm{old}}_i}-Y_{{\mathrm{new}}_j}}\right)---\left(5\right)$

D＝min{D_ij+k×A_ij，D_ij+A_ij＜M_th}            (6)

3.3触控事件处理算法

如图5所示，对前后两帧的触控点进行分析得到触控相关点矩阵，当找到相关点时则复制历史团块的ID并得到手指移动(FingerMOVE)事件；对没有相关点的新团块赋予新的ID并标记为手指按下(Finger DOWN)事件；对于只有1帧没有相关点的团块，直接使用上一帧的团块中心坐标作为其输出坐标，保留其ID；对于连续2帧没有相关点的团块才标记为手指抬起(Finger UP)事件，跟踪结束。

本发明采用基于机器视觉的多光点识别跟踪技术，对采集的球面红外图像进行处理，识别并跟踪球面上的触控点。首先通过团块检测算法识别检测出触控点，然后通过团块跟踪算法跟踪触控点的运动，最后通过触控事件处理算法识别手指按下、移动、抬起事件，并传递触点及事件数据用于进一步的交互手势识别和交互效果渲染。

4.手势识别

根据本发明的球面多点触控交互装置，用户可以利用手指直接在屏幕上进行操作，充分发挥手在交互过程中的自然性、灵活性。使用者能按其熟悉的感觉技能进行人机交互，从中获得更多的乐趣。

交互过程优选使用适合人体工程的多点触控交互方式，通过球体的交互界面，使用者不仅能看到球面上的物体，还能触摸和操控它们，通过对界面上自己感兴趣的多媒体元素进行点击、拖动、缩放、旋转等操作，实现自然和谐的人机交互。操作手法分为单手交互、双手交互和手掌交互。

单手交互可以进行点击、拖动、缩放和旋转操作，如图6所示。当手指触碰到球面，通过对交互用红外图像的处理确定手指在球面上的精确位置并跟踪。手指选中球形界面上显示的物体如图片、视频、地图等，则此物体被当作操作对象。通过预先的定义，来确定动作的含义。例如：若一个手指在短时间内按下并抬起，则被认为是依次点击操作；如果手指在按下后开始移动，物体会以相同可视尺度运动；若同一物体同时有两个以上的手指触碰，则开始进行手指的轨迹跟踪与分析；手指触碰趋势为全部手指外张则被认为是放大操作，手指触碰趋势为收缩则被认为是缩小操作，触碰的手指运动趋势若是以某一点为中心进行逆时针方向移动则被认为是向左旋转操作，若是顺时针方向则被认为是向右旋转操作。

同理，双手交互同样可以进行缩放与旋转，如左右两手同时以手指触碰物体，物体会以可视尺度进行相应更大范围的缩放操作。除能实现缩放和旋转操作外，对于地图、海图等大范围展示场景可进行观看高度角度调整等复杂操作，如图7所示。在一些3D场景中，当左手两指触碰画面，右手单指拖动时，地图观看视角会根据右手单指的运动趋势进行调整一一右手单指运动方向向上则拉高视角，向下则降低视角。

手掌的手势交互主要有双手对称放在球顶部两侧，将会出现返回菜单的效果；对于图片单个手掌整个覆盖到图片上并且停留1秒钟左右，将会出现图片自动翻转到球的背面的功能。

与如图8a所示的平面识别不同，球面的所有的手势交互都是按照如图8b所示使用弧度计算。如图8a所示，手指从点1移动到点2的拖拽操作，在平面上以一2D位移向量V表示；而在球面上情况如图8b，点1’到点2’绕着A轴旋转了θ(代表两手指间的弧度)，A代表球的对称轴(3D向量)，这个拖拽用Q代表(即用一个4D向量来表示)。

5.球面标定技术

由于观察者对球面投影屏幕的各点触碰将反映在IR摄像机拍摄的平面红外图像上，需要球面标定来完成摄像机图像点到投影图像点的逐点匹配，保证触控效果的准确性。对应图像的畸变校正，标定的方法与之类似，经过基于几何变换的图像校正，通过手动标定，将球面上的触控点的位置准确地对应到摄像机的图像上(即对应到像素坐标上)，达到实时准确交互的目的。具体的，将整个球形投影表面标记一定数目的点，如使用标定100个或更多的标定点，然后手指依次触控这100个点，从而对应于摄像机拍摄画面的位置，完成一个点的标定，所有点都标定结束后，摄像机拍摄画面会记录下所有这些点的位置，对点与点之间的位置使用线性插值的方法，完成对整个投影球面的匹配，从而当观测者以手指触控球形表面任何位置的时候，能够在通过摄像机拍摄的画面获知触碰的具体位置。

上述实施例中，由计算机实现整体的控制，IR摄像机和投影机连接到计算机，计算机对投影机输送原始的可见光投影图案，并处理由IR摄像机获得的红外图像以获得交互用的信息反馈到投影仪进行相应的现实，简便易行，无需增加额外的控制部件。

根据本发明多点触控交互系统，将多点触控的应用扩展到曲面领域，在诸如以球面投影构造出地球的显示状态下，使观察者在更加逼真的形式中完成交互，极大的丰富了观察者的感受。

虽然已经详细示出了本发明的实施例，但是应当明白，本领域的技术人员可以想到对这些实施例的修改和调整，而不脱离如所附权利要求所提出的本发明的范围。

Claims (14)

1.一种球面多点触控交互系统，包括：

用作投影屏幕的漫反射球；

红外光发射装置，向漫反射球内发射红外光束；

投影装置，向漫反射球内投影可见光图像，在漫反射球上实现图像显示；

红外光收集装置，收集被漫反射球反射回的红外光，以识别触控点；

控制装置，连接至投影装置和红外光收集装置，根据红外光收集装置采集的数据分析触控点的位置和事件，解析位置以及事件以控制所述投影装置的显示，实现交互。

2.一种曲面多点触控交互系统，包括：

曲面散射屏；

向曲面散射投影屏进行投影的投影装置；

向投影空间内发射红外光的红外光发射装置；

红外光收集装置，收集由触控交互引起的从所述屏反射回的红外光形成红外光图像；

以及控制装置，连接至投影装置和红外光收集装置，根据红外光收集装置采集的数据分析触控点的位置和事件，解析位置以及事件以控制所述投影装置的显示，实现交互。

3.如权利要求1或2的多点触控交互系统，所述红外光收集装置前具有红外滤光片，所述红外滤光片的中心波长与所述红外光束波长相匹配；所述投影装置中具有IR截止片。

4.如权利要求1或2的多点触控交互系统，所述投影装置由投影机和附加镜头构成，所述附加镜头为广角镜头、超短焦广角镜头、长焦镜头、数字鱼眼镜头中的一种。

5.如权利要求1所述的球面多点触控交互系统，所述漫反射球底部具有缺口，所述红外光发射装置围绕所述缺口。

6.如权利要求1或2的球面多点触控交互系统，其特征在于所述系统还包括冷光镜，对红外光和可见光进行分束。

7.一种球面多点触控的触控点识别方法，包括：

通过红外发射装置，向漫反射球内发射红外光束；

红外光收集装置，收集从漫反射球内被反射回的红外光束；

对漫反射球进行多点触控，使被反射回的红外光束受影响，从而所述红外光收集装置获得包含有触控点信息的红外光图像；

处理所述红外光图像，分析识别得到触控点的位置和事件。

8.如权利要求7所述的触控点识别方法，其特征在于通过团块检测算法来检测触控点的位置。

9.如权利要求8所述的触控点识别方法，所述的团块检测算法包括以下步骤：

(1)使用等式(1)对背景图像做背景图像累积，

Acc(x，y)＝(1-α)×Acc(x，y)+α×Image(x，y)          (1)

其中Acc为背景图像像素的灰度值，Image为当前图像像素的灰度值，α为背景累积系数；

(2)对采集的图像进行高斯滤波以滤除图像的高斯噪声；对图像每个像素做自乘以增强图像中的团块亮斑的亮度；

(3)对增强后的图像与背景图像进行差分操作，得到前景图像；

(4)对得到的前景图像进行二值化、腐蚀、膨胀操作以得到包括团块的清晰黑白图像。

(5)使用边缘检测算法检测所有团块的边缘，并通过等式(2)计算每个团块的中心坐标

$X_{\mathrm{center}}=\frac{1}{n}{\mathrm{\Σ}}_{i=0}^n{X}_i;$ $Y_{\mathrm{center}}=\frac{1}{n}{\mathrm{\Σ}}_{i=0}^n{Y}_i---\left(2\right).$

10.如权利要求7或8所述的触控点识别方法，其特征在于通过团块跟踪算法，跟踪触控点的运动。

11.如权利要求10所述的触控点识别方法，上述团块跟踪算法采用最小距离算法。

12.如权利要求11所述的触控点识别方法，其中，定义由上一帧图像得到的团块中心坐标为Old Blobs(Xold，Yold)，由本帧图像得到的团块中心坐标为New Blobs(Xnew，Ynew)，根据公式(3)计算新旧数据之间的欧式距离，根据公式(4)得到最佳相关系数D，

$D_{\mathrm{ij}}=\sqrt{{(x_{{\mathrm{old}}_i}-x_{{\mathrm{new}}_j})}^2+{(Y_{{\mathrm{old}}_i}-Y_{{\mathrm{new}}_j})}^2}---\left(3\right)$

D＝min(D_ij，D_ij＜D_th}            (4)

其中Dth为最大相关距离，Old Blobs中的第i项与New Blobs中的第j项即为最佳关联点。

13.如权利要求12所述的触控点识别方法，在公式(4)中加入一个角度控制项A得到等式(5)，

$A_{\mathrm{ij}}={\tan }^{-1}\left(\frac{X_{{\mathrm{old}}_i}-X_{{\mathrm{new}}_j}}{Y_{{\mathrm{old}}_i}-Y_{{\mathrm{new}}_j}}\right)---\left(5\right)$

依靠公式(6)得到优化的最佳相关系数D，

D＝min{D_ij+k×A_ij，D_ij+A_ij＜M_th}            (6)

其中Mth为最大相关系数，k为角度影响因子的比例系数，OldBlobs中的第i项与New Blobs中的第j项即为优化后的最佳关联点。

14.如权利要求7所述的触控点识别方法，对获得的触控点的位置及事件进行卡尔曼滤波以得到稳定的输出信息，以克服在手指移动过程以及图像跟踪注册过程中可能出现的点的抖动现象，通过接口模块将数据传送给渲染引擎进行交互效果渲染以实现自然的人机交互。

Images