CN104142739B - 一种基于光学鼠标传感阵列的激光点追踪系统及方法 - Google Patents

Abstract

本发明公开了一种基于光学鼠标传感阵列的激光点追踪系统，包括激光笔、投影光幕、计算机，以及光学鼠标传感阵列和单片机，传感阵列利用多个光电鼠标传感芯片排列构置，扩展单个传感有限的感知范围，且所述光幕能将激光点转化为激光散斑作为轨迹追踪特征；此外，还提出了一种基于光学鼠标传感阵列的激光点追踪方法，本方法有效融合传感阵列中多个传感数据获取激光点轨迹，算法简单同时扩展性强，适用于不同规模的传感阵列。本发明成本低，方便安装于现有体系的投影系统中，且操作简单利于远距离操作，同时该系统不受环境及投影光线影响，稳定性强。

Description

一种基于光学鼠标传感阵列的激光点追踪系统及方法

技术领域

本发明涉及投影成像领域，尤其涉及一种基于光学鼠标传感阵列的激光点追踪系统及方法。

背景技术

目前投影系统在教学及工作生活中非常普及，投影系统是一种面向多参与者进行有效的交互演示方式，但用于操控投影系统的人机交互设备(鼠标和键盘)极大的限制了使用者的自由性，他们往往不得不在需要进行人机交互时，从参与者当中走回到电脑前操作。基于此，一些新的面向投影系统的交互设备被设计并使用，主要包括三种：多功能的投影激光笔，无线鼠标以及基于机器视觉的激光光点追踪装置。但上述技术用于投影交互场景时都存在各自特定的局限性。

首先，现在投影系统中最常用的一种就是多功能激光笔，这种装置在传统激光笔上加入了演示文稿翻页的功能按键，使得投影系统使用者可以脱离鼠标和键盘演示自己的文档。但一个明显的问题是这样的装置功能十分有限，同时无法向鼠标一样通过移动来操控光标在投影界面上完成更复杂的人机交互操作。

其次，无线鼠标近年来也成为有线鼠标的替代者，鼠标这种传统人机交互设备不再受到距离的限制，可以远距离操控电脑。但鼠标的工作特性决定它必须紧贴一个工作面来测定自身的移动从而完成对光标的控制，这样的操作显然在投影演示时极不自然且十分不便利。

此外，基于机器视觉来追踪激光笔光点位置轨迹的方法，借助光点在图像中的位置来估算光点的实际位置，利用光点的位置轨迹代替鼠标对自身位置的测量来操作电脑光标从而替代鼠标。这种方法利用一台摄像机来实时获取投影光幕上的图像，利用数字图像处理方法提取推算激光点的位置，但这种方法易受环境光线和投影图像光照条件的影响，稳定性不高，同时图像处理的算法复杂度高计算能力大且对设备、计算及它们的存储能力都有高要求，同时出于隐私的考虑，其适用场合受到一定限制。

发明内容

本发明所要解决的问题是，提供一种基于光学鼠标传感阵列的激光点追踪系统及方法，解决原有的投影装置或方法中，功能单一、操作不便、稳定性不强的问题。

为解决上述问题，本发明公开了一种基于光学鼠标传感阵列的激光点追踪系统，包括激光笔、投影光幕以及计算机，其中，还包括光学鼠标传感阵列和单片机，其中，

所述光学鼠标传感阵列，设于所述投影光幕之后，对激光笔发出的激光点经所述投影光幕散射在传感阵列面上形成的激光散斑图像进行计算和比较，并输出激光斑的位移信息给所述单片机；

所述单片机，根据接收的激光斑点位移信息判断激光点轨迹的起止，并对所有传感获得的位移信息融合处理，产生激光点轨迹信息，并将该轨迹信息发送给计算机；

所述计算机，识别激光点轨迹信息并根据该轨迹信息同时执行投影程序。

优选地，所述投影光幕与光学鼠标传感阵列之间平行间隔设置，所述间隔距离为400mm～600mm，最好的隔开距离为550mm，这样的投影效果最好，且所述光学鼠标传感阵列形成的阵列面覆盖的面积大小和投影光幕的大小相同为好。

进一步地，所述光学鼠标传感阵列由等间隔设置的光学鼠标传感芯片排列而成，所述光学鼠标传感阵列最少设为4个，相邻的两光学鼠标传感芯片之间的距离设置为激光点散射形成激光散斑模型半径的倍，假设将传感面激光点经过散射形成的光斑模型化为半径r的原型，则传感的排列间隔为这样覆盖的面将最广。

优选地，所述光学鼠标传感芯片为无通光小孔的芯片，也就是说将光学鼠标传感芯片上的通光小孔去除，以增强芯片对激光光斑的敏感性。

优选地，所述投影光幕采用采用双面粗糙的半透明透光材质，比如磨砂有机玻璃制成。投影仪产生的投影图像可以在光幕表面漫反射，从而呈现投影。而激光笔产生的光点有较强的穿透性可以通过光幕，激光透过后产生折射，在光学鼠标传感阵列面产生干涉现象，从而形成激光散斑。

进一步地，所述单片机通过蓝牙串口模块将所述激光点轨迹信息无线发送给所述计算机。当然也可以采用其他任一无线传输的方式如ZigBee等发送给计算机。

基于本发明的另一构思，还提供一种基于光学鼠标传感阵列的激光点追踪方法，该方法包括如下步骤：

步骤1，传感阵列部署：测量经激光笔射入并透过投影光幕到达间隔设于光幕之后的传感阵列面上的激光光斑半径，并调整所述传感阵列中的光学鼠标传感芯片的间隔，其中，该间隔优选调整为激光光斑半径的倍，这样，能覆盖一个呈正方形的无盲区追踪区域；事先将传感阵列与光幕平行放置，并隔开一定距离d，再用激光笔在光幕上投射一个激光点，并在传感阵列所在平面测量产生的激光光斑半径r，同时将传感阵列中光学鼠标传感芯片的间隔调整为最后建立激光点追踪器与电脑间的连接，传感芯片最少为4个且横纵等间隔排列，形成一个矩形形状。

步骤2，光点轨迹获取：设定光斑轨迹的起点为(0,0)，同时每个时刻仅选取一个传感芯片测量光斑位移的增量，并计算光斑在t时刻的位置坐标x_t、y_t；

步骤3，光点轨迹终止判断：利用光学鼠标传感阵列中的寄存器squal的值是否为零判定激光点轨迹是否终止。

进一步地，在计算出光斑在t时刻的位置坐标x_t、y_t后，再对激光光点轨迹数据进行空间插值和平滑处理；

优选地，光斑在t时刻的位置坐标值x_t、y_t由光斑在t-1时刻的位置坐标值加上在第t时刻选择的传感i的测量值计算得出，其中，当使用光学鼠标传感阵列时，光斑的位移增量(Δx_i，t,Δy_i，t)被存储在每个芯片的寄存器Delta_X和Delta_Y中。光斑在t时刻的位置可以用如下式式计算：

进一步地，上述式中Δx_i，t和Δy_i，t是在第t时刻选择了传感i的测量；选择的依据是该时刻传感i的SQUAL寄存器的值S_{squal_i}是传感阵列中最大的。

作为另一种计算光斑在t时刻的位置坐标，将t时刻传感阵列中的所有传感芯片检测到的光斑位移增量进行加权运算得到加权值，由光斑在t-1时刻的位置坐标值加上在第t时刻的加权值计算得到光斑在t时刻的位置坐标值x_t、y_t得出。

其中，所述加权运算的加权方法如下：

Δx(y)_t＝WD_t

其中，式W和D_t的计算方式如下：

D_t＝[Δx(y)_1，t…Δx(y)_i，t…Δx(y)_N，t]^T；

此时，激光点每一时刻的位置点坐标信息为：

优选地，在激光点每一时刻的位置点再采用三次样条插值的方法进行插值采样。

更优选地，通过计算相邻时刻轨迹点的均值对激光点轨迹进行平滑处理，具体为：

其中，x′_t为t时刻的横坐标位移平均值，y′_t为t时刻的纵坐标位移平均值。

此外，判断光点轨迹是否结束的的方法具体包含有如下步骤：

用激光笔滑出一新的手势轨迹；

检测所有传感芯片的Squal寄存器值是否均为0，判断激光点是否存在于投影光幕上；

通过定时器设定一阀值时间，并判断传感芯片的Squal寄存器值为0保持的时间是否达到设定的阀值时间，来判断轨迹是否结束。

进一步地，当检测到所有传感芯片的Squal寄存器值均为0时，则设定并启动定时器，若不是，则重新检测；

当传感芯片的Squal寄存器值为0保持的时间达到定时器设定的时间时，则表征该轨迹结束，定时器关闭，若否，则再次判断是否存在有传感芯片的Squal寄存器值不为0，并重新检测开始上述步骤。

与现有技术相比，本发明所提供的一种基于光学鼠标传感阵列的激光点追踪系统及追踪方法，成本较低，安装简单，使用方便，易于扩展，可替代传统的鼠标的人机交互系统，在不改变人们对于投影系统使用习惯的前提下，功能更多，操作简单且利于远距离操作，同时该系统不受外部环境及本身投影光线的影响，稳定性强，尤其适用于投影系统中较远距离的人机交互需要。

附图说明

图1是本发明所提供的一种基于光学鼠标传感阵列的激光点追踪系统的结构示意图；

图2是本发明实施例所述的光学鼠标传感阵列的布设示意图；

图3(a)是本发明实施例所述的平滑处理前的轨迹的示意图；

图3(b)是本发明实施例所述的采用平滑处理后的轨迹的示意图；

图4是本发明所述的激光点轨迹起止的判定方法的具体流程示意图。

具体实施方式

以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。如在说明书及权利要求当中使用了某些词汇来指称特定部件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个部件。本说明书及权利要求并不以名称的差异来作为区分部件的方式，而是以部件在功能上的差异来作为区分的准则。说明书后续描述为实施本发明的较佳实施方式，然所述描述乃以说明本新型的一般原则为目的，并非用以限定本发明的范围。本发明的保护范围当视所附权利要求所界定者为准。

下面结合附图和具体实施例对本发明做进一步详细说明。

本发明是基于光学鼠标芯片的光流算法固件对图像流移动的快速检测能力，结合激光散斑图像跟踪特性，实现了一种面向投影交互的、激光点轨迹追踪的投影系统。如图1所示，本发明实施例所述的基于激光点轨迹的追踪系统，包括有光学鼠标传感阵列1、投影光幕2、单片机3、蓝牙串口模块4、激光笔5以及计算机，其中光学鼠标传感阵列1由多个光学鼠标传感芯片7横纵等间隔排列组成，此处仅以四个为例，且优选采用四个，当然也可以设为6个、8个、9个等设置为几排几列的方式，该四个光学鼠标传感芯片7构成2X2方式的传感阵列，形成一个方形，传感阵列利用多个光学鼠标传感芯片排列构置，能够扩展单个传感有限的感知范围；所述的光学鼠标传感阵列的布设方法如附图2所示，将投射到传感阵列所在平面的光斑模型化为半径r的圆形，则光学鼠标传感7之间的间隔可以达到同时形成一个的正方形的无盲区光点轨迹感知追踪区域；其中投影光幕2采用灯具中常用的有机玻璃，用于作为投影图像的接受反射面，同时对激光光点进行散射，使激光在穿过光幕后产生激光散斑图样6，从而能被传感阵列捕获并计算光斑位移，光幕安装时需要离开传感阵列平面一定距离d，为了获得更好的捕捉效果，该距离在400～600mm之间均可。所述传感阵列1与投影光幕2平行放置，并隔开一定距离；传感芯片利用所述投影光幕对激光点散射产生的散斑图像流进行计算比较，从而输出激光斑位移信息；所述单片机3用于判断激光点轨迹的起止，并对所有传感获得的位移信息融合处理，产生激光点轨迹信息；所述蓝牙串口模块4用于实现单片机与计算机之间的无线连接，使用本蓝牙串口，只要在PC端插入一个USB蓝牙适配器，就可以与众多的设备同时进行串口通讯，而互不影响，而且都是无线方式，保持桌面干净整洁；所述计算机用于识别激光点轨迹从而理解交互手势，同时通过投影仪执行常规投影程序。

本发明还提供一种基于光学鼠标传感阵列的激光点追踪方法，该方法同样基于上述面向投影交互的激光点轨迹追踪系统实现对投影系统中手持激光笔光点的轨迹追踪。其详细步骤如下：

步骤1、系统安装及传感阵列部署

将磨砂有机玻璃光幕安装于光学鼠标传感阵列平面前，保证光幕与传感阵列平面平行，并隔开一定距离，优选使光幕与传感阵列平面隔开距离为d＝550mm。之后，向光幕投射一个激光点，在传感阵列平面测量经过光幕散射后的激光光斑的半径r，根据光斑半径将传感阵列中传感芯片的间隔调整为最后，连接各个模块，并给装置供电，同时建立激光点追踪器与电脑的连接，调节投影仪将投影图像投射到光幕上。

步骤2、传感阵列的数据融合及光点轨迹获取

激光点的轨迹可以通过联合不同时刻传感阵列所检测到的光斑位移信息得到。本发明关于计算光斑在t时刻的位置坐标x_t、y_t，给出两种融合传感阵列测量得到光斑轨迹的方法，第一种方法是主传感选取：

当使用光学鼠标传感阵列时，光斑的位移增量被存储在每个芯片的寄存器Delta_X和Delta_Y中。假设光斑轨迹的起点为(0,0)，同时每个时刻仅选取一个传感芯片测量的光斑位移增量，这个特殊的传感被叫做主传感，则光斑在t时刻的位置可以用(1)式计算：

进一步地，(1)式中Δx_i，t和Δy_i，t是在第t时刻选择了传感i的测量；此时传感i就是我们选择的主传感，选择的依据是该时刻传感i的SQUAL寄存器的值S_{squal_i}是传感阵列中最大的；而光学鼠标传感芯片的SQUAL寄存器的值是一个用于衡量芯片所获取图像流的质量的指标，当这个值越高的时候，传感芯片捕捉到的图像流质量越高，则计算的图像流的位移越准确，所以这种方法中主传感的测量是这一时刻最准确的测量；这种方法虽然对测量信息恢复存在一定误差，但在可容忍的限度内，并且不会因为传感阵列规模的增大而增加运算复杂度，适用于传感阵列规模较大的情况。

另一种方法是传感测量加权融合：

由于传感的部署方法使某一时间段内光斑不仅仅只被阵列中的一个传感捕捉测量到，所以一种更有效利用传感测量信息的方法是将第t时刻传感阵列中所有传感芯片检测到的光斑位移增量经行加权，加权方法如下式：

Δx(y)_t＝WD_t (2)

其中，

D_t＝[Δx(y)_1，t…Δx(y)_i，t…Δx(y)_N，t]^T；

此时，激光点每一时刻的位置由(3)式计算：

采用传感测量加权融合这种方法利用了更多的传感测量数据，对光斑轨迹的追踪更加精确。

步骤3、激光光点轨迹的插值及平滑

其中，步骤3主要是针对激光点轨迹移动过快时，采样频率达到极限依然无法获得足够的轨迹点数据的情况，本发明采用三次样条插值的方法根据(3)式中已经获得的位置点插值产生更多的轨迹点，spline fitting的最大好处就是可以用较低的阶数来对比较复杂的数据进行拟合，这样的好处就是可以避免使用高阶多项式的时候引入一些不必要的误差，可以带来相对较好的插值结果，同时计算得也比较快。由于三次样条插值保证了插值后点轨迹斜率和曲率的连续，所以符合人对激光点的书写操作特性。

进一步地，提出一种利用相邻时刻轨迹点的均值来平滑由于人操控激光笔时手部抖动产生的不规则的轨迹方法，具体为：

利用所述方法得到的激光点轨迹及平滑轨迹如图3(b)所示，实例中操作者用激光笔书写了一个数字“3”，相比没经过平滑处理的与图3(a)，经过平滑处理的明显更准确、更形象。

该方法提出了有效融合传感阵列中多个传感数据获取激光点轨迹的方法，算法简单同时扩展性强，适用于不同规模的传感阵列。

步骤4、判断激光光点轨迹的起止

图4是基于光斑存在性的激光笔轨迹起止的判定方法的详细流程示意图。

当本装置用于人机交互时，将每一个相互独立的激光点轨迹区分成为一个重要的问题。模拟人用笔书写时，当完成一个字符的书写后笔尖会离开纸面稍作停顿，相应的在操作激光点追踪器时，当激光笔刻画完一个手势轨迹后，关闭激光笔并停顿一定时间，优选为2秒，则所述的激光点追踪器可以自动判定该部分光点轨迹结束，再有光点轨迹被捕捉时，将会自动划归为新的轨迹。这里利用光学鼠标传感中寄存器SQUAL的值来判定是否关闭激光笔，当没有激光点在光幕上时，阵列中所有的传感的寄存器SQUAL的值都将为0，若不是，则重新检测。当检测所有传感芯片的Squal寄存器值均为0时，则设定定时器，给出一停顿时间。

然后再判断定时器设定的时间是否达到，若达到预设的时间，则表征该轨迹结束，再关闭定时器，然后可以用激光笔开始新的轨迹；若否，则再次判断是否存在有某个或多个传感芯片的Squal寄存器值不为0，若是，则重新检测并开始上述步骤，若否，也重新检测并开始上述步骤。本发明通过利用光学鼠标传感中寄存器SQUAL的值是否为零来判定激光点在光幕上的存在性，结合设定阈值时间的方法判定单个激光点轨迹是否终止，新的轨迹是否开始。

相对原来的纯鼠标或激光笔操作的单一，本发明使用更方便，且功能变得更强大，使传统的激光笔具备了书写的功能，且不受外部光线的干扰，稳定性强。

值得注意的是，以上所述仅为本发明的较佳实施例，并非因此限定本发明的专利保护范围，本发明还可以对上述各种零部件的构造进行材料和结构的改进，或者是采用技术等同物进行替换。故凡运用本发明的说明书及图示内容所作的等效结构变化，或直接或间接运用于其他相关技术领域均同理皆包含于本发明所涵盖的范围内。

Claims (12)

1.一种基于光学鼠标传感阵列的激光点追踪系统，包括激光笔、投影光幕以及计算机，其特征在于还包括光学鼠标传感阵列和单片机，其中，

所述光学鼠标传感阵列，设于所述投影光幕之后，对激光笔发出的激光点经所述投影光幕散射在传感阵列面上形成的激光散斑图像进行计算和比较，并输出激光斑点的位移信息给所述单片机；

所述单片机，根据接收的激光斑点位移信息判断激光点轨迹的起止，并对所有传感获得的位移信息融合处理，产生激光点轨迹信息，并将该轨迹信息通过蓝牙串口模块无线发送给计算机；

所述计算机，识别激光点轨迹信息并根据该轨迹信息执行交互程序；

所述投影光幕与光学鼠标传感阵列之间平行间隔设置，所述间隔距离为400mm～600mm；

所述光学鼠标传感阵列由等间隔设置的至少4个光学鼠标传感芯片排列而成，相邻的两光学鼠标传感芯片之间的距离设置为激光点散射形成激光散斑模型半径的倍。

2.如权利要求1所述的激光点追踪系统，其特征在于，所述光学鼠标传感芯片为无通光小孔的芯片。

3.如权利要求2所述的激光点追踪系统统，其特征在于，所述投影光幕采用双面粗糙的半透明透光材质制成。

4.一种基于光学鼠标传感阵列的激光点追踪方法，其特征在于该方法包含如下步骤：

步骤1，传感阵列部署：测量经激光笔射入并透过投影光幕到达间隔设于光幕之后的传感阵列面上的激光光斑半径，并调整所述光学鼠标传感阵列中各传感芯片的间隔；

步骤2，激光点轨迹的获取：将光斑的位移增量存储于传感芯片的寄存器中，设定光斑轨迹的起点为(0,0)，同时每个时刻仅选取一个传感芯片测量光斑位移的增量，并计算光斑在t时刻的位置坐标x_t、y_t；

步骤3，激光点轨迹的起止判断：利用光学鼠标传感阵列中的寄存器squal的值是否为零判定激光点轨迹是否终止。

5.如权利要求4所述的激光点追踪方法，其特征在于，所述光学鼠标传感阵列中的所述传感芯片最少为4个，且横纵等间隔排列，相邻传感芯片之间的距离调整为激光光斑半径的倍。

6.如权利要求5所述的激光点追踪方法，其特征在于，在计算出光斑在t时刻的位置坐标x_t、y_t后，再对激光光点轨迹数据进行空间插值和平滑处理。

7.如权利要求4或6所述的激光点追踪方法，其特征在于，光斑在t时刻的位置坐标值x_t、y_t由光斑在t-1时刻的位置坐标值加上在第t时刻选择的传感i的测量值计算得出，其中，选择依据为该时刻传感的SQUAL寄存器的S_squal值，且选取传感阵列中S_squal值最大的传感的测量作为测量值。

8.如权利要求4或6所述的激光点追踪方法，其特征在于，将t时刻传感阵列中的所有传感芯片检测到的光斑位移增量进行加权运算得到加权值，由光斑在t-1时刻的位置坐标值加上在第t时刻的加权值计算得到光斑在t时刻的位置坐标值x_t、y_t。

9.如权利要求8所述的激光点追踪方法，其特征在于，所述加权运算的加权方法如下：

Δx(y)_t＝WD_t

其中，

$W=\left[\begin{array}{cccc}\frac{S_{squal\_1}}{{\mathrm{\Σ}}_{i=1}^N{S}_{squal\_i}}& \frac{S_{squal\_2}}{{\mathrm{\Σ}}_{i=1}^N{S}_{squal\_i}}& \mathrm{...}& \frac{S_{squal\_N}}{{\mathrm{\Σ}}_{i=1}^N{S}_{squal\_i}}\end{array}\right],$

D_t＝[Δx(y)_1，t … Δx(y)_i，t … Δx(y)_N，t]^T；

此时，激光点每一时刻的位置点坐标信息为：

$\left\{\begin{array}{c}{x}_t=x_{t-1}+{\mathrm{\Δx}}_t\\ y_t=y_{t-1}+{\mathrm{\Δy}}_t\end{array}\right..$

10.如权利要求6所述的激光点追踪方法，其特征在于，所述空间插值是在激光点每一时刻的位置点再采用三次样条插值的方法进行插值采样。

11.如权利要求6或9所述的激光点追踪方法，其特征在于，通过计算相邻时刻轨迹点的均值对激光点轨迹进行平滑处理，具体为：

$\left\{\begin{array}{c}{x^{\′}}_t=\left(x_{t-1}+x_t+x_{t+1}\right)/3\\ {y^{\′}}_t=\left(y_{t-1}+y_t+y_{t+1}\right)/3\end{array}\right.$

其中，x′_t为t时刻的横坐标位移平均值，y′_t为t时刻的纵坐标位移平均值。

12.如权利要求4所述的激光点追踪方法，其特征在于，激光点轨迹的起止包括如下步骤：

步骤S1，判断激光点是否存在于投影光幕上:检测所有传感芯片的Squal寄存器值是否均为0，若均为0，则通过定时器设定一阀值时间，若不是全为0，则重新检测；

步骤S2，判断轨迹是否结束：判断传感芯片的Squal寄存器值为0保持的时间是否达到设定的阀值时间，当传感芯片的Squal寄存器值为0保持的时间达到定时器设定的时间时，表征该轨迹结束，定时器关闭，若否，则再次判断是否存在有传感芯片的Squal寄存器值不为0，并重新检测重复开始上述步骤。