CN107992792A - 一种基于加速度传感器的空中手写汉字识别系统及方法 - Google Patents

Abstract

本发明公开一种基于加速度传感器的空中手写汉字识别系统及方法。系统包括电子设备和与电子设备进行信息交流的识别设备，电子设备包括手写输入指令获取单元、空中手写轨迹采集和处理单元以及发送单元；识别设备包括接收单元、预处理单元和空中手写汉字识别单元。用户手持电子设备进行空中书写，该电子设备基于三维加速度传感器追踪用户在空中的手写输入，产生三维手写输入数据，将三维运动轨迹投影产生用于手写识别的二维图像并传送至识别设备；识别设备接收到二维图像后，对图像进行预处理，并以预处理后的二维图像为基础，完成汉字识别。本发明不受任何屏幕或平面的限制，可广泛应用于交互式游戏场景、电视控制、教学系统等人机交互系统中。

Description

一种基于加速度传感器的空中手写汉字识别系统及方法

技术领域

本发明属于计算机应用和模式识别领域，尤其涉及一种基于加速度传感器空中手写汉字识别系统及方法。

背景技术

近年来，智能设备如智能手机、平板电脑等的普及，使得便携式设备的娱乐性和功能性越来越强。在设备智能化不断提升的今天，人们对人机交互的舒适度提出了更高的要求。手写识别也是人机交互的一种方式，它是模式识别在人机交互领域的一种应用。手写识别分为空中手写识别和平面手写识别。其中平面手写识别的应用已经十分广泛，在各类消费类电子如手机、平板电脑、PC等中都能见到平面手写识别技术的应用。平面手写识别技术发展到现今已较为成熟，现在的智能设备基本都内置了成熟的平面手写识别算法，使用该算法进行手写输入来控制智能设备，其识别的准确率、适应性已经能满足绝大多数人的使用要求。然而平面手写识别也具备不方便、用户体验不佳等局限性。近年来，空中手写识别得到了人们的广泛关注。空中手写识别摆脱了单一平面的束缚，使得手写能够在三维的空间中自由的进行。用户只需要用一只手运动，做出特定的手势，就能传输特定的信息，如通过空中手写打开电视机、进入电脑游戏等。空中手写识别的实现方式主要有两种：一种是用摄像头捕捉空中手写的手势，通过基于计算机视觉的定位技术和特定算法将手势的特殊含义分析出来。这种方法对使用摄像头的空中手写环境有较高要求，摄像头无法在黑暗环境下工作。另外对摄像头精度要求高，增加了成本，不利于空中手写识别技术的推广。空中手写识别的另外一种实现方式是通过惯性传感器采集空中手写的运动数据，通过分析运动数据，提取相关特征向量并通过模式识别方法识别分类。惯性传感器即指加速度传感器、陀螺仪和磁力传感器，在目前的市场上，主流的智能设备都搭载了包含所有惯性传感器的微电子机械系统。无论从成本还是易用性而言，基于惯性传感器的空中手写识别都是空中手写识别的最佳实现方式。

发明内容

本发明公开了一种基于加速度传感器的空中手写汉字识别系统，并提供了一种空中手写汉字识别方法，以提高空中手写汉字识别的准确率。

本发明一方面公开了一种基于加速度传感器的空中手写汉字识别系统，该系统包括一个电子设备和一个与该电子设备进行信息交流的识别设备，电子设备包括手写输入指令获取单元、空中手写轨迹采集和处理单元以及发送单元；识别设备包括接收单元、预处理单元和空中手写汉字识别单元。其中：

所述手写输入指令获取单元用于接收开始书写和结束书写的指令。

所述空中手写轨迹采集和处理单元通过设置在其中的三维加速度传感器，采集电子设备在空中的三维手写输入数据，并将三维数据转换和投影到一个二维平面上，产生用于手写识别的二维图像。

所述发送单元用于将二维手写轨迹图像发送至识别设备。

所述接收单元用于接收发送单元发送的二维手写轨迹图像。

所述预处理单元用于对接收的二维图像进行预处理，减少图像轨迹中的冗余信息。

所述空中手写汉字识别单元用于对经过预处理的二维图像进行汉字识别。

另一方面，本发明提供了一种空中手写汉字识别方法，主要包括以下步骤：

步骤S1，检测是否获取到开始书写的指令；

步骤S2，若获取到开始书写的指令，则转到步骤S3，否则返回步骤S1；

步骤S3，通过三维加速度传感器获取电子设备的三维加速度数据，计算三维运动坐标，以三维运动坐标为基础构造用于手写识别的二维图像；

步骤S4，检测是否获取到结束书写的指令，如果获取到，保存投影得到的二维图像，转到步骤S5，否则返回步骤S3；

步骤S5，将保存的二维手写轨迹图像发送给识别设备；

步骤S6，识别设备接收二维手写轨迹图像；

步骤S7，对接收到的二维手写轨迹图像进行预处理；

步骤S8，提取汉字特征，并利用卷积神经网络对汉字进行识别，输出识别结果；

步骤S9，如果再次获取到开始书写的指令，则返回步骤S1，否则结束。

本发明提出的空中手写字符识别方法，具有以下优点：

(1)识别方便快捷，可以满足不同群体的个性化需求；

(2)基于三维加速度传感器而非摄像头跟踪并采集三维手写输入数据，并将三维运动轨迹水平投影得到二维手写图像，为后续识别做准备，能够适应不同环境的要求；

(3)使用弹性切分的方法，将图像切分成一系列稳定的特征区域，对这些区域大小归一化后提取的一系列SIFT描述子特征进行拼接，组成具有良好性能的特征，能够适应不同书写风格的要求，具有良好的鲁棒性；

(4)本发明的汉字识别分类器采用识别精度较高的卷积神经网络，具有较为出色的性能。

本发明提出的空中手写识别系统和方法，为人们提供了一种新颖便捷的书写方式，更加人性化和智能化。该发明可广泛应用于交互式游戏场景、电视控制、教学系统等人机交互系统中。

附图说明

图1是基于加速度传感器的空中手写汉字识别系统的结构示意图；

图2是空中手写汉字识别方法的流程图；

图3是本发明实施例提供的电子设备产生第三维方向移动的示意图；

图4是生成的空中手写汉字轨迹示意图，该空中轨迹被采样到A、B、C、D、E、F、G共7个点，其中点A为空中书写轨迹的起点，点G为空中书写轨迹的终点。

图5是用于识别汉字的卷积神经网络的基本结构示意图。

具体实施方式

下面参照附图，并结合具体实施例，对本发明的技术方案作进一步详细描述，但本发明的具体实施方式不限于此。

图1是本发明的结构示意图，如图1所示，空中手写汉字识别系统由一个电子设备和一个与该电子设备进行信息交流的识别设备构成，电子设备包括手写输入指令获取单元、空中手写轨迹采集和处理单元以及发送单元；识别设备包括接收单元、预处理单元和空中手写汉字识别单元。其中：

所述手写输入指令获取单元用于接收开始书写和结束书写的指令，在本发明的一实施例中，可以通过按动电子设备的特定按键作为启动或结束手写输入的指令，当电子设备接收到指令时，进入或结束手写输入状态。

所述手写输入指令获取单元接收到开始书写的指令，进入书写状态后，所述空中手写轨迹采集和处理单元测量并采集输入设备的三维手写输入数据，包括输入设备在X、Y和Z轴方向移动的加速度数据，其中参考坐标系设定为与接收到所述开始手写输入指令时的输入设备垂直或平行。采用预先设定的抽样率采集抽样点，通过计算每个抽样点在X、Y和Z轴的三维坐标，形成相应的三维运动轨迹，并将三维运动轨迹投影到合适的二维平面上，产生发送给识别设备的二维手写图像。当手写输入指令获取单元接收到结束书写的指令时，表示一个汉字书写完毕，当前书写结束，所述手写输入电子设备保存当前提取到的二维手写图像。所述空中手写轨迹采集和处理单元进一步由三维加速度传感器、控制模块和上位机处理模块组成。

所述三维加速度传感器用来测量电子设备在空中移动的X、Y和Z轴方向的加速度；图3是本发明实施例提供的电子设备产生第三维方向移动的示意图；图4是生成的空中手写汉字轨迹示意图，该空中轨迹被采样到A、B、C、D、E、F、G共7个点，其中点A为空中书写轨迹的起点，点G为空中书写轨迹的终点。

所述控制模块以一定采样频率采集三维手写输入数据并控制电路，将采集到的数据传输给上位计算机；

所述上位机处理模块负责实现空中手写轨迹采集和处理单元的核心功能，包括误差处理、三维运动坐标的计算和三维运动轨迹的形成、投影产生二维手写图像，并保存空中书写轨迹投影生成的二维图像。

所述发送单元用于将二维手写轨迹图像发送至识别设备。

所述接收单元用于接收发送单元发送的二维手写轨迹图像。

所述预处理单元用于对接收的二维图像进行预处理，减少图像轨迹中的冗余和噪声。

所述空中手写汉字识别单元用于对经过预处理的二维图像进行汉字识别。本发明的一实施例中，使用弹性切分的方法，将图像切分成一系列稳定的特征区域，对这些区域大小归一化后提取的一系列SIFT描述子特征进行拼接，组成具有良好性能的特征；最后通过最近原型分类器确定候选汉字集，并利用卷积神经网络获得识别结果。其中弹性切分的具体步骤如下：

先对图像在水平方向上非均匀弹性划分三个长方形，划分的原则是让每个长方形内尽可能具有相等的汉字轨迹像素，然后在垂直方向上对各个长方形图块进行非均匀弹性划分，使得每个长方形图块尽可能划分为三个汉字轨迹像素相等的小长方形图块，最终可得到9个子图像块；采用相同的方法先垂直后水平再次切分手写轨迹图像，获得另外9个子图像块。

图2是本发明提出的空中手写汉字识别方法的流程图，所述步骤具体说明如下：

步骤S1，检测是否获取到开始书写的指令，本发明的一实施例中，可以通过按动电子设备的特定按键作为启动手写输入的指令，当电子设备接收到指令时，进入手写输入状态；

步骤S2，当获取到开始书写的指令时，转到步骤S3，否则返回步骤S1；

步骤S3，采集三维手写输入数据，并以相应的三维手写输入数据为基础构造用于手写识别的二维图像，主要包括以下几个步骤：

步骤S31，控制模块根据预先设定的抽样率采集三维手写输入数据，包括加速度传感器获取的电子设备在X、Y和Z轴方向的加速度，其中参考坐标系设定为与接收到所述开始手写输入指令时的电子设备垂直或平行；

步骤S32，上位机处理模块计算三维运动坐标，形成三维运动轨迹；

步骤S33，上位机处理模块将三维轨迹投影到二维平面上，得到二维手写图像。本发明的一最佳实施例中，采用以下方法为每个汉字的三维轨迹分别推导出合适的二维投影平面：

根据几何原理，一个合适的二维投影平面是一个平面，每个抽样点到该平面的距离平方的总和最小。假设n个抽样点的坐标如下：(x₁,y₁,z₁),(x₂,y₂,z₂)...(x_n,y_n,z_n)，平面方程为Ax+By+Cz+D＝0，其中A²+B²+C²≠0。任意三维坐标(x_i,y_i,z_i)到平面的距离令距离平方和

在A²+B²+C²＝1的约束下，可以通过拉格朗日乘法的方法求A,B,C,D的值，构造方程G(A,B,C,D)＝F'(A,B,C,D)+λ(A²+B²+C²+D²-1)，其中λ是拉格朗日乘子，它是一个常数。G(A,B,C,D)关于A,B,C和D的偏微分方程如下：

从上述四个方程可以得到以下的方程：

A²+B²+C²+D²＝1 (5)

其中方程(4)可改写为：

将方程(6)代入(1)、(2)、(3)可以求得A、B、C、D的值。

得到二维投影平面方程Ax+By+Cz+D＝0后，结合垂直于投影平面的直线的方程可以得到每个三维抽样点相应的二维坐标(x,y)。其中：

步骤S4，检测是否获取到结束书写的指令，如果获取到，保存投影得到的二维图像，转到步骤S5，否则返回步骤S3，本发明的一实施例中，可以通过按动电子设备的特定按键作为结束当前手写输入的指令；

步骤S5，将保存的二维手写轨迹图像发送给识别设备；

步骤S6，识别设备接收二维手写轨迹图像；

步骤S7，对接收到的二维手写轨迹图像进行预处理，具体包括：

(1)去除冗余。当轨迹点重合或者离得很近时，可以在局部设置合适的阈值去除冗余点；

(2)插值处理。当空中手写轨迹采集和处理单元设定的抽样速率较低时，通常会使一个汉字的点数过少。插值处理可以使汉字轨迹具有足够的信息；

(3)平滑滤波器去噪处理。二维图像在生成和传输过程中常常受到各种噪声源的干扰和影响，空中手写轨迹采集和处理单元抽样频率设置不合理也同样会给图像带来噪声，可以采用线性/非线性滤波器消除混杂图像干扰，强化图像表现特征；

(4)归一化。通过尺寸和位置的归一化，将图像中的汉字变换成统一大小，并对旋转的汉字轨迹进行校正。

步骤S8，对经过预处理的二维手写轨迹图像进行识别，输出汉字识别结果，主要包括下面几个步骤：

步骤S81，提取二维手写轨迹图像的主要特征。步骤S81进一步由以下步骤构成：

步骤S811先水平后垂直弹性切分二维图像为局部子图像块。该步骤弹性切分二维图像成子图像块的过程是：先对图像在水平方向上非均匀弹性划分三个长方形，划分的原则是让每个长方形内尽可能具有相等的汉字轨迹像素，然后在垂直方向上对各个长方形图块进行非均匀弹性划分，使得每个长方形图块尽可能划分为三个汉字轨迹像素相等的小长方形图块，最终可得到9个子图像块。

步骤S812对子图像块提取SIFT描述子特征。具体过程是：先将切分出的图块大小进行线性归一化，然后对每块图像区域提取SIFT描述子特征，提取中使用的SIFT描述子参数为：切分区域数目2×2，统计方向为8，每个子图块获得的特征向量维数为32。该步骤中的SIFT描述子特征通过在子图块计算所有像素的梯度向量，然后用以图块中心为中心的二维高斯函数对所有梯度向量的幅值进行加权，接着把局部区域规则切分为N×N的子区域，在每个子区域上统计D个方向的梯度方向直方图，计算每个梯度方向累加值形成一个种子点，每个种子点有8个方向的向量信息，最后组合各种子点形成输出的特征。

步骤S813先垂直后水平再次切分手写轨迹图像成局部图像块，重复步骤S812。具体切分方法为：先对图像在垂直方向上非均匀弹性划分三个长方形，划分的原则是让每个长方形内尽可能具有相等的汉字轨迹像素，然后在水平方向上以相同的方法对每个长方形进行切分，最终可获取另外9个子图像块。

步骤S814拼接所有局部子图像块SIFT特征形成最终特征向量。通过将步骤S812和步骤S813获取的18个图块特征进行顺序拼接，获得一个576(18×32)维特征向量，接着对这个向量中每一个元素进行x^0.4的变换，变换所得的特征向量即为最终输出的特征向量。

步骤S82，空中手写汉字识别。该步骤进一步由以下步骤构成：

步骤S821，通过最近原型分类器计算提取的汉字特征向量与模板中所有汉字的特征向量的欧式距离，选取前10个汉字作为识别的候选汉字集。

步骤S822，将提取的特征向量输入卷积神经网络，进行汉字识别，并输出识别结果，本发明采用的卷积神经网络的基本结构为：第一层卷积层，采用3*3大小的卷积核(conv1～conv4)，padding为1，激活函数为ReLu函数(relu1～relu6)；第一层max_pooling层(pooling1)，采用2*2的核；第二、三层卷积层，均采用3*3的卷积核，padding为1，激活函数为ReLu函数；第四层卷积层，采用2*2的卷积核，激活函数为ReLu函数；第一层全连接层(fc1～fc2)，共有4096个神经元，激活函数为ReLu函数，并增加dropout层在训练过程中随机丢弃一些权值；第二层全连接层，共有4096个神经元，激活函数为ReLu函数；最后为Softmax层，输出为候选汉字集中的10个汉字类别。

上述实例为本发明较佳的实施例子，但本发明的实施方式并不受上述实例的限制，其他任何未背离本发明的精神与技术下所作的改变、修饰或替代，均应为等效的置换，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于加速度传感器的空中手写汉字识别系统，其特征在于包括一个电子设备和一个与电子设备进行信息交流的识别设备；

所述电子设备接收输入指令，采集三维手写输入数据，并将三维手写输入数据对应的三维运动轨迹投影生成二维手写图像，具体包括：

手写输入指令获取单元，用于接收开始书写和结束书写的指令；

空中手写轨迹采集和处理单元，用于跟踪并采集电子设备在三维空间中的运动数据，并将三维运动轨迹投影到一个二维平面上，产生用于手写识别的二维图像；

发送单元，用于将二维手写轨迹图像发送至识别设备；

所述识别设备与电子设备进行交流，对接收的二维图像进行预处理，并以二维图像为基础完成二维手写识别，具体包括：

接收单元，用于接收发送单元发送的二维手写轨迹图像；

预处理单元，用于对接收的二维图像进行预处理，减少图像轨迹中的冗余信息；

空中手写汉字识别单元，用于识别经过预处理的二维图像中的汉字。

2.根据权利要求1所述的一种基于加速度传感器的空中手写汉字识别系统，其特征在于，

所述空中手写轨迹采集和处理单元包括：

三维加速度传感器，用于测量电子设备的三维手写输入数据，三维手写输入数据包括电子设备在空间直角坐标系中X、Y、Z轴方向的加速度；

控制模块，以设定的采样频率采集三维手写输入数据，将采集到的数据发送给上位机处理模块；

上位机处理模块，负责实现空中手写轨迹采集和处理单元的核心功能，包括三维运动坐标的计算和三维运动轨迹的形成、投影产生二维手写图像，并保存空中书写轨迹投影生成的二维图像。

3.根据权利要求2所述的一种基于加速度传感器的空中手写汉字识别系统，其特征在于，上位机处理模块根据三维手写输入数据计算每个抽样点的三维运动坐标；上位机处理模块以三维运动轨迹中抽样点到投影平面的距离平方的总和最小为准则，推导用于投影的二维平面。

4.根据权利要求1所述的一种基于加速度传感器的空中手写汉字识别系统，其特征在于，所述空中手写汉字识别单元完成二维汉字图像的特征提取和识别；所述二维汉字图像的特征提取采用弹性切分的方法，将图像切分成一系列稳定的特征区域，对这些区域大小归一化后提取的一系列SIFT(Scale-invariant feature transform)描述子特征进行拼接，得到具有良好性能的汉字特征；计算所述汉字特征与国家863计划采集到的HCL2000手写汉字样本数据库中所有汉字的特征向量的欧氏距离，选取距离最小的前10个汉字作为候选汉字集；利用卷积神经网络完成二维汉字图像的识别。

5.根据权利要求4所述的一种基于加速度传感器的空中手写汉字识别系统，其特征在于，卷积神经网络的基本结构为：

第一层卷积层，采用3*3大小的卷积核，padding为1，激活函数为ReLu函数；第一层max_pooling层，采用2*2的核；第二、三层卷积层，均采用3*3的卷积核，padding为1，激活函数为ReLu函数；第四层卷积层，采用2*2的卷积核，激活函数为ReLu函数；第一层全连接层，共有4096个神经元，激活函数为ReLu函数，并增加dropout层在训练过程中随机丢弃一些权值；第二层全连接层，共有4096个神经元，激活函数为ReLu函数；最后为Softmax层，输出为候选汉字集中的10个汉字类别。

6.利用权利要求1～5任一项所述基于加速度传感器的空中手写汉字识别系统的一种空中手写汉字识别方法，其特征在于，该方法包括以下步骤：

步骤S1，手写输入指令获取单元检测是否获取到开始书写的指令；

步骤S2，若获取到开始书写的指令，则转到步骤S3，否则返回步骤S1；

步骤S3，空中手写轨迹采集和处理单元采集三维手写输入数据，并以相应的三维手写输入数据为基础构造用于手写识别的二维图像；

步骤S4，检测是否获取到结束书写的指令，如果获取到，保存投影得到的二维图像，转到步骤S5，否则返回步骤S3；

步骤S5，发送单元将保存的二维手写轨迹图像发送给识别设备；

步骤S6，识别设备的接收单元接收二维手写轨迹图像；

步骤S7，预处理单元对接收到的二维手写轨迹图像进行预处理；

步骤S8，对预处理后的二维图像进行识别，并输出汉字识别结果；

步骤S9，如果再次获取到开始书写的指令，则返回步骤S1，否则结束。

7.根据权利要求6所述的一种空中手写汉字识别方法，其特征在于，步骤S3进一步包括以下几个步骤：

步骤S31，三维加速度传感器测量电子设备在X、Y和Z轴方向的加速度，其中参考坐标系设定为与接收到所述开始手写输入指令时的电子设备垂直或平行；

步骤S32，上位机处理模块计算三维运动坐标，形成三维运动轨迹；

步骤S33，上位机处理模块将三维轨迹投影到二维平面上，以抽样点的三维坐标到二维平面的距离的平方总和最小为准则，从三维轨迹推导出用于手写识别的二维图像。

8.根据权利要求6所述的一种空中手写汉字识别方法，其特征在于，步骤S7所述预处理包括去除冗余、插值处理、平滑滤波器去噪处理、归一化及图像细化。

9.根据权利要求6所述的一种空中手写汉字识别方法，其特征在于，步骤S8进一步包括以下步骤：

步骤S81，提取二维手写轨迹图像的主要特征；

步骤S82，空中手写汉字识别。

10.根据权利要求9所述的一种空中手写汉字识别方法，其特征在于，步骤S81进一步包括以下步骤：

步骤S811，先水平后垂直弹性切分二维图像成局部子图像块；

步骤S812，对子图像块提取SIFT描述子特征；

步骤S813，先垂直后水平再次切分手写轨迹图像成局部图像块，重复步骤S812；

步骤S82进一步包括以下步骤：

步骤S821，采用最近原型分类器计算提取的特征向量与模板中所有汉字的特征向量的欧式距离，选取前10个汉字作为识别的候选汉字集；

步骤S822，将特征向量输入卷积神经网络，完成汉字的识别，并输出识别结果。