CN111444834B - 图像文本行检测方法、装置、设备及存储介质 - Google Patents

Abstract

本公开提供一种图像文本行检测方法、装置、设备及存储介质，涉及计算机视觉技术领域。该方法包括：获取待检测图像，所述待检测图像包括文本行；通过全卷积网络提取所述待检测图像的空间特征获得空间特征图；根据所述空间特征图通过第一循环神经网络提取所述待检测图像的水平序列特征获得水平序列特征图；根据所述空间特征图通过第二循环神经网络提取所述待检测图像的垂直序列特征获得垂直序列特征图；将所述水平序列特征图和所述垂直序列特征图进行合并处理获得合并序列特征图；将所述合并序列特征图通过卷积核后进行特征筛选以获得所述文本行。该方法实现了在一定程度上提高深度学习网络进行图像文本行检测的效果。

Description

图像文本行检测方法、装置、设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种图像文本行检测方法、装置、设备及可读存储介质。

背景技术

随着深度学习技术在诸多领域的广泛应用，很多基于计算机视觉的相关的应用也迅猛发展。光学文字识别(Optical Character Recognition,OCR)就是其中一个比较典型的代表。整个OCR的处理过程通常包含了三个步骤：提取图像中的文本行，识别图像中的文本行内容，最后对识别出的文本行内容进行结构化处理。其中，文本行检测是整个OCR流程的第一步，检测的质量将直接影响整个OCR的最终结果。

一些相关技术中的文本行检测方法包括在二值图像或者灰度图像上进行“行投影”加“列投影”的方式、也有在二值图像上通过分析联通域的方式。这些方法受图像背景与图像质量影响较大，导致在一些复杂背景下，或者在图像质量较差的情况下检测效果比较差，而且需要在检测前知道图像中的文本行的宽度、长度大概范围来进行阈值的设置。

另一些相关技术中的基于深度网络的文本行检测方法通过卷积神经网络(Convolutional Neural Networks,CNN)来提取图像特征，CNN网络对于一些长文本行的检测效果比较差，检测到的文本行的边界也并不精确、稳定。

如上所述，如何通过自学习的方式在不需要设置很多阈值的情况下，在复杂背景、低图像质量的场景下获得较好的文本行检测的效果，成为亟待解决的问题。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种图像文本行检测方法、装置、设备及可读存储介质，至少在一定程度上克服由于相关技术中通过卷积神经网络提取图像特征来进行文本行检测的效果较差的技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提供一种图像文本行检测方法，包括：获取待检测图像，所述待检测图像包括文本行；通过全卷积网络提取所述待检测图像的空间特征获得空间特征图；根据所述空间特征图通过第一循环神经网络提取所述待检测图像的水平序列特征获得水平序列特征图；根据所述空间特征图通过第二循环神经网络提取所述待检测图像的垂直序列特征获得垂直序列特征图；将所述水平序列特征图和所述垂直序列特征图进行合并处理获得合并序列特征图；将所述合并序列特征图通过卷积核后进行特征筛选以获得所述文本行。

根据本公开的一实施例，所述根据所述空间特征图通过第一循环神经网络提取所述待检测图像的水平序列特征获得水平序列特征图，包括：将所述空间特征图沿水平方向分成多个水平序列，将所述多个水平序列依次连接成水平特征序列；将所述水平特征序列输入所述第一循环神经网络，通过所述第一循环神经网络提取所述水平序列特征获得所述水平序列特征图。

根据本公开的一实施例，所述根据所述空间特征图通过第二循环神经网络提取所述待检测图像的垂直序列特征获得垂直序列特征图，包括：将所述空间特征图沿垂直方向分成多个垂直序列，将所述多个垂直序列依次连接成垂直特征序列；将所述垂直特征序列输入所述第二循环神经网络，通过所述第二循环神经网络提取所述垂直序列特征获得所述垂直序列特征图。

根据本公开的一实施例，所述水平序列特征图与所述空间特征图的数据结构相同，所述垂直序列特征图与所述空间特征图的数据结构相同；所述将所述水平序列特征图和所述垂直序列特征图进行合并处理获得合并序列特征图，包括：将所述水平序列特征图和所述垂直序列特征图进行叠加处理获得所述合并序列特征图。

根据本公开的一实施例，所述对将所述合并序列特征图通过卷积核后进行特征筛选以获得所述文本行，包括：将所述合并序列特征图通过分割卷积核进行降维处理获得分割特征图；将所述合并序列特征图通过位置卷积核进行降维处理获得位置特征图；根据所述分割特征图和所述位置特征图进行特征筛选以获得所述文本行。

根据本公开的一实施例，所述根据所述分割特征图和所述位置特征图进行特征筛选以获得所述文本行，包括：将所述分割特征图通过分割函数处理筛选出候选特征点；根据所述候选特征点和所述位置特征图获得候选文本框；基于非最大抑制算法从所述候选文本框中获得所述文本行。

根据本公开的一实施例，所述第一循环神经网络为长短期记忆神经网络；所述第二循环神经网络为长短期记忆神经网络。

根据本公开的再一方面，提供一种图像文本行检测装置，包括：图像获取模块，用于获取待检测图像，所述待检测图像包括文本行；全卷积网络模块，用于提取所述待检测图像的空间特征获得空间特征图；第一循环神经网络模块，用于根据所述空间特征图提取所述待检测图像的水平序列特征获得水平序列特征图；第二循环神经网络模块，用于根据所述空间特征图提取所述待检测图像的垂直序列特征获得垂直序列特征图；序列特征合并模块，用于将所述水平序列特征图和所述垂直序列特征图进行合并处理获得合并序列特征图；后处理模块，用于将所述合并序列特征图通过卷积核后进行特征筛选以获得所述文本行。

根据本公开的再一方面，提供一种设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，所述处理器执行所述可执行指令时实现如上述任一种方法。

根据本公开的再一方面，提供一种计算机可读存储介质，其上存储有计算机可执行指令，所述可执行指令被处理器执行时实现如上述任一种方法。

本公开的实施例提供的图像文本行检测方法，通过全卷积网络提取获取的包括文本行的待检测图像的空间特征获得空间特征图，根据空间特征图通过第一循环神经网络提取待检测图像的水平序列特征获得水平序列特征图，根据空间特征图通过第二循环神经网络提取待检测图像的垂直序列特征获得垂直序列特征图，然后将水平序列特征图和垂直序列特征图进行合并处理获得合并序列特征图，将合并序列特征图通过卷积核后进行特征筛选以获得文本行，从而可实现一定程度上提高深度学习网络进行图像文本行检测的效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。

附图说明

通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。

图1示出本公开实施例中一种示例性系统架构的示意图。

图2示出本公开实施例中一种图像文本行检测方法的流程图。

图3示出本公开实施例中另一种图像文本行检测方法的流程图。

图4示出本公开实施例中再一种图像文本行检测方法的流程图。

图5示出本公开实施例中一种图像文本行检测装置的框图。

图6示出本公开实施例中另一种图像文本行检测装置的框图。

图7示出本公开实施例中一种用于图像文本行检测的深度学习网络结构图。

图8示出本公开实施例中一种电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施例使得本公开将更加全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。符号“/”一般表示前后关联对象是一种“或”的关系。

在本公开中，除非另有明确的规定和限定，“连接”等术语应做广义理解，例如，可以是电连接或可以互相通讯；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本公开中的具体含义。

如上所述，因一些相关技术中的文本行检测方法受图像背景与图像质量影响较大而导致检测效果比较差，另一些相关技术中的基于CNN网络的文本行检测方法虽不需要设置阈值，但对于一些长文本行的检测效果比较差，文本行的边界也并不精确、稳定。本公开提供了一种文本行检测方法，融合了全卷积网络与循环神经网络(Recurrent NeuralNetwork,RNN)检测图像中的文本行，扩大了整个网络的感受野，进而使得在长文本行检测中有较好的效果，检测得到的文本行的边界也更加精准、稳定。

图1示出了可以应用本公开的图像文本行检测方法或图像文本行检测装置的示例性系统架构10。

如图1所示，系统架构10可以包括终端设备102，网络104和服务器106。网络104用以在终端设备102和服务器106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备102通过网络104与服务器106交互，以接收数据或发送命令来构建、训练神经网络等等。终端设备102可以是具有显示屏并且支持输入、输出的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。服务器106可以是提供各种服务的服务器或服务器集群等，例如对用户利用终端设备102进行神经网络构建提供支持的后台处理服务器(仅为示例)。后台处理服务器可以对接收到的环境配置命令进行分析等处理，并将如神经网络输出等反馈给终端设备。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

图2是根据一示例性实施例示出的一种图像文本行检测方法的流程图。如图2所示的方法例如可以应用于上述系统。

参考图2，本公开实施例提供的方法20可以包括以下步骤。

在步骤S202中，获取待检测图像，待检测图像包括文本行。

在步骤S204中，通过全卷积网络提取待检测图像的空间特征获得空间特征图。通过全卷积网络(Fully Convolutional Networks,FCN)来提取图像特征，FCN将CNN网络中的全链接层替换成了卷积层，同时通过将不同尺度的特征进行上采样，并使用跳层结构将不同尺度下的特征进行融合，使得网络最后的特征能够更加丰富，同时在摒弃了全链接层之后使得图像中物体的位置信息也得以保留，因此可应用于图像的物体检测。

在步骤S206中，根据空间特征图通过第一循环神经网络提取待检测图像的水平序列特征获得水平序列特征图。

在步骤S208中，根据空间特征图通过第二循环神经网络提取待检测图像的垂直序列特征获得垂直序列特征图。第一循环神经网络与第二循环神经网络可以为结构相同的循环神经网络，在FCN提取的特征图像上，分别使用循环神经网络(RNN)从水平方向与垂直方向提取图像中各个方向文本的序列特征，在一些实施例中，例如，可根据待检测图像的实际特点将空间特征图沿着接近水平的方向分成多个序列后，首尾相连连接成水平序列，将空间特征图沿着与上述方向垂直的方向分成多个序列后，首尾相连连接成垂直序列，再分别将水平序列和垂直序列通过第一循环神经网络与第二循环神经网络提取水平序列特征和垂直序列特征。增加了循环神经网络之后扩大了整个网络的感受野，更有利于长文本行的检测，且可更好地定位到文本行的边界，使得检测的结果更加精准。

在步骤S210中，将水平序列特征图和垂直序列特征图进行合并处理获得合并序列特征图。将两个方向获取出的序列特征在各通道分别进行叠加，获得多个通道的序列特征图。

在步骤S212中，将合并序列特征图通过卷积核后进行特征筛选以获得文本行。可先将多个通道的序列特征图通过卷积核处理为用于筛选特征点和具有位置信息的特征图，筛选特征点为过滤掉图像中不属于文本行的像素点，然后将属于文本行的像素点通过具有位置信息的特征图获得文本行的文本框。

根据本公开实施例提供的图像文本行检测方法，通过全卷积网络提取获取的包括文本行的待检测图像的空间特征获得空间特征图，根据空间特征图通过第一循环神经网络提取待检测图像的水平序列特征获得水平序列特征图，根据空间特征图通过第二循环神经网络提取待检测图像的垂直序列特征获得垂直序列特征图，然后将水平序列特征图和垂直序列特征图进行合并处理获得合并序列特征图，将合并序列特征图通过卷积核后进行特征筛选以获得文本行，扩大了整个网络的感受野，进而使得在长文本行检测中有较好的效果，检测得到的文本行的边界也更加精准、稳定，从而可实现一定程度上提高深度学习网络进行图像文本行检测的效果。

图3是根据一示例性实施例示出的一种图像文本行检测方法的流程图。如图3所示的方法例如可以应用于上述系统。

参考图3，本公开实施例提供的方法30可以包括以下步骤。

在步骤S302中，获取待检测图像，待检测图像包括文本行。

在步骤S304中，通过全卷积网络提取待检测图像的空间特征获得空间特征图。

在步骤S306中，将空间特征图沿水平方向分成多个水平序列，将多个水平序列依次连接成水平特征序列。

在步骤S308中，将水平特征序列输入第一循环神经网络，通过第一循环神经网络提取水平序列特征获得水平序列特征图，水平序列特征图与空间特征图的数据结构相同。循环神经网络的输出为序列，将输出序列进行结构还原处理，输出与空间特征图数据结构相同的多通道的序列特征图。

在步骤S310中，将空间特征图沿垂直方向分成多个垂直序列，将多个垂直序列依次连接成垂直特征序列。

在步骤S312中，将垂直特征序列输入第二循环神经网络，通过第二循环神经网络提取垂直序列特征获得垂直序列特征图，垂直序列特征图与空间特征图的数据结构相同。循环神经网络的输出为序列，将输出序列进行结构还原处理，输出与空间特征图数据结构相同的多通道的序列特征图。

在步骤S314中，将水平序列特征图和垂直序列特征图进行叠加处理获得合并序列特征图。综合了水平方向与垂直方向的序列特征，获得多通道的合并序列特征图。

在步骤S316中，将合并序列特征图通过分割卷积核进行降维处理获得分割特征图。分割特征图为综合了各个通道特征的一张特征图。

在步骤S318中，将合并序列特征图通过位置卷积核进行降维处理获得位置特征图。位置特征图为具有各个特征点位置信息的特征图。

在步骤S320中，根据分割特征图和位置特征图进行特征筛选以获得文本行。进一步地，将分割特征图通过分割函数处理筛选出候选特征点；根据候选特征点和位置特征图获得候选文本框；基于非最大抑制算法合并那些隶属于同一个文本行的候选框，从候选文本框中获得文本行检测结果。非最大抑制(Non Maximum Suppression,NMS)，主要用于删除高度冗余的框，工作机制为：在目标检测过程中，对于每个目标在检测的时候会产生多个候选框，NMS本质就是对每个目标的多个候选框去冗余，得到最终的检测结果。

本公开实施例提供的图像文本行检测方法，融合了全卷积网络与循环神经网络以检测图像中的文本行，扩大了整个网络的感受野，进而使得在长文本行检测中有较好的效果；同时由于循环神经网络提取待检测图像的序列特征，在对处于文本行边界的区域进行检测时，可充分利用该区域相邻序列的信息进行检测，使检测得到的文本行的边界更加精准、稳定。

图4是根据一示例性实施例示出的一种图像文本行检测方法的流程图。如图4所示的方法例如可以应用于上述系统。

参考图4，本公开实施例提供的方法40可以包括以下步骤。

在步骤S402中，获取包括文本行的像素尺寸为512*512的待检测图像。可将其他尺寸的输入图像缩放到512*512大小后输入到网络中，在输入图像为512*512的情况下，单张图像的处理速度在例如NVIDIA-1080Ti显卡上的平均处理时间在120ms，可满足实时处理的要求。

在步骤S404中，通过骨架为VGG-16的全卷积网络提取待检测图像的空间特征获得空间特征图，空间特征图的数据结构为128*128*32(宽*高*通道数)。VGGNet是牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司一起研发的深度卷积神经网络，探索了卷积神经网络的深度与其性能之间的关系，通过反复堆叠33的小型卷积核和22的最大池化层，构筑了16～19层深的卷积神经网络。VGG-16则表示深度卷积神经网络含有参数的有16个层，网络结构很规整，都是几个卷积层后面跟一个可以压缩图像大小的池化层。随着网络加深，图像的宽度和高度都在以一定的规律减小，每次池化后刚好缩小一半，通道数目增加。

在步骤S406中，将32个通道的空间特征图的128个数据长度为128的行从上至下首尾连接成32个水平特征序列。

在步骤S408中，将32个水平特征序列分别输入第一长短期记忆神经网络，通过长短期记忆神经网络提取水平序列特征获得32张水平序列特征图，各张水平序列特征图的数据结构为128*128(宽*高)。RNN网络只有短暂的记忆功能，对于比较长的序列信息效果不佳。长短期记忆(Long Short-Term Memory,LSTM)神经网络通过增加了一个细胞态保存长期的状态来解决RNN只能记忆短期状态的问题。这里通过使用LSTM来获取图像中各种长度文本行的序列特征。由于图像中的文本行方向不定，所以，分别使用水平方向与垂直方向的LSTM来获取图像中的序列特征。这里两个方向的LSTM的结构可以相同，隐藏层尺寸例如都可设置为32。

在步骤S410中，将32个通道的空间特征图的128个数据长度为128的列从左至右首尾连接成32个垂直特征序列。

在步骤S412中，将32个垂直特征序列分别输入第二长短期记忆神经网络，通过长短期记忆神经网络提取垂直序列特征获得32张垂直序列特征图，各个垂直序列特征图的数据结构为128*128(宽*高)。

在步骤S414中，将32个通道的水平序列特征图和垂直序列特征图分别进行叠加处理获得32张合并序列特征图。

在步骤S416中，将32张合并序列特征图通过数据结构为32*1的分割卷积核进行降维处理获得数据结构为128*128*1的分割特征图。

在步骤S418中，将32张合并序列特征图通过数据结构为32*5的位置卷积核进行降维处理获得数据结构为128*128*5的位置特征图。位置特征图中的5则代表了图中特征点的位置信息，包括距图像四周的四个距离以及角度信息。

在步骤S420中，将分割特征图通过分割函数处理筛选出特征值不小于预设阈值的候选特征点。在一些实施例中，例如，可将特征值不小于预设阈值的像素点的分割结果值记为1，将特征值小于预设阈值的像素点的分割结果值记为0，则分割结果值为1的像素点为候选特征点。

在步骤S422中，在位置特征图中由候选特征点获得候选文本框。

在步骤S424中，基于非最大抑制算法从对候选文本框进行合并以获得文本行检测结果。基于非最大抑制算法合并那些隶属于同一个文本行的候选框，从候选文本框中获得文本行检测结果。

本公开实施例提供的图像文本行检测方法，融合了骨架为VGG-16的全卷积网络与水平和垂直LSTM网络以检测图像中的方向不确定的文本行，扩大了整个网络的感受野，进而使得在长文本行检测中有较好的效果，同时检测得到的文本行的边界也更加精准、稳定。

图5是根据一示例性实施例示出的一种图像文本行检测装置的框图。如图5所示的装置例如可以应用于上述系统中。

参考图5，本公开实施例提供的装置50可以包括图像获取模块502、全卷积网络模块504、第一循环神经网络模块506、第二循环神经网络模块508、序列特征合并模块510和后处理模块512。

图像获取模块502可用于获取待检测图像，待检测图像包括文本行。

全卷积网络模块504可用于提取待检测图像的空间特征获得空间特征图。

第一循环神经网络模块506可用于根据空间特征图提取待检测图像的水平序列特征获得水平序列特征图。

第二循环神经网络模块508可用于根据空间特征图提取待检测图像的垂直序列特征获得垂直序列特征图。

序列特征合并模块510可用于将水平序列特征图和垂直序列特征图进行合并处理获得合并序列特征图。

后处理模块512可用于将合并序列特征图通过卷积核后进行特征筛选以获得文本行。

根据本公开实施例提供的图像文本行检测方法，通过全卷积网络模块提取获取的包括文本行的待检测图像的空间特征获得空间特征图，第一循环神经网络模块根据空间特征图通过第一循环神经网络提取待检测图像的水平序列特征获得水平序列特征图，第二循环神经网络模块根据空间特征图通过第二循环神经网络提取待检测图像的垂直序列特征获得垂直序列特征图，然后序列特征合并模块将水平序列特征图和垂直序列特征图进行合并处理获得合并序列特征图，后处理模块将合并序列特征图通过卷积核后进行特征筛选以获得文本行，扩大了整个网络的感受野，进而使得在长文本行检测中有较好的效果，检测得到的文本行的边界也更加精准、稳定，从而可实现一定程度上提高深度学习网络进行图像文本行检测的效果。

图6是根据一示例性实施例示出的一种图像文本行检测装置的框图。如图6所示的装置例如可以应用于上述系统中。

参考图6，本公开实施例提供的装置60可以包括图像获取模块602、全卷积网络模块604、第一循环神经网络模块606、第二循环神经网络模块608、序列特征合并模块610和后处理模块612，其中后处理模块612包括卷积核模块6121、特征筛选模块6122和文本定位模块6123。

图像获取模块602可用于获取待检测图像，待检测图像包括文本行。

全卷积网络模块604可用于提取待检测图像的空间特征获得空间特征图。

第一循环神经网络模块606可用于根据空间特征图提取待检测图像的水平序列特征获得水平序列特征图。

第一循环神经网络模块606还可用于将空间特征图沿水平方向分成多个序列，将多个序列依次连接成水平特征序列；输入水平特征序列，提取水平序列特征获得水平序列特征图，水平序列特征图与空间特征图的数据结构相同。

第二循环神经网络模块608可用于根据空间特征图提取待检测图像的垂直序列特征获得垂直序列特征图。

第二循环神经网络模块608还可用于将空间特征图沿垂直方向分成多个序列，将多个序列依次连接成垂直特征序列；输入垂直特征序列，提取垂直序列特征获得垂直序列特征图，垂直序列特征图与空间特征图的数据结构相同。

序列特征合并模块610可用于将水平序列特征图和垂直序列特征图进行合并处理获得合并序列特征图。

序列特征合并模块610还可用于将水平序列特征图和垂直序列特征图进行叠加处理获得合并序列特征图。

后处理模块612可用于将合并序列特征图通过卷积核后进行特征筛选以获得文本行。

卷积核模块6121可用于将合并序列特征图通过分割卷积核进行降维处理获得分割特征图；将合并序列特征图通过位置卷积核进行降维处理获得位置特征图。

后处理模块612还可用于根据分割特征图和位置特征图进行特征筛选以获得文本行。

特征筛选模块6122可用于将分割特征图通过分割函数处理筛选出候选特征点。

文本定位模块6123可用于根据候选特征点和位置特征图获得候选文本框。

后处理模块612还可用于基于非最大抑制算法从候选文本框中获得文本行。

图7是根据一示例性实施例示出的一种用于图像文本行检测的深度学习网络结构图。如图7所示的网络例如可以应用于上述系统中。

如图7所示，待检测图像首先输入全卷积网络702进行特征提取，全卷积网络702输出的特征图分别输入第一循环神经网络704和第二循环神经网络706，从水平方向和垂直方向提取待检测图像的序列特征，然后将输出的水平序列特征和垂直序列特征进行叠加，再将叠加后的序列特征通过CNN 708的卷积核进行降维处理后经过分割图710过滤不属于文本行的像素点以及经过定位图712获得位置特征图，然后由定位图712获得文本行的像素点的文本框。

图8示出本公开实施例中一种电子设备的结构示意图。需要说明的是，图8示出的设备仅以计算机系统为示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图8所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储部分808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有设备800操作所需的各种程序和数据。CPU801、ROM 802以及RAM 803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。

以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本公开的系统中限定的上述功能。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括数据获取模块、数据预处理模块、循环网络模块、卷积网络模块、数据整合模块和状态分类模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，数据获取模块还可以被描述为“向所连接的服务器端获取初始数据的模块”。

作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：获取待检测图像，待检测图像包括文本行；通过全卷积网络提取待检测图像的空间特征获得空间特征图；根据空间特征图通过第一循环神经网络提取待检测图像的水平序列特征获得水平序列特征图；根据空间特征图通过第二循环神经网络提取待检测图像的垂直序列特征获得垂直序列特征图；将水平序列特征图和垂直序列特征图进行合并处理获得合并序列特征图；将合并序列特征图通过卷积核后进行特征筛选以获得文本行。

以上具体地示出和描述了本公开的示例性实施例。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (8)

1.一种图像文本行检测方法，其特征在于，包括：

获取待检测图像，所述待检测图像包括文本行；

通过全卷积网络提取所述待检测图像的空间特征获得空间特征图；

根据所述空间特征图通过第一循环神经网络提取所述待检测图像的水平序列特征获得水平序列特征图，以获取所述待检测图像中水平方向的文本行的序列特征；

根据所述空间特征图通过第二循环神经网络提取所述待检测图像的垂直序列特征获得垂直序列特征图，以获取所述待检测图像中垂直方向的文本行的序列特征；

将所述水平序列特征图和所述垂直序列特征图进行合并处理获得合并序列特征图；

将所述合并序列特征图通过卷积核后进行特征筛选以获得所述文本行；

所述将所述合并序列特征图通过卷积核后进行特征筛选以获得所述文本行，包括：

将所述合并序列特征图通过分割卷积核进行降维处理获得分割特征图；

将所述合并序列特征图通过位置卷积核进行降维处理获得位置特征图，所述位置特征图具有位置信息；

将所述分割特征图通过分割函数处理筛选出候选特征点，以过滤掉所述待检测图像中不属于文本行的像素点；

根据所述候选特征点和所述位置特征图获得候选文本框；

基于非最大抑制算法从所述候选文本框中获得所述文本行。

2.根据权利要求1所述的方法，其特征在于，所述根据所述空间特征图通过第一循环神经网络提取所述待检测图像的水平序列特征获得水平序列特征图，包括：

将所述空间特征图沿水平方向分成多个水平序列，将所述多个水平序列依次连接成水平特征序列；

将所述水平特征序列输入所述第一循环神经网络，通过所述第一循环神经网络提取所述水平序列特征获得所述水平序列特征图。

3.根据权利要求2所述的方法，其特征在于，所述根据所述空间特征图通过第二循环神经网络提取所述待检测图像的垂直序列特征获得垂直序列特征图，包括：

将所述空间特征图沿垂直方向分成多个垂直序列，将所述多个垂直序列依次连接成垂直特征序列；

将所述垂直特征序列输入所述第二循环神经网络，通过所述第二循环神经网络提取所述垂直序列特征获得所述垂直序列特征图。

4.根据权利要求1所述的方法，其特征在于，所述水平序列特征图与所述空间特征图的数据结构相同，所述垂直序列特征图与所述空间特征图的数据结构相同；

所述将所述水平序列特征图和所述垂直序列特征图进行合并处理获得合并序列特征图，包括：

将所述水平序列特征图和所述垂直序列特征图进行叠加处理获得所述合并序列特征图。

5.根据权利要求1至4中任意一项所述的方法，其特征在于，所述第一循环神经网络为长短期记忆神经网络；所述第二循环神经网络为长短期记忆神经网络。

6.一种图像文本行检测装置，其特征在于，包括：

图像获取模块，用于获取待检测图像，所述待检测图像包括文本行；

全卷积网络模块，用于提取所述待检测图像的空间特征获得空间特征图；

第一循环神经网络模块，用于根据所述空间特征图提取所述待检测图像的水平序列特征获得水平序列特征图，以获取所述待检测图像中水平方向的文本行的序列特征；

第二循环神经网络模块，用于根据所述空间特征图提取所述待检测图像的垂直序列特征获得垂直序列特征图，以获取所述待检测图像中垂直方向的文本行的序列特征；

序列特征合并模块，用于将所述水平序列特征图和所述垂直序列特征图进行合并处理获得合并序列特征图；

后处理模块，用于将所述合并序列特征图通过卷积核后进行特征筛选以获得所述文本行；

所述后处理模块包括：

卷积核模块，用于将所述合并序列特征图通过分割卷积核进行降维处理获得分割特征图；将所述合并序列特征图通过位置卷积核进行降维处理获得位置特征图，所述位置特征图具有位置信息；

特征筛选模块，用于将所述分割特征图通过分割函数处理筛选出候选特征点，以过滤掉所述待检测图像中不属于文本行的像素点；以及

文本定位模块，用于根据所述候选特征点和所述位置特征图获得候选文本框；

所述后处理模块，用于基于非最大抑制算法从所述候选文本框中获得所述文本行。

7.一种设备，包括：存储器、处理器及存储在所述存储器中并可在所述处理器中运行的可执行指令，其特征在于，所述处理器执行所述可执行指令时实现如权利要求1-5任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-5任一项所述的方法。