CN110738219A - 图像中线条提取方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种图像中线条提取方法和装置、存储介质及电子装置。其中，该方法包括：获取待识别的目标图片，其中，待识别的目标图片中包括线条；将目标图片输入到目标图片分割模型中，得到目标图片的目标像素级线条图；根据目标像素级线条图中的像素点确定多条线段的位置；根据多条线段的位置，将多条线段中位于同一条直线的线段合并，得到目标图片上的线条。本发明解决了相关技术中获取图片中线条的具体信息时灵活性差的技术问题。

Description

图像中线条提取方法和装置、存储介质及电子装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种图像中线条提取方法和装置、存储介质及电子装置。

背景技术

相关技术中，通常需要获取图片中的线条的具体信息。而目前的手段在获取图片中线条的具体信息时，由于图片中线条的样式可能多种多样，采用目前的手段无法对各种样式的线条进行识别，造成获取图片中线条的具体信息时，灵活性差。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像中线条提取方法和装置、存储介质及电子装置，以至少解决相关技术中获取图片中线条的具体信息时灵活性差的技术问题。

根据本发明实施例的一个方面，提供了一种图像中线条提取方法，包括：获取待识别的目标图片，其中，上述待识别的目标图片中包括线条；将上述目标图片输入到目标图片分割模型中，得到上述目标图片的目标像素级线条图，其中，在上述目标像素级线条图中包括上述目标图片上的线条的像素点，上述目标图片分割模型为使用样本图片及上述样本图片对应的样本像素级线条图对原始图片分割模型进行训练后所得到的用于识别图像上的线条的模型；根据上述目标像素级线条图中的上述像素点确定多条线段的位置；根据上述多条线段的位置，将上述多条线段中位于同一条直线的线段合并，得到上述图像上的线条。

作为一种可选的实施方式，在将合并得到的上述图像上的线条与使用文字识别技术识别得到的上述文字数据进行组合，得到携带有文字数据的表格之后，上述方法还包括：将上述携带有文字数据的表格存储到区块链中。

根据本发明实施例的另一方面，还提供了一种图像中线条提取装置，包括：第一获取单元，用于获取待识别的目标图片，其中，上述待识别的目标图片中包括线条；输入单元，用于将上述目标图片输入到目标图片分割模型中，得到上述目标图片的目标像素级线条图，其中，在上述目标像素级线条图中包括上述目标图片上的线条的像素点，上述目标图片分割模型为使用样本图片及上述样本图片对应的样本像素级线条图对原始图片分割模型进行训练后所得到的用于识别图像上的线条的模型；确定单元，用于根据上述目标像素级线条图中的上述像素点确定多条线段的位置；合并单元，用于根据上述多条线段的位置，将上述多条线段中位于同一条直线的线段合并，得到上述图像上的线条。

作为一种可选的示例，上述目标图片包括表格与文字数据，上述线条为上述表格，上述装置还包括：识别单元，用于在根据上述多条线段的位置，将上述多条线段中位于同一条直线的线段合并，得到上述图像上的线条之后，通过文字识别技术识别上述图像中的上述文字数据；组合单元，用于将合并得到的上述图像上的线条与使用文字识别技术识别得到的上述文字数据进行组合，得到上述携带有文字数据的表格。

作为一种可选的示例，上述装置还包括：存储单元，用于将合并得到的上述图像上的线条与使用文字识别技术识别得到的上述文字数据进行组合，得到携带有文字数据的表格之后，将上述携带有文字数据的表格存储到区块链中。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像中线条提取方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的图像中线条提取方法。

在本发明实施例中，采用获取待识别的目标图片，其中，上述待识别的目标图片中包括线条；将上述目标图片输入到目标图片分割模型中，得到上述目标图片的目标像素级线条图；根据上述目标像素级线条图中的上述像素点确定多条线段的位置；根据上述多条线段的位置，将上述多条线段中位于同一条直线的线段合并，得到上述图片上的线条的方法。由于在上述方法中，在获取到目标图片后，是将目标图片输入到预先训练的目标图片分割模型中，由目标图片分割模型识别得到目标像素级线条图，而目标像素级线条图中包括了目标图片中线条的像素点。因此，采用上述方法无论图片中的线条是什么样式，均可以准确的识别得到图片中线条的像素点。进一步在根据相似点确定多条线段的位置，以及根据多条线段的位置得到图片中的线条，从而从目标图片中提取出线条的信息，实现了在获取图片中线条的信息时的灵活性的效果，进而解决了相关技术中获取图片中线条的具体信息时灵活性差的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图像中线条提取方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的图像中线条提取方法的流程示意图；

图3是根据本发明实施例的一种可选的图像中线条提取方法的示意图；

图4是根据本发明实施例的另一种可选的图像中线条提取方法的示意图；

图5是根据本发明实施例的又一种可选的图像中线条提取方法的示意图；

图6是根据本发明实施例的又一种可选的图像中线条提取方法的示意图；

图7是根据本发明实施例的又一种可选的图像中线条提取方法的示意图；

图8是根据本发明实施例的又一种可选的图像中线条提取方法的示意图；

图9是根据本发明实施例的又一种可选的图像中线条提取方法的示意图；

图10是根据本发明实施例的又一种可选的图像中线条提取方法的示意图；

图11是根据本发明实施例的一种可选的图像中线条提取装置的结构示意图；

图12是根据本发明实施例的一种可选的电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种图像中线条提取方法，可选地，作为一种可选的实施方式，上述图像中线条提取方法可以但不限于应用于如图1所示的环境中。

图1中用户102与用户设备104之间可以进行人机交互。用户设备104 中包含有存储器106，用于存储交互数据、处理器108，用于处理交互数据。用户设备104可以通过网络110与服务器112之间进行数据交互。服务器112中包含有数据库114，用于存储交互数据、处理引擎116，用于处理交互数据。本方案中服务器112可以但不限于接收用户设备104上传的目标图片，然后将目标图片输入到目标图片分割模型中，得到目标图片的目标像素级线条图，进一步在根据目标像素级线条图中的像素点确定多条线段的位置；根据多条线段的位置，将多条线段中位于同一条直线的线段合并，得到图片上的线条后，将图片上的线条返回给用户设备104。

或者，本方案还可以应用在上述用户设备104中。用户设备104获取到目标图片，然后将目标图片输入到目标图片分割模型中，得到目标图片的目标像素级线条图，进一步在根据目标像素级线条图中的像素点确定多条线段的位置；根据多条线段的位置，将多条线段中位于同一条直线的线段合并，得到图片上的线条，并显示图片上的线条。

需要说明的是，相关技术中，在获取图片中的线条的过程中，由于图片中线条可能多种多样，从而造成获取图片中线条的具体信息时，灵活性差。在本发明实施例中，采用获取待识别的目标图片，其中，待识别的目标图片中包括线条；将目标图片输入到目标图片分割模型中，得到目标图片的目标像素级线条图；根据目标像素级线条图中的像素点确定多条线段的位置；根据多条线段的位置，将多条线段中位于同一条直线的线段合并，得到图片上的线条的方法。由于在上述方法中，在获取到目标图片后，是将目标图片输入到预先训练的目标图片分割模型中，由目标图片分割模型识别得到目标像素级线条图，而目标像素级线条图中包括了目标图片中线条的像素点。因此，采用上述方法无论图片中的线条是什么样式，均可以准确的识别得到线条的像素点。进一步在根据像素点确定多条线段的位置，以及根据多条线段的位置得到图片中的线条，从而从目标图片中提取出线条的信息，实现了在获取图片中线条的信息时的灵活性的效果。

可选地，上述用户设备104可以但不限于为手机、平板电脑、笔记本电脑、PC机等终端，上述网络110可以包括但不限于无线网络或有线网络。其中，该无线网络包括：WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器112可以包括但不限于任何可以进行计算的硬件设备。

可选地，作为一种可选的实施方式，如图2所示，上述图像中线条提取方法包括：

S202，获取待识别的目标图片，其中，所述待识别的目标图片中包括线条；

可选地，本方案中获取的图像上的线条可以但不限于为获取图像上的线条在一个平面直角坐标系下的位置或坐标。例如，在将目标图片输入到目标图片分割模型中，得到目标像素级线条图之后，目标像素级线条图中包括的是多个像素点，多个像素点组合为目标图片中的线条。此时，需要将多个像素点转换为平面直角坐标系下的多条线段，并获取线段的坐标或位置信息。在根据多个线段的坐标或位置信息对多个线段进行拼接，得到的线条与目标图片中的线条是匹配的。得到的线条同时附带有在一个平面直角坐标系下的位置或坐标。从而，获取到了图片中的线条的线条信息。

S204，将所述目标图片输入到目标图片分割模型中，得到所述目标图片的目标像素级线条图，其中，在所述目标像素级线条图中包括所述目标图片上的线条的像素点，所述目标图片分割模型为使用样本图片及所述样本图片对应的样本像素级线条图对原始图片分割模型进行训练后所得到的用于识别图像上的线条的模型；

可选地，本方案中的目标图片分割模型需要经过预先训练。训练时，首先获取样本图片及样本图片对应的样本像素级线条图。样本图片对应的样本像素级线条图可以经过人工标注获取。每一张样本图片对应一张样本像素级线条图，一张样本图片与一张样本像素级线条图构成一组样本，获取多组样本输入到原始图片分割模型中，对原始图片分割模型进行训练。若是原始图片分割模型在输入一张当前样本图片后，输出的第一像素级线条图与该当前样本图片对应的当前像素级线条图的匹配度大于第二阈值，则认为本次模型输出的第一像素级线条图是符合预定条件的。若是原始图片分割模型输出的符合预定条件的第一像素级线条图的次数与原始图片分割模型输出第一像素级线条图的总次数的比值大于了第一阈值，则说明模型的识别准确度超过了第一阈值。如第一阈值为99.9％，则模型识别准确度超过了99.9％。此时，可以将当前的原始图片分割模型确定为目标图片分割模型，并将目标图片分割模型投入使用。

S206，根据目标像素级线条图中的像素点确定多条线段的位置；

可选地，本方案中在获取目标图片并输入到目标图片分割模型中之后，在由目标图片分割模型输出目标图片的目标像素级线条图之后，可以对目标像素级线条图执行霍夫变换。霍夫变换的目的在于将目标像素级线条图转换为同一平面直角坐标系下的多条线段。平面直角坐标系可以以目标图片的右上角为原点，以目标图片的长为横坐标，以目标图片的宽为纵坐标。

霍夫变换的过程主要分为两步：

1、初始化相关矩阵

角度列表theta＝[0,1,2,…,178,179]，这里的角度是指原点到目标直线的垂线与x坐标轴的角度。

距离列表rho＝[-diag_len+1,…,diag_len-1,diag_len]，这里的距离是指原点到目标直线的垂线距离。其中的diag_len表示对角线的长度。

投票矩阵votes，值全为0，其行元素个数为rho列表的元素个数，列元素个数为theta列表的元素个数。

2、对于线条图中的每个非零像素点，遍历角度列表中的每个角度值，并计算出该像素点在该角度值下所对应的垂线距离值，角度值和距离值组成数据对(rho,theta)，此数据对对应着投票矩阵中的(rho+diag_len,theta)位置，那么投票矩阵中该位置的值累计加1。

投票矩阵中，某个位置的值越大则表示该位置对应的(rho,theta)值表示一条置信度很高的直线。挑选出那些值大于预设阈值的矩阵位置，即可获得这些位置上的(rho,theta)，从而计算出图像中直线的相关信息。

可选地，本方案中在执行霍夫变换之前，需要将目标像素级线条图中的线条的宽度进行缩减。例如，若是目标像素级线条图中的线条的宽度为大于1的宽度，则需要对目标像素级线条图执行多次的腐蚀与膨胀操作，从而降低目标像素级线条图中线条的宽度，直到宽度为一个像素点的宽度。

腐蚀与膨胀操作的目的是将线条宽度为多个像素宽度的线条调整为线条宽度为一个像素宽度的线条。过程为：

1、对目标像素级线条图中的每个像素，判断其像素值是否大于127.5，如果大于则将像素点的像素值置于255，否则将该点的像素值置于0。

2、通过OpenCV库获取一个结构单元为十字形的结构元素，用于后续的腐蚀与膨胀操作。

3、初始化目标像素级线条图的骨架信息(skeleton)为一个全零矩阵。

4、重复执行以下操作，直至目标像素级线条图被腐蚀为像素值全为 0的图像：

对目标像素级线条图(image)进行腐蚀，得到腐蚀后的图像(eroded)，对eroded图像进行膨胀，得到dilated图像，计算dilated图像和原目标像素级线条图image的差值，差值图像与上述提到的skeleton图像做或运算，这一步骤可以看作是不断地添加原目标像素级线条图的骨架信息，将eroded图像作为新的新目标像素级线条图，重复步骤4。

5、当目标像素级线条图的像素值全部腐蚀为0时，skeleton图像即为原始目标像素级线条图的骨架信息表示，图像中每一条线段的像素宽度都为1。

S208，根据所述多条线段的位置，将所述多条线段中位于同一条直线的线段合并，得到所述目标图片上的线条。

可选地，本方案中在使用霍夫变换的方法将目标像素级线条图中的像素点转换为多条线段之后，多条线段所组成的图案的形状与目标图片中的线条的相似度很高。且多条线段在平面直角坐标系中对应有坐标。将多条线段中属于同一条直线的线段进行合并，合并结果的形状与目标图片中的线条形状几乎吻合，且合并结果包括了每一条线段的坐标。因此，采用上述方法则获取到了目标图片中每一条线段的坐标。

可选地，在合并的过程中，依次从多条线段中获取任意两条线段，任意两条线段包括：第一线段和第二线段，执行以下步骤：获取第一线段和第二线段的中心点的坐标差值；在坐标差值小于第三阈值的情况下，对第一线段和第二线段合并，得到合并后的线段。此时，是对多条线段进行初步的合并。此过程可以将一些琐碎的线段初步合并为较长的线段。

可选地，本方案中在对第一线段与第二线段进行合并的过程中，需要对第一线段与第二线段进行判断。可选地，本方案中的横线即线段与平面直角坐标系的横坐标轴夹角小于45度的线段，竖线为线段与平面直角坐标系的横坐标轴夹角大于45度的线段。若是第一线段与第二线段同为横线，则在合并过程中，判断第一线段与第二线段的中心点的纵坐标的差值与第三阈值的关系。若是两者皆为竖线，则判断两者中心点的横坐标的差值与第三阈值的关系。

进一步依次获取任意两条合并后的线段，任意两条合并后的线段包括：第一目标线段和第二目标线段，执行以下步骤；在第一目标线段的中心点到第二目标线段所在直线的距离小于第四阈值的情况下，将第一目标线段和第二目标线段合并，得到目标图片上的线条。在经过本次合并后，属于同一条直线的线段均完成了合并。合并的结果等同于目标图片上的线条。或者，作为另一种示例，在第二步合并过程中，在第一目标线段的中心点到第二目标线段所在直线的距离小于第四阈值的情况下，将第一目标线段和第二目标线段合并时，还可以判断第一目标线段的中心点到第二目标线段所在直线的距离小于第四阈值且第二目标线段的中心点到第一目标线段所在直线的距离小于第四阈值，在此情况下，才对第一目标线段和第二目标线段合并。该方法进一步保证了合并的准确性。

可选地，本方案中在对多条线段进行合并得到图像上的线条之后，还可以对图像上的线条与数据识别结果进行合并，得到目标图片中携带有数据的表格。

也就是说，当目标图片上的线条为表格时，获取上述表格的信息，将上述表格的信息与目标图片中文字的信息进行合并，得到目标图片中携带有文字数据的表格。

可选地，识别得到携带有数据的表格后，可以将携带有数据的表格存储到区块链中，从而保证携带有数据的表格的表格信息与数据信息均无法被修改。

上述区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。

可选地，上述图像中线条提取方法可以但不限于应用于医学领域、统计领域、核算领域等任何需要对图片中的线条信息进行识别与信息获取的领域。例如，将上述方法应用到对图片中发票的线条进行识别与信息获取的过程中。

若要识别并获取图片中发票中的线条，首先需要获取图片，图片中包括有发票的线条。获取到图片后，将上述图片输入到目标图片分割模型中，由目标图片分割模型对图片进行识别，输出图片的目标像素级线条图。在输出图片的目标像素级线条图后，目标像素级线条图中包括了发票的线条的像素点。使用上述像素点确定多条线段的位置，然后使用上述位置将多条线段中位于同一条直线的线段合并，得到发票中线条和位置信息。

通过本实施例，通过上述方法，从而无论图片中的线条是什么样式，均可以准确的识别得到线条的像素点。进一步在根据相似点确定多条线段的位置，以及根据多条线段的位置得到线条，从而从目标图片中提取出线条的信息，实现了在获取图片中线条的信息时的灵活性的效果。

以下结合一个具体示例与相关的附图对上述图像中线条提取方法进行说明。

例如，目标图片为一张包含有医务治疗与药物等数据与线条的图片，线条可以为表格。例如如图3所示的图片(医务治疗与药物等仅为示例，本方案对表格的内容并不限定)。图3中包括了表格的线条与相关的数据内容。在获取到如图3所示的目标图片后，首先将上述目标图片输入到目标图片分割模型中，由目标图片分割模型对目标图片进行识别，得到识别结果。

本方案中的目标图片分割模型可以基于U-Net的网络设计准则进行设计，U-Net这一类网络主要应用于图像分割任务，通过全卷积网络(Fully Convolutional Network，FCN)完成从图像到图像的像素级分类预测。可选地，如图4所示，图4为一种可选的目标图片分割模型的结构。其中 Conv表示卷积层，Deconv表示反卷积层，其后的两个参数分别表示卷积核大小和输出通道数目。

本设计中网络结构采用3x3的小卷积核，通过叠加多个卷积核来达到和5x5、7x7大卷积核相同的感受野，并增加了非线性层的个数，可以更好地对特征进行表达。同时，也可以采用膨胀卷积来增大感受野，可以得到更精细化的分割结果。

本设计中在输入目标图片后，将5个卷积层的输出取出，利用反卷积层(Deconvolution Layer)对每个输出特征图进行上采样使得它们的尺寸保持一致。将这5个尺寸一致的特征图进行拼接(跳层连接)后再通过一个卷积层进行信息融合处理即可得到最终的直线分割结果，这是多尺度融合的思想，融合多尺度特征有利于提供更丰富的信息。图像可拆分。

训练上述网络结构时，本设计同时考虑5个特征图(Output1，Output2， Output3，Output4，Output5)和融合后特征图(即直线分割结果)对应的像素级2分类交叉熵损失，即最小化6个损失函数。若仅仅最小化融合后特征图对应的2分类损失函数会存在精度损失，会导致边缘不连续或丢失很多重要边缘的问题。实际上每一组卷积网络层都应该充当一个单一的网络，负责在一定的尺度范围内产生一个边缘映射，所以说，考虑每一组网络层的输出是很有必要的。

通过上述目标网络模型对目标图片进行识别，即可得到目标像素级线条图。可选地，本方案中的目标像素级线条图可以为将目标图片中的除表格线条之外的数据均设置为缺省，或者将表格线条像素值设置为零，其余位置的像素值均设置为非零，或者将表格线条像素值设置为非零，如255，其余位置的像素值均设置为零。例如，将图3所示的图片输入到目标图片分割模型中，可以得到如图5所示的目标像素级线条图，目标像素级线条图中仅包括有线条，其他位置的图案不可见。

在获取到目标像素级线条图后，目标像素级线条图仅仅在像素级别上提供信息，而我们需要矢量化后的直线信息，以便在后续步骤利用直线的坐标信息。矢量化包含两个重要的步骤：

(1)提取目标像素级线条图的骨架信息：上述步骤输出的直线的目标像素级线条图中像素的宽度基本不为1，这会在后续霍夫变换过程中对竖线检测造成较大影响。如果分割结果中竖线的像素宽度较宽，则霍夫变换过程会将其识别为一系列的短横线。另一方面，不同图像中直线的像素宽度是不均匀的，将直线细化到单像素宽度有利于消除不同粗细的直线对霍夫变换结果的影响。所以，对目标像素级线条图提取骨架信息，以得到单像素宽度的直线是很有必要的。

例如，如图6所示，图6中左侧的图可以为目标图片分割模型识别出的目标像素级线条图中的线条，线条的宽度比较宽。此时，通过多次的腐蚀和膨胀操作，可提取到图6右侧所示的骨架信息，骨架信息的宽度为1 个像素宽度。

(2)对骨架图像(骨架信息)实施霍夫变换技术，将基于像素级的直线分割结果转化为矢量化直线，可以得到图像中每一条直线的坐标信息，以便后续流程利用直线信息。

霍夫变换技术运用直角坐标系和极坐标系两个坐标空间之间的变换关系，来检测图像中的直线。如图7中左图所示的在直角坐标系中的一条直线(y＝kx+b)，可在图7中右图的极坐标系中找到对应的点(r，θ)，极坐标系中相交于点(r，θ)的曲线越多，表明此点表示的直线由更多的点组成，即在直角坐标系中检测到了一条直线。r为原点到直线(y＝kx+b)的最短距离，θ为原点到直线(y＝kx+b)所成的线与横坐标轴的角度，例如如图8所示，图8可以为对图6右侧的图执行霍夫变换后的矢量化直线结果。矢量化直线结果检测出的大多为短线段。如图8中的一段一段的线段。需要说明的是，图8中的结果仅为示例，并不构成对方案的限定。本方案中霍夫变换后得到的是多条短线段，多条短线段所组合成的图形结构与目标图片中的表格线条结构相同。

需要说明的是，在执行霍夫变换前的目标像素级线条图仅仅能够从图片上显示出线条信息，但是无法对线条信息进行应用。而霍夫变换后的多条线段可以投入使用。且霍夫变换后的多条线段可以视为目标图片中的线条。

上述线段矢量化的过程检测出来的直线大多是断续的直线，我们需要通过基于知识的方法将它们拼接为合理的连续的直线。同时，为了解决形变图像中直线通常会出现扭曲的问题，我们提出用多段折线来拟合直线的方式，可使得最终的直线提取结果更贴合原本图像中的直线，为后续得到字符的行号/列号结果提供更准确的信息。

线段聚类的基本算法如下所示：

Algorithm for clustering lines

Input:碎片化线段列表lines，计算两条直线距离的函数Dis，线段合并函数Merge

Output:聚类后线段列表clustered_lines

Initialization:i＝0,clustered_lines＝[],flag＝[False]*len(lines)//初始化线段索引i＝0，聚类后线段列表clustered_lines＝[]，标志列表flag，用以标志每条线段是否被遍历过，其长度和输入线段列表的长度一致，值全为

上述伪代码过程为遍历每一条线段，对于当前遍历到的线段(cur_line＝lines[i])，判断其能否与之后遍历到的线段(after_line＝lines[j])进行拼接。如果这两条线段满足拼接要求，则将它们拼接在一起。拼接要求为：

(1).cur_line和after_line的纵坐标之差小于预设坐标阈值；

(2).cur_line和after_line之间的距离小于预设距离阈值。

如果不满足拼接要求，则将当前线段cur_line加入到聚类后直线列表中。上述i与j为整数，j>i。

对于两条线段，如果它们满足一定的关系，则将它们进行合并。具体可以为，若两条线段为横线，则比对两条线段的中心点的纵坐标差值是否小于第三阈值(y_thresh)；若两条线段为竖线，则比对两条线段的中心点的横坐标差值是否小于第三阈值。若符合该条件，对两条线段进行合并，得到合并后的线段。然后，比对两条合并后的线段中，一条线段的中心点到另一条线段所在直线的距离与另一条线段中心点到该条线段所在直线的距离是否均小于距离阈值(dis_thresh)。若是符合条件，则对合并后的线段进行再次合并，得到最终的结果。最终的结果可以为通过多条折线拟合一条直线。例如如图9所示，对于图9上侧的一条曲线，经过霍夫变换与合并后，得到了如图9下侧的多条折线，多条折线拟合为一条曲线。此处使用多条折线拟合为一条曲线从而可以使结果更为准确。例如，对于一条曲线，若是使用该曲线首位两个点所成的直线代表该曲线，则准确度是很低的。而使用多条折线代表该曲线，则能够较为准确的模拟出该曲线的轨迹，从而得到更准确的曲线数据。

可选地，得到多条折线后，从而得到了图像上的线条与线条的位置、坐标等信息。作为一种可行的方式，可以将上述线条与线条的位置、坐标等信息与通过文字识别技术对图像中的数据进行识别得到的信息进行合并，得到合并结果，从而可以确定出识别出的数据的行号与列号，以便后续进行信息结构化。例如，图像上的线条为表格时，如图10所示，将识别得到的表格信息与文字信息进行结合，得到合并后的表格。合并后的表格中可以展示每一行数据所在的行号。表格每一行直线左侧均对应一个数字，表示该直线的行序号。

通过本实施例，通过在获取到目标图片后，将目标图片输入到预先训练的目标图片分割模型中，由目标图片分割模型识别得到目标像素级线条图，而目标像素级线条图中包括了目标图片中线条的像素点。因此，采用上述方法无论图片中的线条是什么样式，均可以准确的识别得到线条的像素点。进一步在根据相似点确定多条线段的位置，以及根据多条线段的位置得到图像中的线条，从而从目标图片中提取出线条的信息，实现了在获取图片中线条的信息时的灵活性的效果。

作为一种可选的实施方案，在将目标图片输入到目标图片分割模型中之前，方法还包括：

S1，获取样本图片及样本图片对应的样本像素级线条图；

S2，将样本图片及样本图片对应的样本像素级线条图输入到原始图片分割模型中，对原始图片分割模型进行训练，其中，在得到当前的原始图片分割模型输出的训练结果后，确定原始图片分割模型已输出的第一像素级线条图符合预定条件的目标次数，以及已输出的第一像素级线条图的总次数，在目标次数与总次数的比值大于第一阈值的情况下，将当前的原始图片分割模型确定为目标图片分割模型，其中，预定条件用于指示将第i 个样本图片输入原始图片分割模型后得到的第i个第一像素级线条图，与第i个样本像素级线条图的匹配度大于第二阈值。

可选地，本方案中的的目标图片分割模型用于在接收到目标图片之后，对目标图片中的像素点进行识别，将位于线条上的像素点识别为一个类型，将不属于线条上的像素点识别为另一个类型，从而完成线条与其他内容的分割。

通过本实施例，通过在使用目标图片分割模型之前，使用样本图片对原始图片分割模型进行训练，已得到成熟的目标图片分割模型，从而在实现了获取图片中线条的信息的灵活性的同时，还提高了目标图片分割模型的识别准确度。

作为一种可选的实施方案，根据多条线段的位置，将多条线段中位于同一条直线的线段合并，得到图像上的线条包括：

S1，依次从多条线段中获取任意两条线段，任意两条线段包括：第一线段和第二线段，执行以下步骤：获取第一线段和第二线段的中心点的坐标差值；在坐标差值小于第三阈值的情况下，对第一线段和第二线段合并，得到合并后的线段；

S2，依次获取任意两条合并后的线段，任意两条合并后的线段包括：第一目标线段和第二目标线段，执行以下步骤；在第一目标线段的中心点到第二目标线段所在直线的距离小于第四阈值的情况下，将第一目标线段和第二目标线段合并，得到图像上的线条。

通过本实施例，通过上述两个步骤对多条线段进行合并，从而可以得到用于拟合一条曲线的多条折线，从而在实现了获取图片中线条的信息的灵活性的同时，还提高了获取目标图片中线条的信息的准确性。

作为一种可选的实施方案，获取第一线段和第二线段的中心点的坐标差值包括：

S1，在第一线段和第二线段为横线的情况下，将第一线段与第二线段的中心点的纵坐标的差值确定为坐标差值，其中，横线为与多条线段所在坐标系的横坐标轴夹角小于45度的线段；

S2，在第一线段和第二线段为竖线的情况下，将第一线段与第二线段的中心点的横坐标的差值确定为坐标差值，其中，竖线为与坐标系的纵坐标轴夹角小于45度的线段。

通过上述方法，通过比对同为横线或者同为竖线的两条线段是否符合条件，从而在比对过程中，对于差别较大的两条线段无需进行比对，实现了获取图片中线条的信息的灵活性的同时，还提高了线段的比对效率。

作为一种可选的实施方案，在根据目标图片的目标像素级线条图中的像素点确定多条线段的位置之前，方法还包括：

S1，对所述目标图片的所述目标像素级线条图中所述像素点组成的线条执行腐蚀与膨胀操作，以降低所述线条的宽度。

通过本实施例，通过上述方法，从而可以将目标像素级线条图中较粗的线条转换为宽度为1个像素宽度的线条，从而保证了在进行霍夫变换的过程中，可以识别得到准确的竖线而不是多条短横线，实现了获取图片中线条的信息的灵活性的同时，提高了霍夫变换的准确性。

作为一种可选的实施方案，根据目标像素级线条图中的像素点确定多条线段的位置包括：

S1，对目标像素级线条图执行霍夫变换，得到多条线段的位置。

通过本实施例，通过上述方法，从而可以将无法进行利用的目标图片上的线条转换为可以进行使用的线条的坐标信息，从而可以对线条信息进行结构化操作，实现了获取图片中线条的信息的灵活性的同时，提高了获取图片中线条的信息的效率。

作为一种可选的实施方案，在根据多条线段的位置，将多条线段中位于同一条直线的线段合并，得到图像上的线条之后，还包括：

S1，通过文字识别技术识别所述图像中的所述文字数据；

S2，将合并得到的所述图像上的线条与使用文字识别技术识别得到的所述文字数据进行组合，得到携带有文字数据的表格。

可选地，本方案中线条可以为表格。对图像中线条的识别可以得到线条的信息。同时，可以使用文字识别技术对目标图片中的文字进行识别，并得到文字的识别结果，进而将图像的线条的信息与文字的识别结果进行结合，从而可以得到准确的表格的线条与数据信息。

通过本实施例，通过上述方法，从而实现了获取图片中线条的信息的灵活性的同时，还实现了对线条信息与数据信息的结合。

作为一种可选的实施方案，在将合并得到的所述图像上的线条与使用文字识别技术识别得到的所述文字数据进行组合，得到携带有文字数据的表格之后，所述方法还包括：

S1，将所述携带有文字数据的表格存储到区块链中。

通过本实施例，通过将携带有数据的表格存储到区块链上，从而保证了携带有数据的表格的数据无法被修改或者删除，提高了携带有数据的表格的在使用时的公信度。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述图像中线条提取方法的图像中线条提取装置。如图11所示，该装置包括：

(1)第一获取单元1102，用于获取待识别的目标图片，其中，所述待识别的目标图片中包括线条；

可选地，本方案中获取的图像上的线条可以但不限于为获取图像上的线条在一个平面直角坐标系下的位置或坐标。例如，在将目标图片输入到目标图片分割模型中，得到目标像素级线条图之后，目标像素级线条图中包括的是多个像素点，多个像素点组合为目标图片中的线条。此时，需要将多个像素点转换为平面直角坐标系下的多条线段，并获取线段的坐标或位置信息。在根据多个线段的坐标或位置信息对多个线段进行拼接，得到的线条与目标图片中的线条是匹配的。得到的线条同时附带有在一个平面直角坐标系下的位置或坐标。从而，获取到了图片中的线条的线条信息。

(2)输入单元1104，用于将目标图片输入到目标图片分割模型中，得到目标图片的目标像素级线条图，其中，在目标像素级线条图中包括目标图片上的线条的像素点，目标图片分割模型为使用样本图片及样本图片对应的样本像素级线条图对原始图片分割模型进行训练后所得到的用于识别图像上的线条的模型；

可选地，本方案中的目标图片分割模型需要经过预先训练。训练时，首先获取样本图片及样本图片对应的样本像素级线条图。样本图片对应的样本像素级线条图可以经过人工标注获取。每一张样本图片对应一张样本像素级线条图，一张样本图片与一张样本像素级线条图构成一组样本，获取多组样本输入到原始图片分割模型中，对原始图片分割模型进行训练。若是原始图片分割模型在输入一张当前样本图片后，输出的第一像素级线条图与该当前样本图片对应的当前像素级线条图的匹配度大于第二阈值，则认为本次模型输出的第一像素级线条图是符合预定条件的。若是原始图片分割模型输出的符合预定条件的第一像素级线条图的次数与原始图片分割模型输出第一像素级线条图的总次数的比值大于了第一阈值，则说明模型的识别准确度超过了第一阈值。如第一阈值为99.9％，则模型识别准确度超过了99.9％。此时，可以将当前的原始图片分割模型确定为目标图片分割模型，并将目标图片分割模型投入使用。

(3)确定单元1106，用于根据目标像素级线条图中的像素点确定多条线段的位置；

可选地，本方案中在获取目标图片并输入到目标图片分割模型中之后，在由目标图片分割模型输出目标图片的目标像素级线条图之后，可以对目标像素级线条图执行霍夫变换。霍夫变换的目的在于将目标像素级线条图转换为同一平面直角坐标系下的多条线段。平面直角坐标系可以以目标图片的右上角为原点，以目标图片的长为横坐标，以目标图片的宽为纵坐标。

霍夫变换的过程主要分为两步：

1、初始化相关矩阵

角度列表theta＝[0,1,2,…,178,179]，这里的角度是指原点到目标直线的垂线与x坐标轴的角度。

距离列表rho＝[-diag_len+1,…,diag_len-1,diag_len]，这里的距离是指原点到目标直线的垂线距离。其中的diag_len表示对角线的长度。

投票矩阵votes，值全为0，其行元素个数为rho列表的元素个数，列元素个数为theta列表的元素个数。

2、对于线条图中的每个非零像素点，遍历角度列表中的每个角度值，并计算出该像素点在该角度值下所对应的垂线距离值，角度值和距离值组成数据对(rho,theta)，此数据对对应着投票矩阵中的(rho+diag_len,theta)位置，那么投票矩阵中该位置的值累计加1。

投票矩阵中，某个位置的值越大则表示该位置对应的(rho,theta)值表示一条置信度很高的直线。挑选出那些值大于预设阈值的矩阵位置，即可获得这些位置上的(rho,theta)，从而计算出图像中直线的相关信息。

可选地，本方案中在执行霍夫变换之前，需要将目标像素级线条图中的线条的宽度进行缩减。例如，若是目标像素级线条图中的线条的宽度为大于1的宽度，则需要对目标像素级线条图执行多次的腐蚀与膨胀操作，从而降低目标像素级线条图中线条的宽度，直到宽度为一个像素点的宽度。

腐蚀与膨胀操作的目的是将线条宽度为多个像素宽度的线条调整为线条宽度为一个像素宽度的线条。过程为：

1、对目标像素级线条图中的每个像素，判断其像素值是否大于127.5，如果大于则将像素点的像素值置于255，否则将该点的像素值置于0。

2、通过OpenCV库获取一个结构单元为十字形的结构元素，用于后续的腐蚀与膨胀操作。

3、初始化目标像素级线条图的骨架信息(skeleton)为一个全零矩阵。

4、重复执行以下操作，直至目标像素级线条图被腐蚀为像素值全为 0的图像：

对目标像素级线条图(image)进行腐蚀，得到腐蚀后的图像(eroded)，对eroded图像进行膨胀，得到dilated图像，计算dilated图像和原目标像素级线条图image的差值，差值图像与上述提到的skeleton图像做或运算，这一步骤可以看作是不断地添加原目标像素级线条图的骨架信息，将 eroded图像作为新的新目标像素级线条图，重复步骤4。

5、当目标像素级线条图的像素值全部腐蚀为0时，skeleton图像即为原始目标像素级线条图的骨架信息表示，图像中每一条线段的像素宽度都为1。

(4)合并单元1108，用于根据所述多条线段的位置，将所述多条线段中位于同一条直线的线段合并，得到所述目标图片上的线条。

可选地，本方案中在使用霍夫变换的方法将目标像素级线条图中的像素点转换为多条线段之后，多条线段所组成的图案的形状与目标图片中的线条的相似度很高。且多条线段在平面直角坐标系中对应有坐标。将多条线段中属于同一条直线的线段进行合并，合并结果的形状与目标图片中的线条形状几乎吻合，且合并结果包括了每一条线段的坐标。因此，采用上述方法则获取到了目标图片中每一条线段的坐标。

可选地，在合并的过程中，依次从多条线段中获取任意两条线段，任意两条线段包括：第一线段和第二线段，执行以下步骤：获取第一线段和第二线段的中心点的坐标差值；在坐标差值小于第三阈值的情况下，对第一线段和第二线段合并，得到合并后的线段。此时，是对多条线段进行初步的合并。此过程可以将一些琐碎的线段初步合并为较长的线段。

可选地，本方案中在对第一线段与第二线段进行合并的过程中，需要对第一线段与第二线段进行判断。可选地，本方案中的横线即线段与平面直角坐标系的横坐标轴夹角小于45度的线段，竖线为线段与平面直角坐标系的横坐标轴夹角大于45度的线段。若是第一线段与第二线段同为横线，则在合并过程中，判断第一线段与第二线段的中心点的纵坐标的差值与第三阈值的关系。若是两者皆为竖线，则判断两者中心点的横坐标的差值与第三阈值的关系。

进一步依次获取任意两条合并后的线段，任意两条合并后的线段包括：第一目标线段和第二目标线段，执行以下步骤；在第一目标线段的中心点到第二目标线段所在直线的距离小于第四阈值的情况下，将第一目标线段和第二目标线段合并，得到目标图片上的线条。在经过本次合并后，属于同一条直线的线段均完成了合并。合并的结果等同于目标图片上的线条。或者，作为另一种示例，在第二步合并过程中，在第一目标线段的中心点到第二目标线段所在直线的距离小于第四阈值的情况下，将第一目标线段和第二目标线段合并时，还可以判断第一目标线段的中心点到第二目标线段所在直线的距离小于第四阈值且第二目标线段的中心点到第一目标线段所在直线的距离小于第四阈值，在此情况下，才对第一目标线段和第二目标线段合并。该方法进一步保证了合并的准确性。

可选地，本方案中在对多条线段进行合并得到图像上的线条之后，还可以对图像上的线条与数据识别结果进行合并，得到目标图片中携带有数据的表格。

也就是说，当目标图片上的线条为表格时，获取上述表格的信息，将上述表格的信息与目标图片中文字的信息进行合并，得到目标图片中携带有文字数据的表格。

可选地，识别得到携带有数据的表格后，可以将携带有数据的表格存储到区块链中，从而保证携带有数据的表格的表格信息与数据信息均无法被修改。

上述区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。

可选地，上述图像中线条提取装置可以但不限于应用于医学领域、统计领域、核算领域等任何需要对图片中的线条信息进行识别与信息获取的领域。例如，将上述方法应用到对图片中发票的线条进行识别与信息获取的过程中。

若要识别并获取图片中发票中的线条，首先需要获取图片，图片中包括有发票的线条。获取到图片后，将上述图片输入到目标图片分割模型中，由目标图片分割模型对图片进行识别，输出图片的目标像素级线条图。在输出图片的目标像素级线条图后，目标像素级线条图中包括了发票的线条的像素点。使用上述像素点确定多条线段的位置，然后使用上述位置将多条线段中位于同一条直线的线段合并，得到发票中线条和位置信息。

通过本实施例，通过上述方法，从而无论图片中的线条是什么样式，均可以准确的识别得到线条的像素点。进一步在根据相似点确定多条线段的位置，以及根据多条线段的位置得到线条，从而从目标图片中提取出线条的信息，实现了在获取图片中线条的信息时的灵活性的效果。

作为一种可选的实施方案，上述装置还包括：

(1)第二获取单元，用于在将目标图片输入到目标图片分割模型中之前，获取样本图片及样本图片对应的样本像素级线条图；

(2)训练单元，用于将样本图片及样本图片对应的样本像素级线条图输入到原始图片分割模型中，对原始图片分割模型进行训练，其中，在得到当前的原始图片分割模型输出的训练结果后，确定原始图片分割模型已输出的第一像素级线条图符合预定条件的目标次数，以及已输出的第一像素级线条图的总次数，在目标次数与总次数的比值大于第一阈值的情况下，将当前的原始图片分割模型确定为目标图片分割模型，其中，预定条件用于指示将第i个样本图片输入原始图片分割模型后得到的第i个第一像素级线条图，与第i个样本像素级线条图的匹配度大于第二阈值。

通过本实施例，通过在使用目标图片分割模型之前，使用样本图片对原始图片分割模型进行训练，已得到成熟的目标图片分割模型，从而在实现了获取图片中线条的信息的灵活性的同时，还提高了目标图片分割模型的识别准确度。

作为一种可选的实施方案，上述合并单元包括：

(1)第一处理模块，用于依次从多条线段中获取任意两条线段，任意两条线段包括：第一线段和第二线段，执行以下步骤：获取第一线段和第二线段的中心点的坐标差值；在坐标差值小于第三阈值的情况下，对第一线段和第二线段合并，得到合并后的线段；

(2)第二处理模块，用于依次获取任意两条合并后的线段，任意两条合并后的线段包括：第一目标线段和第二目标线段，执行以下步骤；在第一目标线段的中心点到第二目标线段所在直线的距离小于第四阈值的情况下，将第一目标线段和第二目标线段合并，得到图像上的线条。

通过本实施例，通过上述两个步骤对多条线段进行合并，从而可以得到用于拟合一条曲线的多条折线，从而在实现了获取图片中线条的信息的灵活性的同时，还提高了获取目标图片中线条的信息的准确性。

作为一种可选的实施方案，第一处理模块还用于：

S1，在第一线段和第二线段为横线的情况下，将第一线段与第二线段的中心点的纵坐标的差值确定为坐标差值，其中，横线为与多条线段所在坐标系的横坐标轴夹角小于45度的线段；

S2，在第一线段和第二线段为竖线的情况下，将第一线段与第二线段的中心点的横坐标的差值确定为坐标差值，其中，竖线为与坐标系的纵坐标轴夹角小于45度的线段。

通过上述方法，通过比对同为横线或者同为竖线的两条线段是否符合条件，从而在比对过程中，对于差别较大的两条线段无需进行比对，实现了获取图片中线条的信息的灵活性的同时，还提高了线段的比对效率。

作为一种可选的实施方案，上述装置还包括：

(1)调整单元，用于在根据所述目标图片的目标像素级线条图中的所述像素点确定多条线段的位置之前，对所述目标图片的所述目标像素级线条图中所述像素点组成的线条执行腐蚀与膨胀操作，以降低所述线条的宽度。

通过本实施例，通过上述方法，从而可以将目标像素级线条图中较粗的线条转换为宽度为1个像素宽度的线条，从而保证了在进行霍夫变换的过程中，可以识别得到准确的竖线而不是多条短横线，实现了获取图片中线条的信息的灵活性的同时，提高了霍夫变换的准确性。

作为一种可选的实施方案，上述确定单元包括：

(1)第三处理模块，用于对目标像素级线条图执行霍夫变换，得到多条线段的位置。

通过本实施例，通过上述方法，从而可以将无法进行利用的目标图片上的线条转换为可以进行使用的线条的坐标信息，从而可以对线条信息进行结构化操作，实现了获取图片中线条的信息的灵活性的同时，提高了获取图片中线条的信息的效率。

作为一种可选的实施方案，上述图像包括表格与文字数据，上述线条为上述表格，上述装置还包括：

(1)识别单元，用于在根据所述多条线段的位置，将所述多条线段中位于同一条直线的线段合并，得到所述图像上的线条之后，通过文字识别技术识别所述图像中的所述文字数据；

(2)组合单元，用于将合并得到的所述图像上的线条与使用文字识别技术识别得到的所述文字数据进行组合，得到携带有文字数据的表格。

可选地，本方案中线条可以为表格。对图像中线条的识别可以得到线条的信息。同时，可以使用文字识别技术对目标图片中的文字进行识别，并得到文字的识别结果，进而将图像的线条的信息与文字的识别结果进行结合，从而可以得到准确的表格的线条与数据信息。

通过本实施例，通过上述方法，从而实现了获取图片中线条的信息的灵活性的同时，还实现了对线条信息与数据信息的结合。

作为一种可选的实施方案，上述装置还包括：

存储单元，用于将合并得到的所述图像上的线条与使用文字识别技术识别得到的所述文字数据进行组合，得到携带有文字数据的表格之后，将所述携带有文字数据的表格存储到区块链中。

通过本实施例，通过将携带有数据的表格存储到区块链上，从而保证了携带有数据的表格的数据无法被修改或者删除，提高了携带有数据的表格的在使用时的公信度。

根据本发明实施例的又一个方面，还提供了一种用于实施上述图像中线条提取方法的电子装置，如图12所示，该电子装置包括存储器1202和处理器1204，该存储器1202中存储有计算机程序，该处理器1204被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取待识别的目标图片，其中，所述待识别的目标图片中包括线条；

S2，将所述目标图片输入到目标图片分割模型中，得到所述目标图片的目标像素级线条图，其中，在所述目标像素级线条图中包括所述目标图片上的线条的像素点，所述目标图片分割模型为使用样本图片及所述样本图片对应的样本像素级线条图对原始图片分割模型进行训练后所得到的用于识别目标图片上的线条的模型；

S3，根据目标像素级线条图中的像素点确定多条线段的位置；

S4，根据所述多条线段的位置，将所述多条线段中位于同一条直线的线段合并，得到所述目标图片上的线条。

可选地，本领域普通技术人员可以理解，图12所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图12其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图12中所示更多或者更少的组件(如网络接口等)，或者具有与图12所示不同的配置。

其中，存储器1202可用于存储软件程序以及模块，如本发明实施例中的图像中线条提取方法和装置对应的程序指令/模块，处理器1204通过运行存储在存储器1202内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的图像中线条提取方法。存储器1202可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1202 可进一步包括相对于处理器1204远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器1202具体可以但不限于用于存储目标图片等信息。作为一种示例，如图12所示，上述存储器1202中可以但不限于包括上述图像中线条提取装置中的第一获取单元 1202，输入单元1204，确定单元1206与合并单元1208。此外，还可以包括但不限于上述图像中线条提取装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1206用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1206包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1206为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器1208，用于显示图像中的线条的信息；和连接总线1210，用于连接上述电子装置中的各个模块部件。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取待识别的目标图片，其中，所述待识别的目标图片中包括线条；

S2，将所述目标图片输入到目标图片分割模型中，得到所述目标图片的目标像素级线条图，其中，在所述目标像素级线条图中包括所述目标图片上的线条的像素点，所述目标图片分割模型为使用样本图片及所述样本图片对应的样本像素级线条图对原始图片分割模型进行训练后所得到的用于识别目标图片上的线条的模型；

S3，根据目标像素级线条图中的像素点确定多条线段的位置；

S4，根据所述多条线段的位置，将所述多条线段中位于同一条直线的线段合并，得到所述目标图片上的线条。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (15)

1.一种图像中线条的提取方法，其特征在于，包括：

获取待识别的目标图片，其中，所述待识别的目标图片中包括线条；

将所述目标图片输入到目标图片分割模型中，得到所述目标图片的目标像素级线条图，其中，在所述目标像素级线条图中包括所述目标图片上的线条的像素点，所述目标图片分割模型为使用样本图片及所述样本图片对应的样本像素级线条图对原始图片分割模型进行训练后所得到的用于识别图像上的线条的模型；

根据所述目标像素级线条图中的所述像素点确定多条线段的位置；

根据所述多条线段的位置，将所述多条线段中位于同一条直线的线段合并，得到所述目标图片上的线条。

2.根据权利要求1所述的方法，其特征在于，在将所述目标图片输入到目标图片分割模型中之前，所述方法还包括：

获取所述样本图片及所述样本图片对应的样本像素级线条图；

将所述样本图片及所述样本图片对应的样本像素级线条图输入到所述原始图片分割模型中，对所述原始图片分割模型进行训练，其中，在得到当前的所述原始图片分割模型输出的训练结果后，确定所述原始图片分割模型已输出的第一像素级线条图符合预定条件的目标次数，以及已输出的第一像素级线条图的总次数，在所述目标次数与所述总次数的比值大于第一阈值的情况下，将当前的所述原始图片分割模型确定为所述目标图片分割模型，其中，所述预定条件用于指示将第i个所述样本图片输入所述原始图片分割模型后得到的第i个第一像素级线条图，与第i个所述样本像素级线条图的匹配度大于第二阈值。

3.根据权利要求1所述的方法，其特征在于，所述根据所述多条线段的位置，将所述多条线段中位于同一条直线的线段合并，得到所目标图片上的线条包括：

依次从所述多条线段中获取任意两条线段，所述任意两条线段包括：第一线段和第二线段，执行以下步骤：获取所述第一线段和所述第二线段的中心点的坐标差值；在所述坐标差值小于第三阈值的情况下，对所述第一线段和所述第二线段合并，得到合并后的线段；

依次获取任意两条合并后的线段，所述任意两条合并后的线段包括：第一目标线段和第二目标线段，执行以下步骤；在所述第一目标线段的中心点到所述第二目标线段所在直线的距离小于第四阈值的情况下，将所述第一目标线段和所述第二目标线段合并，得到所述目标图片上的线条。

4.根据权利要求3所述的方法，其特征在于，所述获取所述第一线段和所述第二线段的中心点的坐标差值包括：

在所述第一线段和所述第二线段为横线的情况下，将所述第一线段与所述第二线段的中心点的纵坐标的差值确定为所述坐标差值，其中，所述横线为与所述多条线段所在坐标系的横坐标轴夹角小于45度的线段；

在所述第一线段和所述第二线段为竖线的情况下，将所述第一线段与所述第二线段的中心点的横坐标的差值确定为所述坐标差值，其中，所述竖线为与所述坐标系的纵坐标轴夹角小于45度的线段。

5.根据权利要求1所述的方法，其特征在于，在根据所述目标图片的目标像素级线条图中的所述像素点确定多条线段的位置之前，所述方法还包括：

对所述目标图片的所述目标像素级线条图中所述像素点组成的线条执行腐蚀与膨胀操作，以降低所述线条的宽度。

6.根据权利要求1至5任意一项所述的方法，其特征在于，所述根据所述目标像素级线条图中的所述像素点确定多条线段的位置包括：

对所述目标像素级线条图执行霍夫变换，得到所述多条线段的位置。

7.根据权利要求1至5任意一项所述的方法，其特征在于，所述目标图片包括表格与文字数据，所述线条为所述表格，在根据所述多条线段的位置，将所述多条线段中位于同一条直线的线段合并，得到所述图像上的线条之后，还包括：

通过文字识别技术识别所述图像中的所述文字数据；

将合并得到的所述目标图片上的线条与使用文字识别技术识别得到的所述文字数据进行组合，得到携带有文字数据的表格。

8.一种图像中线条的提取装置，其特征在于，包括：

第一获取单元，用于获取待识别的目标图片，其中，所述待识别的目标图片中包括线条；

输入单元，用于将所述目标图片输入到目标图片分割模型中，得到所述目标图片的目标像素级线条图，其中，在所述目标像素级线条图中包括所述目标图片上的线条的像素点，所述目标图片分割模型为使用样本图片及所述样本图片对应的样本像素级线条图对原始图片分割模型进行训练后所得到的用于识别目标图片上的线条的模型；

确定单元，用于根据所述目标像素级线条图中的所述像素点确定多条线段的位置；

合并单元，用于根据所述多条线段的位置，将所述多条线段中位于同一条直线的线段合并，得到所述目标图片上的线条。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

第二获取单元，用于在将所述目标图片输入到目标图片分割模型中之前，获取所述样本图片及所述样本图片对应的样本像素级线条图；

训练单元，用于将所述样本图片及所述样本图片对应的样本像素级线条图输入到所述原始图片分割模型中，对所述原始图片分割模型进行训练，其中，在得到当前的所述原始图片分割模型输出的训练结果后，确定所述原始图片分割模型已输出的第一像素级线条图符合预定条件的目标次数，以及已输出的第一像素级线条图的总次数，在所述目标次数与所述总次数的比值大于第一阈值的情况下，将当前的所述原始图片分割模型确定为所述目标图片分割模型，其中，所述预定条件用于指示将第i个所述样本图片输入所述原始图片分割模型后得到的第i个第一像素级线条图，与第i个所述样本像素级线条图的匹配度大于第二阈值。

10.根据权利要求8所述的装置，其特征在于，所述合并单元包括：

第一处理模块，用于依次从所述多条线段中获取任意两条线段，所述任意两条线段包括：第一线段和第二线段，执行以下步骤：获取所述第一线段和所述第二线段的中心点的坐标差值；在所述坐标差值小于第三阈值的情况下，对所述第一线段和所述第二线段合并，得到合并后的线段；

第二处理模块，用于依次获取任意两条合并后的线段，所述任意两条合并后的线段包括：第一目标线段和第二目标线段，执行以下步骤；在所述第一目标线段的中心点到所述第二目标线段所在直线的距离小于第四阈值的情况下，将所述第一目标线段和所述第二目标线段合并，得到所述目标图片上的线条。

11.根据权利要求10所述的装置，其特征在于，所述第一处理模块还用于：

在所述第一线段和所述第二线段为横线的情况下，将所述第一线段与所述第二线段的中心点的纵坐标的差值确定为所述坐标差值，其中，所述横线为与所述多条线段所在坐标系的横坐标轴夹角小于45度的线段；

在所述第一线段和所述第二线段为竖线的情况下，将所述第一线段与所述第二线段的中心点的横坐标的差值确定为所述坐标差值，其中，所述竖线为与所述坐标系的纵坐标轴夹角小于45度的线段。

12.根据权利要求8所述的装置，其特征在于，所述装置还包括：

调整单元，用于在根据所述目标图片的目标像素级线条图中的所述像素点确定多条线段的位置之前，对所述目标图片的所述目标像素级线条图中所述像素点组成的线条执行腐蚀与膨胀操作，以降低所述线条的宽度。

13.根据权利要求8至12任意一项所述的装置，其特征在于，所述确定单元包括：

处理模块，用于对所述目标像素级线条图执行霍夫变换，得到所述多条线段的位置。

14.一种计算机可读的存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序运行时执行所述权利要求1至7任一项中所述的方法。

15.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

Images