CN110490185A - 一种基于多次对比矫正ocr名片信息识别改进方法 - Google Patents
一种基于多次对比矫正ocr名片信息识别改进方法 Download PDFInfo
- Publication number
- CN110490185A CN110490185A CN201910787472.9A CN201910787472A CN110490185A CN 110490185 A CN110490185 A CN 110490185A CN 201910787472 A CN201910787472 A CN 201910787472A CN 110490185 A CN110490185 A CN 110490185A
- Authority
- CN
- China
- Prior art keywords
- ocr
- module
- text
- correction
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012937 correction Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000010365 information processing Effects 0.000 claims 2
- 235000013399 edible fruits Nutrition 0.000 claims 1
- 238000012015 optical character recognition Methods 0.000 abstract description 36
- 238000011156 evaluation Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 229910052704 radon Inorganic materials 0.000 description 1
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Character Discrimination (AREA)
Abstract
本发明涉及一种基于多次对比矫正OCR名片信息识别改进方法，在于提供一种能够对采集的名片图像进行改进识别处理，并进行输出信息多次对比矫正从而提升识别速度和识别准确率的OCR信息识别方法。具体包括：图像采集模块、图像处理模块、第一OCR模块、第二OCR模块、多次对比矫正模块、结果输出模块。本发明采用多次OCR对比矫正技术进行光学字符识别，将名片所包含的字符信息翻译成计算机文字，采用具有不同识别性能的第一、第二OCR模块并行识别，对两次识别结果进行相似度对比，然后将对比结果与文字库作相似度对比相结合，对OCR识别结果作进一步矫正，提高识别准确率的同时提高了识别速度。
Description
技术领域
本发明涉及图像处理技术，文字检测识别技术，特别涉及一种基于多次对比矫正OCR名片信息识别改进方法。
背景技术
当今，生活中对于名片、身份证信息检索应用越来越广泛。目前使用OCR技术可以进行名片、身份证信息的检索，即从图像中电子扫描提取信息文本，但识别速度、识别率是存在的主要问题。当前存在改进方法是通过对输出结果进行手动矫正或与文字库对比提高识别率，手动矫正直接对输出结果的错误识别结果进行手动矫正，文字库对比是通过建立常用信息库，对识别结果与信息库进行相似度对比，对存在的可能错误信息进行文字替换。两种方式均可提高识别精确度，但是手动矫正是一个耗时费力的过程，而文字库对比不能保证识别率的稳定提高，同时两者的识别速度都有待提高。为了进一步改进上述识别率和识别速度的问题，本发明提出并行双OCR识别并多次对比矫正输出结果的方法，并行双OCR识别为对比矫正提供基础信息，多次对比矫正利用双OCR输出的结果同时结合文字库相似度对比。
发明内容
本发明目的是在于提供一种能够对采集的名片图像进行改进识别处理，并进行输出信息多次对比矫正从而提升识别速度和识别准确率的OCR信息识别方法。本发明采用多次OCR对比矫正技术进行光学字符识别，将名片所包含的字符信息翻译成计算机文字，具体采用具有不同识别性能的双OCR并行两次识别，使用两次识别结果进行相似度对比，然后将对比结果与文字库作相似度对比相结合，对OCR识别结果作进一步矫正。
本发明提供的多次对比矫正的OCR信息识别改进方法，主要模块包括：图像采集模块、图像处理模块、第一OCR模块、第二OCR模块、多次对比矫正模块、结果输出模块。其中：
图像采集模块，利用ZED摄像头或其他摄像头采集需识别区域进入计算机或存储设备进行储存，优选地，采用ZED摄像头进行图像的采集。
图像处理模块，采用图像处理技术对采集的照片进行预处理，为OCR模块识别提供输入，处理过程主要包含几个步骤：图片倾斜校正、区域裁剪、去噪、尺寸标准化。
第一OCR模块，将处理过的名片图像信息转化为文本信息。
第二OCR模块，将处理过的名片图像信息转化为文本信息。本发明使用的第一OCR模块与第二OCR并行进行输入信息的处理，区别之处在于两个OCR模块的识别性能不同，目的是使用两个性能不同的网络产生不同的识别效果，将两个识别结果进行对比，直接找出错误识别的信息，再将错误信息与文字库作相似度对比，在文字库中找出替代者。
多次对比矫正模块：共分为两次对比矫正，第一次对比矫正是第一OCR模块与第二OCR模块输出对比矫正信息处理，第二次对比矫正是处理结果与文字库作对比矫正信息处理。
(1)第一次对比矫正处理是对第一和第二OCR模块得到的输出按照属性依次对其进行相似度比较，在相似度的比较中可采用多种方式，如Jaccard系数，编辑距离，优选地，采用Jaccard系数，得到的Jaccard系数值越大，则相似度越高，本发明根据得到的Jaccard系数大于0.8和小于0.8分别得到部分识别结果和待矫正识别结果。相似度大于0.8的部分文本认为是正确的文本，作为部分识别结果进行存储以备输出；相似度低于0.8的文本为错误率较高文本，作为待矫正识别结果；
(2)第二次对比矫正处理是对待矫正识别的文本与建立的文本库进行对比矫正处理，按照待矫正识别文本的属性，将其与文本库中该属性文本进行比对，同上，得到Jaccard系数大于0.8的文本库文本，使用文本库中文本代替待矫正是别的文本，得到矫正后的文本进行存储以备输出。
结果输出模块：通过对上述处理过后得到的文本进行整理，分类输出该文本信息为最终结果输出。
本发明的有益效果
本发明与通常的OCR修正技术不同，创新性的利用除图像本身以外的信息进行多次信息对比修正，尤其是基于两个OCR模块输出的信息进行对比修正，利用两个识别率不同的OCR模块并行的进行识别文字信息，并行的结构可以在提升正确率的同时提高识别速度，使用第一OCR模块的识别结果充当检测模板，之后再与建立好的文本库的信息进行对比修正。本发明与目前存在手动识别矫正和单纯的与文本库比较的这两种方法相比，提高识别准确率的同时提高了识别速度。
附图说明
图1：系统整体框图
图2：多次对比矫正流程图
具体实施方式
以采集并识别一张名片图片为例，进一步阐述本发明，具体如下：
(1)图像采集过程：
采用ZED摄像头，对视野内的名片进行采集作为本发明的输入图片，名片在图中的位置不确定，规则放置或不规则放置。
(2)图像处理过程：
图像处理模块依次对图片进行倾斜校正、区域裁剪、去噪、尺寸标准化操作；图片倾斜矫正，本发明依次对图片进行灰度处理、边缘检测、Hough变换进行直线检测，对直线检测结果进行Radon变换，计算每个方向的投影区域，得到倾斜角度和方向，进行旋转矫正。将旋转的图片进行区域裁剪，进行二值化处理、投影操作确定名片的区域，将名片所在区域进行裁剪。对裁剪后的图片进行去噪处理，采取高斯去噪方式，之后对尺寸进行标准化，将图片大小固定，方便检测和识别。
(3)第一OCR模块识别过程：
将步骤(2)处理后的图片输入进第一OCR模块进行识别，得到名片信息保存到一个文件夹中，并将得到的输出信息按照其属性把文本分成姓名，地址，联系电话，邮箱和其他几大类信息，进行排列和存储。
(4)第二OCR模块识别过程：
将步骤(2)处理后的图片输入进第二OCR模块进行识别，得到名片信息保存到一个文件夹中，并将得到的输出信息按照其属性同步骤(3)一样进行排列和存储，两个文件分属不同的文件夹。
(5)多次对比矫正过程：
由于(3)(4)的识别能力不同，获得的识别结果有一定差异，使其具有可对比性。通过步骤(3)和(4)得到不同的识别结果并存储在不同的文件夹中；分别提取识别的结果进行多次对比矫正分析，(3)和(4)并行同步进行，提升识别效率和精度。
第一次矫正，将步骤(3)得到的输出信息与步骤(4)得到的输出信息按照其属性进行相似度计算，本发明采用Jaccard系数寻找相似文本，将相似度系数大于0.8的文本归为部分识别结果，进行存储待输出，同时将相似度较低于0.8的文本进行提取，作为待识别结果，存储在一个文件中，进行第二次矫正；
第二次矫正，将第一次矫正得到的待矫正识别文本文件按照属性进行提取，将其与建立的文本库进行相似度比较计算，同样计算两者信息的Jaccard系数，若Jaccard系数大于0.8，则使用文本库中该文本代替待识别文本中的该部分信息，并将替换的结果输出；若Jaccard系数小于0.8，则将该部分文本并入部分识别结果文件中，更新存储的部分识别结果文本信息。
(6)输出：
将步骤(5)得到的更新过后存储的文本信息进行合并同时输出显示。
Claims (6)
1.一种基于多次对比矫正OCR名片信息识别改进方法，其特征在于包括以下模块：图像采集模块、图像处理模块、第一OCR模块、第二OCR模块、多次对比矫正模块、结果输出模块，其中：
图像采集模块，利用摄像头采集需识别区域进入计算机或存储设备进行储存；
图像处理模块，采用图像处理技术对采集的照片进行预处理，为OCR模块识别提供输入，处理过程主要包含几个步骤：图片倾斜校正、区域裁剪、去噪、尺寸标准化；
第一OCR模块，将处理过的名片图像信息转化为文本信息；
第二OCR模块，将处理过的名片图像信息转化为文本信息；所述的第一OCR模块与第二OCR并行进行输入信息的处理，且识别性能不同，用于产生不同的识别结果；
多次对比矫正模块：共分为两次对比矫正，第一次对比矫正是第一OCR模块与第二OCR模块输出对比矫正信息处理，第二次对比矫正是第一次对比矫正后的结果与文字库作对比矫正信息处理；
结果输出模块：将第一次对比矫正后得到的部分识别结果以及第二次对比校正后得到的矫正后的文本即为最终输出结果。
2.根据权利要求1所述的一种基于多次对比矫正OCR名片信息识别改进方法，其特征在于：所述的图像采集模块优选ZED摄像头进行图像的采集。
3.根据权利要求1所述的一种基于多次对比矫正OCR名片信息识别改进方法，其特征在于：所述的第一次对比矫正处理是对第一和第二OCR模块得到的输出按照属性依次对其进行相似度比较，所述的相似度比较方式可以采用Jaccard系数，编辑距离。
4.根据权利要求3所述的一种基于多次对比矫正OCR名片信息识别改进方法，其特征在于：采用Jaccard系数时，将相似度大于阈值A的部分文本认为是正确的文本，作为部分识别结果进行存储以备输出；将相似度低于阈值A的文本为错误率较高文本，作为待矫正识别结果。
5.根据权利要求1所述的一种基于多次对比矫正OCR名片信息识别改进方法，其特征在于：所述的第二次对比矫正处理是对待矫正识别的文本与建立的文本库进行对比矫正处理，按照待矫正识别文本的属性，将其与文本库中该属性文本进行比对。
6.根据权利要求5所述的一种基于多次对比矫正OCR名片信息识别改进方法，其特征在于：采用Jaccard系数时，将相似度大于阈值A的文本库文本，使用文本库中文本代替待矫正识别的文本，作为矫正后的文本进行存储以备输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910787472.9A CN110490185A (zh) | 2019-08-23 | 2019-08-23 | 一种基于多次对比矫正ocr名片信息识别改进方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910787472.9A CN110490185A (zh) | 2019-08-23 | 2019-08-23 | 一种基于多次对比矫正ocr名片信息识别改进方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110490185A true CN110490185A (zh) | 2019-11-22 |
Family
ID=68553915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910787472.9A Pending CN110490185A (zh) | 2019-08-23 | 2019-08-23 | 一种基于多次对比矫正ocr名片信息识别改进方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110490185A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111898612A (zh) * | 2020-06-30 | 2020-11-06 | 北京来也网络科技有限公司 | 结合rpa和ai的ocr识别方法及装置、设备、介质 |
| CN111931771A (zh) * | 2020-09-16 | 2020-11-13 | 深圳壹账通智能科技有限公司 | 票据内容识别方法、装置、介质及电子设备 |
| CN112308070A (zh) * | 2020-10-30 | 2021-02-02 | 深圳前海微众银行股份有限公司 | 证件信息的识别方法及装置、设备和计算机可读存储介质 |
| CN112667831A (zh) * | 2020-12-25 | 2021-04-16 | 上海硬通网络科技有限公司 | 素材存储方法、装置及电子设备 |
| CN114332513A (zh) * | 2022-03-15 | 2022-04-12 | 北京嘉沐安科技有限公司 | 一种面向智慧城市的新能源汽车异常停放大数据检测方法 |
| CN115100669A (zh) * | 2022-06-27 | 2022-09-23 | 中国银行股份有限公司 | 一种票据信息识别方法和系统、电子设备、存储介质 |
| CN117746435A (zh) * | 2023-12-20 | 2024-03-22 | 海南榕树家信息科技有限公司 | 中药表单信息发送方法、装置、电子设备和可读介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102332119A (zh) * | 2011-09-16 | 2012-01-25 | 西安潜安信息科技有限责任公司 | 一种证件识别系统 |
| CN103425975A (zh) * | 2013-07-17 | 2013-12-04 | 中国中医科学院 | 一种临床病例数据采集系统及采集方法 |
| CN103488983A (zh) * | 2013-09-13 | 2014-01-01 | 复旦大学 | 一种基于知识库的名片ocr数据修正方法和系统 |
| CN107273883A (zh) * | 2017-05-03 | 2017-10-20 | 天方创新（北京）信息技术有限公司 | 决策树模型训练方法、确定ocr结果中数据属性方法及装置 |
| CN107533645A (zh) * | 2015-04-20 | 2018-01-02 | 3M创新有限公司 | 双嵌入式光学字符识别(ocr)引擎 |
| CN109409355A (zh) * | 2018-08-13 | 2019-03-01 | 国网陕西省电力公司 | 一种新型变压器铭牌识别的方法及装置 |
| CN109635801A (zh) * | 2017-10-09 | 2019-04-16 | 株式会社理光 | 光学字符识别后处理的方法、装置及计算机可读存储介质 |
| CN110110788A (zh) * | 2019-05-06 | 2019-08-09 | 云城（北京）数据科技有限公司 | 原件和比对件的比对方法及装置 |
-
2019
- 2019-08-23 CN CN201910787472.9A patent/CN110490185A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102332119A (zh) * | 2011-09-16 | 2012-01-25 | 西安潜安信息科技有限责任公司 | 一种证件识别系统 |
| CN103425975A (zh) * | 2013-07-17 | 2013-12-04 | 中国中医科学院 | 一种临床病例数据采集系统及采集方法 |
| CN103488983A (zh) * | 2013-09-13 | 2014-01-01 | 复旦大学 | 一种基于知识库的名片ocr数据修正方法和系统 |
| CN107533645A (zh) * | 2015-04-20 | 2018-01-02 | 3M创新有限公司 | 双嵌入式光学字符识别(ocr)引擎 |
| CN107273883A (zh) * | 2017-05-03 | 2017-10-20 | 天方创新（北京）信息技术有限公司 | 决策树模型训练方法、确定ocr结果中数据属性方法及装置 |
| CN109635801A (zh) * | 2017-10-09 | 2019-04-16 | 株式会社理光 | 光学字符识别后处理的方法、装置及计算机可读存储介质 |
| CN109409355A (zh) * | 2018-08-13 | 2019-03-01 | 国网陕西省电力公司 | 一种新型变压器铭牌识别的方法及装置 |
| CN110110788A (zh) * | 2019-05-06 | 2019-08-09 | 云城（北京）数据科技有限公司 | 原件和比对件的比对方法及装置 |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111898612A (zh) * | 2020-06-30 | 2020-11-06 | 北京来也网络科技有限公司 | 结合rpa和ai的ocr识别方法及装置、设备、介质 |
| CN111931771A (zh) * | 2020-09-16 | 2020-11-13 | 深圳壹账通智能科技有限公司 | 票据内容识别方法、装置、介质及电子设备 |
| CN112308070A (zh) * | 2020-10-30 | 2021-02-02 | 深圳前海微众银行股份有限公司 | 证件信息的识别方法及装置、设备和计算机可读存储介质 |
| CN112308070B (zh) * | 2020-10-30 | 2024-04-26 | 深圳前海微众银行股份有限公司 | 证件信息的识别方法及装置、设备和计算机可读存储介质 |
| CN112667831A (zh) * | 2020-12-25 | 2021-04-16 | 上海硬通网络科技有限公司 | 素材存储方法、装置及电子设备 |
| CN112667831B (zh) * | 2020-12-25 | 2022-08-05 | 上海硬通网络科技有限公司 | 素材存储方法、装置及电子设备 |
| CN114332513A (zh) * | 2022-03-15 | 2022-04-12 | 北京嘉沐安科技有限公司 | 一种面向智慧城市的新能源汽车异常停放大数据检测方法 |
| CN114332513B (zh) * | 2022-03-15 | 2023-01-06 | 重庆华源智禾科技有限公司 | 一种面向智慧城市的新能源汽车异常停放大数据检测方法 |
| CN115100669A (zh) * | 2022-06-27 | 2022-09-23 | 中国银行股份有限公司 | 一种票据信息识别方法和系统、电子设备、存储介质 |
| CN117746435A (zh) * | 2023-12-20 | 2024-03-22 | 海南榕树家信息科技有限公司 | 中药表单信息发送方法、装置、电子设备和可读介质 |
| CN117746435B (zh) * | 2023-12-20 | 2025-02-07 | 海南榕树家信息科技有限公司 | 中药表单信息发送方法、装置、电子设备和可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110490185A (zh) | 一种基于多次对比矫正ocr名片信息识别改进方法 | |
| CN109241894B (zh) | 一种基于表格定位和深度学习的票据内容识别系统和方法 | |
| US10943105B2 (en) | Document field detection and parsing | |
| CN110414352B (zh) | 从视频文件中提取ppt文件信息的方法及相关设备 | |
| US11017215B2 (en) | Two-stage person searching method combining face and appearance features | |
| US9373030B2 (en) | Automated document recognition, identification, and data extraction | |
| CN111814722A (zh) | 一种图像中的表格识别方法、装置、电子设备及存储介质 | |
| CN108805076B (zh) | 环境影响评估报告书表格文字的提取方法及系统 | |
| JP5050075B2 (ja) | 画像判別方法 | |
| CN103488983B (zh) | 一种基于知识库的名片ocr数据修正方法和系统 | |
| CN102388392B (zh) | 模式识别设备 | |
| CN110135411A (zh) | 名片识别方法和装置 | |
| CN110569832A (zh) | 基于深度学习注意力机制的文本实时定位识别方法 | |
| US20090285482A1 (en) | Detecting text using stroke width based text detection | |
| US12046067B2 (en) | Optical character recognition systems and methods for personal data extraction | |
| CN106169080A (zh) | 一种基于图像的燃气指数自动识别方法 | |
| CN114463767B (zh) | 信用证识别方法、装置、计算机设备和存储介质 | |
| CN110766026A (zh) | 一种快速识别卡号的方法及装置、模型训练方法及装置 | |
| Karanje et al. | Survey on text detection, segmentation and recognition from a natural scene images | |
| CN113628113A (zh) | 一种图像拼接方法及其相关设备 | |
| CN111444876A (zh) | 一种图文处理方法、系统以及计算机可读存储介质 | |
| Dave et al. | Ocr text detector and audio convertor | |
| CN116363655A (zh) | 一种财务票据识别方法及系统 | |
| CN115457585A (zh) | 作业批改的处理方法、装置、计算机设备及可读存储介质 | |
| Bhatt et al. | Text Extraction & Recognition from Visiting Cards |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20191122 |