Nothing Special   »   [go: up one dir, main page]

CN115082776A - 一种基于图像识别的电能表自动检测系统及方法 - Google Patents

一种基于图像识别的电能表自动检测系统及方法 Download PDF

Info

Publication number
CN115082776A
CN115082776A CN202210989601.4A CN202210989601A CN115082776A CN 115082776 A CN115082776 A CN 115082776A CN 202210989601 A CN202210989601 A CN 202210989601A CN 115082776 A CN115082776 A CN 115082776A
Authority
CN
China
Prior art keywords
image
electric energy
energy meter
information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210989601.4A
Other languages
English (en)
Inventor
吴滨
秦冬雷
施火泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Hengtong Electric Appliance Co ltd
Original Assignee
Wuxi Hengtong Electric Appliance Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Hengtong Electric Appliance Co ltd filed Critical Wuxi Hengtong Electric Appliance Co ltd
Priority to CN202210989601.4A priority Critical patent/CN115082776A/zh
Publication of CN115082776A publication Critical patent/CN115082776A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于图像识别的电能表自动检测系统及方法，属于电能表检测技术领域，通过获取待测电能表进行拍照以得到电能表图像，对所述电能表图像进行预处理得到电能表图像对应的目标电能表图像，根据所述目标电能表图像采用水平投影和垂直投影进行图像识别区域定位，以确定电能表特征信息，根据电能表特征信息对电能表的液晶屏、LED跳闸灯进行检测并结合预设周期内的电能表读数输入至已训练的神经网络模型中训练得到电能表的检测结果，解决了图像处理电能表中的图像易受干扰的问题而提升电能表检测效率和精确度，从电能表本身外观和电能质量进行有效识别，提高了收取电费的可信度。

Description

一种基于图像识别的电能表自动检测系统及方法
技术领域
本发明属于电能表检测技术领域，具体涉及一种基于图像识别的电能表自动检测系统及方法。
背景技术
随着社会经济的快速发展，电力能源正在向智能化、信息化方向发展，企业和普通家庭的用电需求逐渐增加，智能电能表作为国家电网智能电网计量体系中的关键设备，已经在逐渐普及和使用，电能表主要通过自身的液晶屏显示信息，需要确保液晶屏显示内容的准确性，但在生产和运输过程中，由于外界挤压碰撞、内部焊接等原因可能会产生各种质量问题，如液晶屏不亮、字符显示缺陷、提示灯不亮和电能计量不准确等情况。然而，随着大数据、移动互联和云计算等新一代信息技术的快速发展，图像识别技术在经济社会发展中的作用日益凸显，图像信息是人类最为直观、方便获取信息的方式，使得数字图像信息量剧增，在此情况下，由于人为进行图像识别可能存在误判、遗漏等问题，如何从图像中快速获取有效信息进行传递，对于缩短人们交流时间、提高工作效率具有重要意义。
发明内容
有鉴于此，本发明提供了一种采用机器视觉检测电能表产品外观质量、节省人力资源和提高检测效率的基于图像识别的电能表自动检测系统及方法，来解决上述存在的技术问题，具体采用以下技术方案来实现。
第一方面，本发明提供了一种基于图像识别的电能表自动检测系统，包括：
图像采集模块，用于对待测电能表进行拍照以得到电能表图像，对所述电能表图像进行预处理得到电能表图像对应的目标电能表图像，其中图像预处理包括图像灰度变换、图像二值化和图像滤波；
图像处理模块，用于根据所述目标电能表图像采用水平投影和垂直投影进行图像 识别区域定位，以确定电能表特征信息，所述电能表特征信息包括电能表读数、厂家信息和 条形码信息，所述图像处理模块包括第一定位单元和第二定位单元，所述第一定位单元用 于识别电能表的上下边界图像，所述第二定位单元用于识别电能表的左右边界，所述第一 定位单元的执行过程包括：预设待识别的目标电能表图像的读数区域图像长宽为
Figure 755421DEST_PATH_IMAGE001
， 经过预处理得到的灰度图像为
Figure 953184DEST_PATH_IMAGE002
，将其二值化处理后所得到的图像为
Figure 766420DEST_PATH_IMAGE003
，则第i行 的水平投影值为：
Figure 608605DEST_PATH_IMAGE004
，
Figure 114673DEST_PATH_IMAGE005
；其中
Figure 534153DEST_PATH_IMAGE006
是其二值图像按行累计 分布的形式，水平投影值为非零的部分为目标对应连续的水平投影，其切分过程为：用一条 水平线从图像上方向下扫描，找到图像的上边界，即第一个满足
Figure 275712DEST_PATH_IMAGE007
的行
Figure 97038DEST_PATH_IMAGE008
，接着再 选取一条水平线从图像下方向上扫描，找到图像的下边界，即第一个
Figure 774007DEST_PATH_IMAGE007
的行
Figure 821729DEST_PATH_IMAGE009
；
电能表检测模块，用于根据电能表特征信息对电能表的液晶屏、LED跳闸灯进行检测并结合预设周期内的电能表读数输入至已训练的神经网络模型中训练得到电能表的检测结果。
作为上述技术方案的进一步改进，在进行水平投影时采用先后粗细定位进行上下边界的定位，其过程包括：
将灰度图像
Figure 242346DEST_PATH_IMAGE002
经过最大类间方差的二值化得到二值图像
Figure 918178DEST_PATH_IMAGE003
，将二值图像
Figure 890682DEST_PATH_IMAGE003
中的局部图像
Figure 550333DEST_PATH_IMAGE010
向水平方向作灰度投影，第i行的水平投影为
Figure 243483DEST_PATH_IMAGE011
，其中
Figure 177416DEST_PATH_IMAGE012
，
Figure 930608DEST_PATH_IMAGE013
，W和h表示灰度图像的宽 度和高度；
从
Figure 811977DEST_PATH_IMAGE014
行向下扫描到
Figure 699030DEST_PATH_IMAGE015
行，找到首个满足
Figure 615034DEST_PATH_IMAGE016
、
Figure 539127DEST_PATH_IMAGE017
的行
Figure 783158DEST_PATH_IMAGE008
，图像从
Figure 83689DEST_PATH_IMAGE018
行向上扫描到
Figure 854199DEST_PATH_IMAGE015
行，找到首个满足
Figure 339407DEST_PATH_IMAGE016
、
Figure 195368DEST_PATH_IMAGE019
的行
Figure 299590DEST_PATH_IMAGE009
；
根据上边界
Figure 799972DEST_PATH_IMAGE008
和下边界
Figure 331448DEST_PATH_IMAGE009
切除无效的上下边界图像得到新二值图像
Figure 674705DEST_PATH_IMAGE020
，并统计新二值图像对应的新的水平投影
Figure 176093DEST_PATH_IMAGE006
，图像从
Figure 921195DEST_PATH_IMAGE014
行向下扫描到
Figure 623572DEST_PATH_IMAGE015
，找到最后一个满足
Figure 63912DEST_PATH_IMAGE016
、
Figure 509937DEST_PATH_IMAGE017
的行
Figure 109545DEST_PATH_IMAGE021
；图像从
Figure 841878DEST_PATH_IMAGE018
行向上 扫描到
Figure 159727DEST_PATH_IMAGE015
，找到最后一个满足
Figure 409442DEST_PATH_IMAGE016
、
Figure 863558DEST_PATH_IMAGE019
的行
Figure 508735DEST_PATH_IMAGE022
；
确定
Figure 313880DEST_PATH_IMAGE002
对应的上边界为
Figure 101707DEST_PATH_IMAGE023
，下边界为
Figure 534963DEST_PATH_IMAGE024
，其中， 前后两次的
Figure 750043DEST_PATH_IMAGE025
取
Figure 42484DEST_PATH_IMAGE026
，
Figure 978210DEST_PATH_IMAGE027
，
Figure 406918DEST_PATH_IMAGE028
，
Figure 58479DEST_PATH_IMAGE029
，
Figure 431691DEST_PATH_IMAGE030
，
Figure 561321DEST_PATH_IMAGE031
，
Figure 110115DEST_PATH_IMAGE032
，
Figure 276785DEST_PATH_IMAGE033
，
Figure 278239DEST_PATH_IMAGE034
，将粗定位结果图像的局部图像向水平 方向作投影进行细定位得到字符串上下边界以确定电能表的上下边界。
作为上述技术方案的进一步改进，所述第二定位单元的执行过程包括：
将目标电能表图像在垂直方向上进行灰度投影，采用字符间的空白间隙将单个字 符一一切分以确定所述目标电能表图像的左右边界，预设大小为
Figure 211560DEST_PATH_IMAGE035
的二值图像
Figure 473914DEST_PATH_IMAGE003
，第j列上的垂直投影值为
Figure 201698DEST_PATH_IMAGE036
，其中
Figure 300236DEST_PATH_IMAGE037
的列j表示 各个字符间的空隙，通过一条竖线从左边界向右边界扫描，找到一个字符的左边界，即第一 个
Figure 771668DEST_PATH_IMAGE038
的点
Figure 29474DEST_PATH_IMAGE039
，通过向右扫描找到第一个字符的右边界，即第一个
Figure 52794DEST_PATH_IMAGE037
的点
Figure 28840DEST_PATH_IMAGE040
， 其余字符按照上述相同过程找到其对应的左右边界以确定电能表的左右边界。
作为上述技术方案的进一步改进，所述图像处理模块还包括读数识别单元和条码识别单元，所述条码识别单元用于根据电能表上的条形码的起始区域、数据区域进行识别得到电能表的包含厂家信息、出厂日期和编号的条码信息，所述读数识别单元采用字符识别算法得到当前电能表上的电量和总电量的电量信息，所述电量信息与所述条码信息关联至电能表特征信息。
作为上述技术方案的进一步改进，图像采集模块包括图像灰度变换单元、图像二值化单元和图像滤波单元；
所述图像灰度变换单元的执行过程包括：使用加权灰度法选取三原色RGB不同权 重形成不同灰度的电能表图像，其表达式为
Figure 38384DEST_PATH_IMAGE041
，其中
Figure 416276DEST_PATH_IMAGE042
为在像素
Figure 92721DEST_PATH_IMAGE043
处，经过加权转换后得到的灰度图像；
Figure 556063DEST_PATH_IMAGE044
、
Figure 228353DEST_PATH_IMAGE045
和
Figure 460751DEST_PATH_IMAGE046
表示加权系数，当
Figure 966819DEST_PATH_IMAGE047
，
Figure 651878DEST_PATH_IMAGE048
和
Figure 878591DEST_PATH_IMAGE049
时，图像的灰度最为合理；
所述图像二值化单元的执行过程包括：通过设置一个阈值，预设为小于该阈值的 像素点都为0，反之都为1，其表达式为
Figure 965496DEST_PATH_IMAGE050
，其中
Figure 642465DEST_PATH_IMAGE051
为阈值，
Figure 673875DEST_PATH_IMAGE052
为在像素
Figure 828912DEST_PATH_IMAGE043
处的灰度值，
Figure 35903DEST_PATH_IMAGE053
为二值化值，其值为0或 者1；
所述图像滤波单元的执行过程包括：采用图像结构不被钝化的形态学滤波，其运 算过程包括腐蚀和膨胀，其中腐蚀的表达式为
Figure 493560DEST_PATH_IMAGE054
，其中腐蚀结果是 由移位元素z组成的集合，以至B对元素移位操作的结果包含于A，另外，膨胀的表达式为
Figure 153212DEST_PATH_IMAGE055
，其中B的反射进行平移与A的交集不为空，B的反射未相对于 自身原点的映像，B的平移为对B的反射进行位移；除去图像中孤立的小点和毛刺，对电能表 图像进行开运算的表达式为
Figure 111940DEST_PATH_IMAGE056
，其中
Figure 32492DEST_PATH_IMAGE057
表示利用图像B对图像A做 开运算，先用B对A进行腐蚀，然后利用B对结果进行膨胀，即将细微连在一起的图块分开；另 外一种算法为与开运算相反的闭运算，即先用B对A膨胀，然后利用B对结果进行腐蚀，即把 细微连接的图块封闭起来，以完成电能表图像的预处理。
作为上述技术方案的进一步改进，所述电能表检测模块包括液晶屏检测单元和LED跳闸灯检测单元，所述液晶屏检测单元采用字符标注文本定位液晶屏以确定液晶屏的位置，所述LED跳闸灯检测单元根据电能表液晶屏的位置确定LED跳闸灯的位置范围，在该位置范围内采用霍夫梯度法定位电能表LED跳闸灯的位置。
作为上述技术方案的进一步改进，LED跳闸灯定位的过程包括：
对电能表特征信息中的图像进行canny边缘检测得到二值边缘图像，采用Sobel算子求解每一个非零像素点x和y方向的一阶梯度值得出该像素点的梯度；
遍历二值边缘图像中所有非零像素点，沿着梯度方向绘制线段，根据设置的半径区域决定线段的长度和起点，所有梯度线段的交点为候选圆心，将候选圆心存入二维累加器中，并采用非最大值抑制法去除可能性低的候选圆心；
将累加器中的交点数目从大到小排序，最大交点数的像素点为圆心，并进行半径估计，预设最大与最小半径的预设阈值，并计算候选圆心到所有圆周线的距离，保留在预设阈值范围内的距离并进行排序；
计算排序后的大小相同距离的数目，当数目达到预设阈值时，则确定线段为该圆心的半径，遍历累加器中的所有圆心，重复上述计算候选圆心到所有圆周线的距离得到图像中所有符合条件的圆以确定LED跳闸灯的位置。
作为上述技术方案的进一步改进，所述电能表检测模块包括电能质量检测单元， 所述神经网络采用残差学习模块和分散注意力机制改进胶囊神经网络，通过卷积和为
Figure 785684DEST_PATH_IMAGE058
的卷积层，特征数据信息进一步融合后传递至初始胶囊层构建向量神经元，分类器 采用数字胶囊层分类器、全连接层分类器，按比例结合间隔损失和重构损失构建损失函数， 其过程包括：
采用不同尺寸的电能表特征信息对应的图像特征作为输入，通过卷积核大小为
Figure 932632DEST_PATH_IMAGE058
卷积原酸进行降维，将输入的数据特征通过卷积升维至N通道，采用两个模块进行数 据特征信息的提取，每个模块内分成两个分部分别进行卷积运算和注意力计算，图像特征 尺寸保持不变；
通过特征连接的方式将两个模块的输出结果连接到一起得到2N维通道的数据，然 后通过卷积核大小为
Figure 570418DEST_PATH_IMAGE058
卷积运算进行降维得到N通道，通过残差结构将输出数据与原 始数据结合，通过构建向量神经元操作形成N和向量神经元，结合动态路由算法将数据特征 信息输入至数字胶囊层，以实现电能质量的分类得到检测结果。
作为上述技术方案的进一步改进，所述电能表自动检测系统还包括身份验证单元和通信单元，所述身份验证单元用于在图像采集模块开启时对电能表与用户身份进行验证得到用户身份信息，在验证通过后将用户身份信息与条码信息进行绑定并结合检测结果通过所述通信单元发送至所述用户身份信息对应的用户端。
第二方面，本发明还提供了一种基于图像识别的电能表自动检测方法，包括以下步骤：
获取待测电能表进行拍照以得到电能表图像，对所述电能表图像进行预处理得到电能表图像对应的目标电能表图像，其中图像预处理包括图像灰度变换、图像二值化和图像滤波；
根据所述目标电能表图像采用水平投影和垂直投影进行图像识别区域定位，以确定电能表特征信息，所述电能表特征信息包括电能表读数、厂家信息和条形码信息；
根据电能表特征信息对电能表的液晶屏、LED跳闸灯进行检测并结合预设周期内的电能表读数输入至已训练的神经网络模型中训练得到电能表的检测结果。
本发明提供了一种基于图像识别的电能表自动检测系统及方法，通过获取待测电能表进行拍照以得到电能表图像，对所述电能表图像进行预处理得到电能表图像对应的目标电能表图像，根据所述目标电能表图像采用水平投影和垂直投影进行图像识别区域定位，以确定电能表特征信息，根据电能表特征信息对电能表的液晶屏、LED跳闸灯进行检测并结合预设周期内的电能表读数输入至已训练的神经网络模型中训练得到电能表的检测结果，解决了图像处理电能表中的图像易受干扰的问题而提升电能表检测效率和精确度，代替了传统人工检测电能表的工作效率较低的情况，从电能表本身外观和电能质量进行有效识别，提高了收取电费的可信度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明提供的基于图像识别的电能表自动检测系统的结构框图；
图2为本发明提供的LED跳闸灯定位的过程图；
图3为本发明提供的基于图像识别的电能表自动检测方法的流程图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
需要说明的是，当元件被称为“固定于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。相反，当元件被称作“直接在”另一元件“上”时，不存在中间元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
参阅图1，本发明提供了一种基于图像识别的电能表自动检测系统，包括：
图像采集模块，用于对待测电能表进行拍照以得到电能表图像，对所述电能表图像进行预处理得到电能表图像对应的目标电能表图像，其中图像预处理包括图像灰度变换、图像二值化和图像滤波；
图像处理模块，用于根据所述目标电能表图像采用水平投影和垂直投影进行图像 识别区域定位，以确定电能表特征信息，所述电能表特征信息包括电能表读数、厂家信息和 条形码信息，所述图像处理模块包括第一定位单元和第二定位单元，所述第一定位单元用 于识别电能表的上下边界图像，所述第二定位单元用于识别电能表的左右边界，所述第一 定位单元的执行过程包括：预设待识别的目标电能表图像的读数区域图像长宽为
Figure 220842DEST_PATH_IMAGE001
， 经过预处理得到的灰度图像为
Figure 144935DEST_PATH_IMAGE002
，将其二值化处理后所得到的图像为
Figure 903813DEST_PATH_IMAGE003
，则第i行 的水平投影值为：
Figure 938765DEST_PATH_IMAGE004
，
Figure 974854DEST_PATH_IMAGE005
；其中
Figure 948145DEST_PATH_IMAGE006
是其二值图像按行累计 分布的形式，水平投影值为非零的部分为目标对应连续的水平投影，其切分过程为：用一条 水平线从图像上方向下扫描，找到图像的上边界，即第一个满足
Figure 69685DEST_PATH_IMAGE007
的行
Figure 173907DEST_PATH_IMAGE008
，接着再 选取一条水平线从图像下方向上扫描，找到图像的下边界，即第一个
Figure 657978DEST_PATH_IMAGE007
的行
Figure 189453DEST_PATH_IMAGE009
；
电能表检测模块，用于根据电能表特征信息对电能表的液晶屏、LED跳闸灯进行检测并结合预设周期内的电能表读数输入至已训练的神经网络模型中训练得到电能表的检测结果。
本实施例中，在进行水平投影时采用先后粗细定位进行上下边界的定位，其过程 包括：将灰度图像
Figure 532710DEST_PATH_IMAGE002
经过最大类间方差的二值化得到二值图像
Figure 440623DEST_PATH_IMAGE003
，将二值图像
Figure 795512DEST_PATH_IMAGE003
中的局部图像
Figure 497889DEST_PATH_IMAGE010
向水平方向作灰度投影，第i行的水平投影为
Figure 187496DEST_PATH_IMAGE011
，其中
Figure 633521DEST_PATH_IMAGE012
，
Figure 233130DEST_PATH_IMAGE013
，W和h表示灰度图像的宽 度和高度；从
Figure 716195DEST_PATH_IMAGE014
行向下扫描到
Figure 34044DEST_PATH_IMAGE015
行，找到首个满足
Figure 18180DEST_PATH_IMAGE016
、
Figure 737875DEST_PATH_IMAGE017
的 行
Figure 641109DEST_PATH_IMAGE008
，图像从
Figure 446254DEST_PATH_IMAGE018
行向上扫描到
Figure 843868DEST_PATH_IMAGE015
行，找到首个满足
Figure 418069DEST_PATH_IMAGE016
、
Figure 633150DEST_PATH_IMAGE019
的 行
Figure 660011DEST_PATH_IMAGE009
；根据上边界
Figure 110584DEST_PATH_IMAGE008
和下边界
Figure 539292DEST_PATH_IMAGE009
切除无效的上下边界图像得到新二值图像，并统 计新二值图像对应的新的水平投影
Figure 925274DEST_PATH_IMAGE006
，图像从
Figure 311868DEST_PATH_IMAGE014
行向下扫描到
Figure 441498DEST_PATH_IMAGE015
，找到最后 一个满足
Figure 583766DEST_PATH_IMAGE016
、
Figure 406229DEST_PATH_IMAGE017
的行
Figure 407683DEST_PATH_IMAGE021
；图像从
Figure 341004DEST_PATH_IMAGE018
行向上扫描到
Figure 354090DEST_PATH_IMAGE015
，找 到最后一个满足
Figure 81875DEST_PATH_IMAGE016
、
Figure 570625DEST_PATH_IMAGE019
的行
Figure 901112DEST_PATH_IMAGE022
；确定
Figure 158918DEST_PATH_IMAGE002
对应的上边界为
Figure 323183DEST_PATH_IMAGE023
，下边界为
Figure 909017DEST_PATH_IMAGE024
，其中，前后两次的
Figure 918561DEST_PATH_IMAGE025
取
Figure 296453DEST_PATH_IMAGE026
，
Figure 490674DEST_PATH_IMAGE027
，
Figure 688437DEST_PATH_IMAGE028
，
Figure 501672DEST_PATH_IMAGE029
，
Figure 609436DEST_PATH_IMAGE030
，
Figure 584346DEST_PATH_IMAGE031
，
Figure 534984DEST_PATH_IMAGE032
，，
Figure 276544DEST_PATH_IMAGE034
，将粗定位结果图像的局部图像向水平 方向作投影进行细定位得到字符串上下边界以确定电能表的上下边界。
需要说明的是，边界定位可以实现求取整体字符串的四个边界，水平投影法用于上下边界定位，而左右边界定位使用垂直投影，水平投影法是根据二值图像中背景和目标之间突出的灰度差异来实现切分，向水平方向投影二值图像，然后确定字符串行的起始和终止线，通过字符在水平方向上的白色或黑色像素点量形成的直方图。使用边界法可以定位到电能表读数、厂家、条形码信息字符串的上下边界，得到需切割区域的灰度图像，想要实现粗定位，将OSTU二值化后获得的部分图像水平投影直方图，将粗定位结果图像的局部图像向水平作投影进行细定位，最后得到字符串上下边界，按照相同的过程可以得到字符串的左右边界，切割出完整的电能表读数、厂家和条码信息图片后，可再次应用垂直投影法得到每一个字符的左右边界，实现每个字符的独立分割，从而精准确定电能表识别区域。
应理解，所述图像处理模块还包括读数识别单元和条码识别单元，所述条码识别单元用于根据电能表上的条形码的起始区域、数据区域进行识别得到电能表的包含厂家信息、出厂日期和编号的条码信息，所述读数识别单元采用字符识别算法得到当前电能表上的电量和总电量的电量信息，所述电量信息与所述条码信息关联至电能表特征信息。条形码主要包含正面是安静区域的一部分即表示条形码搜索的开始，安静区域旁边是起始区域，不同的条形码具有不同的起始区域，该部分体现条形码的开始信号和条形码的类型信号，根据编码表中的规则对数据区域进行解密，最终的条形码数字或图形是以起始区域规定的条形码类型结合数据区域的结果计算出的数据。从电能表特征信息中选择一些有效的特征，可以达到减小属性空间尺寸的目的，提取和选择属性是尽量降低识别的识别错误率和识别时间，从而提高了电能表自动检测的效率。
可选地，图像采集模块包括图像灰度变换单元、图像二值化单元和图像滤波单元， 所述图像灰度变换单元的执行过程包括：使用加权灰度法选取三原色RGB不同权重形成不 同灰度的电能表图像，其表达式为
Figure 363449DEST_PATH_IMAGE041
，其 中
Figure 774839DEST_PATH_IMAGE042
为在像素
Figure 837209DEST_PATH_IMAGE043
处，经过加权转换后得到的灰度图像；
Figure 992246DEST_PATH_IMAGE044
、
Figure 933658DEST_PATH_IMAGE045
和
Figure 640582DEST_PATH_IMAGE046
表 示加权系数，当
Figure 300234DEST_PATH_IMAGE047
，
Figure 993383DEST_PATH_IMAGE048
和
Figure 930247DEST_PATH_IMAGE049
时，图像的灰度最为合理；所述图像二值 化单元的执行过程包括：通过设置一个阈值，预设为小于该阈值的像素点都为0，反之都为 1，其表达式为
Figure 949018DEST_PATH_IMAGE050
，其中
Figure 95966DEST_PATH_IMAGE051
为阈值，
Figure 451861DEST_PATH_IMAGE052
为在像素
Figure 367864DEST_PATH_IMAGE043
处的灰度值，
Figure 291958DEST_PATH_IMAGE053
为二值化值，其值为0或者1；
所述图像滤波单元的执行过程包括：采用图像结构不被钝化的形态学滤波，其运 算过程包括腐蚀和膨胀，其中腐蚀的表达式为
Figure 801568DEST_PATH_IMAGE054
，其中腐蚀结果是 由移位元素z组成的集合，以至B对元素移位操作的结果包含于A，另外，膨胀的表达式为
Figure 102099DEST_PATH_IMAGE055
，其中B的反射进行平移与A的交集不为空，B的反射未相对于 自身原点的映像，B的平移为对B的反射进行位移；除去图像中孤立的小点和毛刺，对电能表 图像进行开运算的表达式为
Figure 872609DEST_PATH_IMAGE056
，其中
Figure 233183DEST_PATH_IMAGE057
表示利用图像B对图像A做 开运算，先用B对A进行腐蚀，然后利用B对结果进行膨胀，即将细微连在一起的图块分开；另 外一种算法为与开运算相反的闭运算，即先用B对A膨胀，然后利用B对结果进行腐蚀，即把 细微连接的图块封闭起来，以完成电能表图像的预处理。
本实施例中，通过专业的图像获取设备采集电能表图像后，对他图像进行预处理，主要包括图像灰度变换、图像二值化和图像滤波，由于人眼对绿色的敏感度最高，对蓝色敏感度最低，使用加权灰度取三原色RGB不同权重时，能够形成不同灰度的图像，便于人眼识别。电能表经过加权灰度变换之后，由于图像提取对图像的要求较高，图像数据量过大会增加图像提取的计算量，不利于有效获取电能表图像的信息，因此，采用二值化处理方式，电能表经过二值化后使图像数据量减少，图像轮廓逐渐清晰，由于图像获取、处理和传输等过程中不可避免的存在很多问题，从而容易导致图像受到各种噪声的污染，对电能表图像进行降噪的处理效果，直接影响到后续图像提取和判决的有效性。
需要说明的是，经过对电能表图像的预处理，图像质量得到大幅提升，通过对电能表图像特征进行提取，作为识别和分析电能表的依据，图像特征提取方法主要包括统计、模块和结构等识别方法，模板匹配是常用的图像识别过程，采用模板匹配即在电能表图像中搜索表示数、条码信息等目标信息并确定其位置。
可选地，所述电能表检测模块包括液晶屏检测单元和LED跳闸灯检测单元，所述液晶屏检测单元采用字符标注文本定位液晶屏以确定液晶屏的位置，所述LED跳闸灯检测单元根据电能表液晶屏的位置确定LED跳闸灯的位置范围，在该位置范围内采用霍夫梯度法定位电能表LED跳闸灯的位置。
本实施例中，液晶屏检测的过程包括图像的获取、流媒体的格式转换和数字识别，流媒体的格式转换是为了实现系统的实时性，先将原始的码流通过回调函数输出为YUV色度图像，然后转换为可供后续处理的RGB图像格式，再运用数字识别算法对电能表液晶屏上的数字进行实时读取识别。数字识别算法的过程是先对图像中的数字区域进行定位，然后进行高斯滤波，去除图像噪声，接着进行二值化和图像形态学处理，以便于图像字符分割，最后进行数字识别。数字区域的分割采用检测连通域的方法进行分割，运用OpenCV中的findContours函数检测图像中的所有连通域，检测出的连通域会以一系列的点来描述，如用四个点来描述一个矩形连通域，由于电能表中的数字是长宽比固定的矩形，所以其检测出的外轮廓也是一个长宽比固定的矩形，若长宽比例为5:2，在检测出的所有轮廓中只需按此比例进行筛选，将检测出的轮廓矩形比例为5:2的部分保留下来，其余部分剔除，即可将数字分割出来，此时分割出来的数字为乱序，需要对数字的排列位置进行重新排序，在提取轮廓时按照数字的X坐标的大小对提取出的轮廓进行有序的标注即命名和存储。为了检测电能表LED跳闸灯是否点亮，需要对其进行准确定位，根据LED跳闸灯位置特征分析，其距离液晶屏左下角约三分之一的距离，可以在指定区域范围内进行搜索，以避免其他LED灯的干扰，并可以提高运算速率。
参阅图2，可选地，LED跳闸灯定位的过程包括：
S20：对电能表特征信息中的图像进行canny边缘检测得到二值边缘图像，采用Sobel算子求解每一个非零像素点x和y方向的一阶梯度值得出该像素点的梯度；
S21：遍历二值边缘图像中所有非零像素点，沿着梯度方向绘制线段，根据设置的半径区域决定线段的长度和起点，所有梯度线段的交点为候选圆心，将候选圆心存入二维累加器中，并采用非最大值抑制法去除可能性低的候选圆心；
S22：将累加器中的交点数目从大到小排序，最大交点数的像素点为圆心，并进行半径估计，预设最大与最小半径的预设阈值，并计算候选圆心到所有圆周线的距离，保留在预设阈值范围内的距离并进行排序；
S23：计算排序后的大小相同距离的数目，当数目达到预设阈值时，则确定线段为该圆心的半径，遍历累加器中的所有圆心，重复上述计算候选圆心到所有圆周线的距离得到图像中所有符合条件的圆以确定LED跳闸灯的位置。
本实施例中，采用霍夫变换法对圆形LED灯定位，采用霍夫变换法是一种图像特征提取技术，可以有效检测图像中的几何形状，如直线、圆形灯形状，霍夫圆变换可以通过将笛卡尔坐标系转化为球形坐标系，但由于球形坐标系是三维空间，需要使用三维累加器，导致算法运算量较大、执行效率低，为了有效解决这个问题，对圆形检测可以通过霍夫梯度法进行实现。
可选地，所述电能表检测模块包括电能质量检测单元，所述神经网络采用残差学 习模块和分散注意力机制改进胶囊神经网络，通过卷积和为
Figure 213777DEST_PATH_IMAGE058
的卷积层，特征数据信 息进一步融合后传递至初始胶囊层构建向量神经元，分类器采用数字胶囊层分类器、全连 接层分类器，按比例结合间隔损失和重构损失构建损失函数，其过程包括：
采用不同尺寸的电能表特征信息对应的图像特征作为输入，通过卷积核大小为
Figure 52420DEST_PATH_IMAGE058
卷积原酸进行降维，将输入的数据特征通过卷积升维至N通道，采用两个模块进行数 据特征信息的提取，每个模块内分成两个分部分别进行卷积运算和注意力计算，图像特征 尺寸保持不变；
通过特征连接的方式将两个模块的输出结果连接到一起得到2N维通道的数据，然 后通过卷积核大小为
Figure 552803DEST_PATH_IMAGE058
卷积运算进行降维得到N通道，通过残差结构将输出数据与原 始数据结合，通过构建向量神经元操作形成N和向量神经元，结合动态路由算法将数据特征 信息输入至数字胶囊层，以实现电能质量的分类得到检测结果。
本实施例中，分散注意力机制是将输入特征数据进行分组，分别在组内进行卷积运算和注意力运算，组内不同的特征数据获得不同的权重，增加了模型特征凸显作用和运行效率。胶囊网络是由向量神经元实例化了对象并保留了空间特征之间的相互关系，向量神经元与标量神经元主要区别在于输入输出数据的结构形式，采用向量结构具有更丰富的特征表达能力。将电能表特征信息作为输入样本，可以对一个区域在一段时间内电能质量扰动进行识别，从而获取精准电能表数据并知晓当地的电能实时状况。
可选地，所述电能表自动检测系统还包括身份验证单元和通信单元，所述身份验证单元用于在图像采集模块开启时对电能表与用户身份进行验证得到用户身份信息，在验证通过后将用户身份信息与条码信息进行绑定并结合检测结果通过所述通信单元发送至所述用户身份信息对应的用户端。
本实施例中，通过将电能表特征信息与用户身份信息进行有效关联，便于通过通信单元将电能表的检测结果有效反馈至用户，同时也节省了人工查看或者故障排查的时间，更加智能化和及时性对电能表的电量、液晶屏、故障如跳闸等进行合理预警，提高了用户体验。
参阅图3，本发明还提供了一种基于图像识别的电能表自动检测方法，包括以下步骤：
S30：获取待测电能表进行拍照以得到电能表图像，对所述电能表图像进行预处理得到电能表图像对应的目标电能表图像，其中图像预处理包括图像灰度变换、图像二值化和图像滤波；
S31：根据所述目标电能表图像采用水平投影和垂直投影进行图像识别区域定位，以确定电能表特征信息，所述电能表特征信息包括电能表读数、厂家信息和条形码信息；
S32：根据电能表特征信息对电能表的液晶屏、LED跳闸灯进行检测并结合预设周期内的电能表读数输入至已训练的神经网络模型中训练得到电能表的检测结果。
本实施例中，通过获取待测电能表进行拍照以得到电能表图像，对所述电能表图像进行预处理得到电能表图像对应的目标电能表图像，根据所述目标电能表图像采用水平投影和垂直投影进行图像识别区域定位，以确定电能表特征信息，根据电能表特征信息对电能表的液晶屏、LED跳闸灯进行检测并结合预设周期内的电能表读数输入至已训练的神经网络模型中训练得到电能表的检测结果，解决了图像处理电能表中的图像易受干扰的问题而提升电能表检测效率和精确度，代替了传统人工检测电能表的工作效率较低的情况，从电能表本身外观和电能质量进行有效识别，提高了收取电费的可信度。
在这里示出和描述的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制，因此，示例性实施例的其他示例可以具有不同的值。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (10)

1.一种基于图像识别的电能表自动检测系统，其特征在于，包括：
图像采集模块，用于对待测电能表进行拍照以得到电能表图像，对所述电能表图像进行预处理得到电能表图像对应的目标电能表图像，其中图像预处理包括图像灰度变换、图像二值化和图像滤波；
图像处理模块，用于根据所述目标电能表图像采用水平投影和垂直投影进行图像识别 区域定位，以确定电能表特征信息，所述电能表特征信息包括电能表读数、厂家信息和条形 码信息，所述图像处理模块包括第一定位单元和第二定位单元，所述第一定位单元用于识 别电能表的上下边界图像，所述第二定位单元用于识别电能表的左右边界，所述第一定位 单元的执行过程包括：预设待识别的目标电能表图像的读数区域图像长宽为
Figure 168316DEST_PATH_IMAGE001
，经过 预处理得到的灰度图像为
Figure 882194DEST_PATH_IMAGE002
，将其二值化处理后所得到的图像为
Figure 396352DEST_PATH_IMAGE003
，则第i行的水 平投影值为：
Figure 198086DEST_PATH_IMAGE004
，
Figure 543617DEST_PATH_IMAGE005
；其中
Figure 38183DEST_PATH_IMAGE006
是其二值图像按行累计分布 的形式，水平投影值为非零的部分为目标对应连续的水平投影，其切分过程为：用一条水平 线从图像上方向下扫描，找到图像的上边界，即第一个满足
Figure 39637DEST_PATH_IMAGE007
的行
Figure 769696DEST_PATH_IMAGE008
，接着再选取 一条水平线从图像下方向上扫描，找到图像的下边界，即第一个
Figure 845099DEST_PATH_IMAGE007
的行
Figure 635201DEST_PATH_IMAGE009
；
电能表检测模块，用于根据电能表特征信息对电能表的液晶屏、LED跳闸灯进行检测并结合预设周期内的电能表读数输入至已训练的神经网络模型中训练得到电能表的检测结果。
2.根据权利要求1所述的一种基于图像识别的电能表自动检测系统，其特征在于，在进行水平投影时采用先后粗细定位进行上下边界的定位，其过程包括：
将灰度图像
Figure 796055DEST_PATH_IMAGE002
经过最大类间方差的二值化得到二值图像
Figure 267487DEST_PATH_IMAGE003
，将二值图像
Figure 587610DEST_PATH_IMAGE003
中的局部图像
Figure 423979DEST_PATH_IMAGE010
向水平方向作灰度投影，第i行的水平投影为
Figure 400025DEST_PATH_IMAGE011
，其中
Figure 471887DEST_PATH_IMAGE012
，
Figure 521882DEST_PATH_IMAGE013
，W和h表示灰度图像的宽 度和高度；
从
Figure 388207DEST_PATH_IMAGE014
行向下扫描到
Figure 851549DEST_PATH_IMAGE015
行，找到首个满足
Figure 599538DEST_PATH_IMAGE016
、
Figure 831936DEST_PATH_IMAGE017
的行
Figure 400321DEST_PATH_IMAGE008
， 图像从
Figure 757484DEST_PATH_IMAGE018
行向上扫描到
Figure 374410DEST_PATH_IMAGE015
行，找到首个满足
Figure 523632DEST_PATH_IMAGE016
、
Figure 200601DEST_PATH_IMAGE019
的行
Figure 45060DEST_PATH_IMAGE009
；
根据上边界
Figure 262415DEST_PATH_IMAGE008
和下边界
Figure 469405DEST_PATH_IMAGE009
切除无效的上下边界图像得到新二值图像
Figure 254959DEST_PATH_IMAGE020
， 并统计新二值图像对应的新的水平投影
Figure 711348DEST_PATH_IMAGE006
，图像从
Figure 670076DEST_PATH_IMAGE014
行向下扫描到
Figure 403677DEST_PATH_IMAGE015
，找到 最后一个满足
Figure 422449DEST_PATH_IMAGE016
、
Figure 631713DEST_PATH_IMAGE017
的行
Figure 394133DEST_PATH_IMAGE021
；图像从
Figure 982240DEST_PATH_IMAGE018
行向上扫描到
Figure 968651DEST_PATH_IMAGE015
，找到最后一个满足
Figure 602894DEST_PATH_IMAGE016
、
Figure 841109DEST_PATH_IMAGE019
的行
Figure 673936DEST_PATH_IMAGE022
；
确定
Figure 768931DEST_PATH_IMAGE002
对应的上边界为
Figure 828153DEST_PATH_IMAGE023
，下边界为
Figure 932376DEST_PATH_IMAGE024
，其中，前后 两次的
Figure 619709DEST_PATH_IMAGE025
取
Figure 151184DEST_PATH_IMAGE026
，
Figure 169475DEST_PATH_IMAGE027
，
Figure 139705DEST_PATH_IMAGE028
，
Figure 884807DEST_PATH_IMAGE029
，
Figure 259287DEST_PATH_IMAGE030
，
Figure 152157DEST_PATH_IMAGE031
，
Figure 598182DEST_PATH_IMAGE032
，
Figure 135474DEST_PATH_IMAGE033
，
Figure 8752DEST_PATH_IMAGE034
，将粗定位结果图像的局部图像向水平 方向作投影进行细定位得到字符串上下边界以确定电能表的上下边界。
3.根据权利要求1所述的一种基于图像识别的电能表自动检测系统，其特征在于，所述第二定位单元的执行过程包括：
将目标电能表图像在垂直方向上进行灰度投影，采用字符间的空白间隙将单个字符一 一切分以确定所述目标电能表图像的左右边界，预设大小为
Figure 388918DEST_PATH_IMAGE035
的二值图像
Figure 45158DEST_PATH_IMAGE003
，第j 列上的垂直投影值为
Figure 764852DEST_PATH_IMAGE036
，其中
Figure 871349DEST_PATH_IMAGE037
的列j表示各个 字符间的空隙，通过一条竖线从左边界向右边界扫描，找到一个字符的左边界，即第一个
Figure 348597DEST_PATH_IMAGE038
的点
Figure 136425DEST_PATH_IMAGE039
，通过向右扫描找到第一个字符的右边界，即第一个
Figure 772942DEST_PATH_IMAGE037
的点
Figure 988023DEST_PATH_IMAGE040
，其 余字符按照上述相同过程找到其对应的左右边界以确定电能表的左右边界。
4.根据权利要求1所述的一种基于图像识别的电能表自动检测系统，其特征在于，所述图像处理模块还包括读数识别单元和条码识别单元，所述条码识别单元用于根据电能表上的条形码的起始区域、数据区域进行识别得到电能表的包含厂家信息、出厂日期和编号的条码信息，所述读数识别单元采用字符识别算法得到当前电能表上的电量和总电量的电量信息，所述电量信息与所述条码信息关联至电能表特征信息。
5.根据权利要求1所述的一种基于图像识别的电能表自动检测系统，其特征在于，图像采集模块包括图像灰度变换单元、图像二值化单元和图像滤波单元；
所述图像灰度变换单元的执行过程包括：使用加权灰度法选取三原色RGB不同权重形 成不同灰度的电能表图像，其表达式为
Figure 952568DEST_PATH_IMAGE041
，其中
Figure 340824DEST_PATH_IMAGE042
为在像素
Figure 769531DEST_PATH_IMAGE043
处，经过加权转换后得到的灰度图像；
Figure 93197DEST_PATH_IMAGE044
、
Figure 669671DEST_PATH_IMAGE045
和
Figure 799301DEST_PATH_IMAGE046
表示加权系数，当
Figure 20198DEST_PATH_IMAGE047
，
Figure 842661DEST_PATH_IMAGE048
和
Figure 640853DEST_PATH_IMAGE049
时，图像的灰度最为合理；
所述图像二值化单元的执行过程包括：通过设置一个阈值，预设为小于该阈值的像素 点都为0，反之都为1，其表达式为
Figure 508927DEST_PATH_IMAGE050
，其中
Figure 646647DEST_PATH_IMAGE051
为阈值，
Figure 702328DEST_PATH_IMAGE052
为在像素
Figure 863182DEST_PATH_IMAGE043
处的灰度值，
Figure 334615DEST_PATH_IMAGE053
为二值化值，其值为0或 者1；
所述图像滤波单元的执行过程包括：采用图像结构不被钝化的形态学滤波，其运算过 程包括腐蚀和膨胀，其中腐蚀的表达式为
Figure 654737DEST_PATH_IMAGE054
，其中腐蚀结果是由移 位元素z组成的集合，以至B对元素移位操作的结果包含于A，另外，膨胀的表达式为
Figure 819003DEST_PATH_IMAGE055
，其中B的反射进行平移与A的交集不为空，B的反射未相对于 自身原点的映像，B的平移为对B的反射进行位移；除去图像中孤立的小点和毛刺，对电能表 图像进行开运算的表达式为
Figure 467153DEST_PATH_IMAGE056
，其中
Figure 742276DEST_PATH_IMAGE057
表示利用图像B对图像A做 开运算，先用B对A进行腐蚀，然后利用B对结果进行膨胀，即将细微连在一起的图块分开；另 外一种算法为与开运算相反的闭运算，即先用B对A膨胀，然后利用B对结果进行腐蚀，即把 细微连接的图块封闭起来，以完成电能表图像的预处理。
6.根据权利要求1所述的一种基于图像识别的电能表自动检测系统，其特征在于，所述电能表检测模块包括液晶屏检测单元和LED跳闸灯检测单元，所述液晶屏检测单元采用字符标注文本定位液晶屏以确定液晶屏的位置，所述LED跳闸灯检测单元根据电能表液晶屏的位置确定LED跳闸灯的位置范围，在该位置范围内采用霍夫梯度法定位电能表LED跳闸灯的位置。
7.根据权利要求6所述的一种基于图像识别的电能表自动检测系统，其特征在于，LED跳闸灯定位的过程包括：
对电能表特征信息中的图像进行canny边缘检测得到二值边缘图像，采用Sobel算子求解每一个非零像素点x和y方向的一阶梯度值得出该像素点的梯度；
遍历二值边缘图像中所有非零像素点，沿着梯度方向绘制线段，根据设置的半径区域决定线段的长度和起点，所有梯度线段的交点为候选圆心，将候选圆心存入二维累加器中，并采用非最大值抑制法去除可能性低的候选圆心；
将累加器中的交点数目从大到小排序，最大交点数的像素点为圆心，并进行半径估计，预设最大与最小半径的预设阈值，并计算候选圆心到所有圆周线的距离，保留在预设阈值范围内的距离并进行排序；
计算排序后的大小相同距离的数目，当数目达到预设阈值时，则确定线段为该圆心的半径，遍历累加器中的所有圆心，重复上述计算候选圆心到所有圆周线的距离得到图像中所有符合条件的圆以确定LED跳闸灯的位置。
8.根据权利要求6所述的一种基于图像识别的电能表自动检测系统，其特征在于，所述 电能表检测模块包括电能质量检测单元，所述神经网络采用残差学习模块和分散注意力机 制改进胶囊神经网络，通过卷积和为
Figure 916906DEST_PATH_IMAGE058
的卷积层，特征数据信息进一步融合后传递至 初始胶囊层构建向量神经元，分类器采用数字胶囊层分类器、全连接层分类器，按比例结合 间隔损失和重构损失构建损失函数，其过程包括：
采用不同尺寸的电能表特征信息对应的图像特征作为输入，通过卷积核大小为
Figure 924176DEST_PATH_IMAGE058
卷积原酸进行降维，将输入的数据特征通过卷积升维至N通道，采用两个模块进行数据特征 信息的提取，每个模块内分成两个分部分别进行卷积运算和注意力计算，图像特征尺寸保 持不变；
通过特征连接的方式将两个模块的输出结果连接到一起得到2N维通道的数据，然后通 过卷积核大小为
Figure 387518DEST_PATH_IMAGE058
卷积运算进行降维得到N通道，通过残差结构将输出数据与原始数 据结合，通过构建向量神经元操作形成N和向量神经元，结合动态路由算法将数据特征信息 输入至数字胶囊层，以实现电能质量的分类得到检测结果。
9.根据权利要求1所述的一种基于图像识别的电能表自动检测系统，其特征在于，所述电能表自动检测系统还包括身份验证单元和通信单元，所述身份验证单元用于在图像采集模块开启时对电能表与用户身份进行验证得到用户身份信息，在验证通过后将用户身份信息与条码信息进行绑定并结合检测结果通过所述通信单元发送至所述用户身份信息对应的用户端。
10.一种基于图像识别的电能表自动检测方法，包括执行权利要求1-9任一项所述的基于图像识别的电能表自动检测系统，其特征在于，所述基于图像识别的电能表自动检测方法包括以下步骤：
获取待测电能表进行拍照以得到电能表图像，对所述电能表图像进行预处理得到电能表图像对应的目标电能表图像，其中图像预处理包括图像灰度变换、图像二值化和图像滤波；
根据所述目标电能表图像采用水平投影和垂直投影进行图像识别区域定位，以确定电能表特征信息，所述电能表特征信息包括电能表读数、厂家信息和条形码信息；
根据电能表特征信息对电能表的液晶屏、LED跳闸灯进行检测并结合预设周期内的电能表读数输入至已训练的神经网络模型中训练得到电能表的检测结果。
CN202210989601.4A 2022-08-18 2022-08-18 一种基于图像识别的电能表自动检测系统及方法 Pending CN115082776A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210989601.4A CN115082776A (zh) 2022-08-18 2022-08-18 一种基于图像识别的电能表自动检测系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210989601.4A CN115082776A (zh) 2022-08-18 2022-08-18 一种基于图像识别的电能表自动检测系统及方法

Publications (1)

Publication Number Publication Date
CN115082776A true CN115082776A (zh) 2022-09-20

Family

ID=83245208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210989601.4A Pending CN115082776A (zh) 2022-08-18 2022-08-18 一种基于图像识别的电能表自动检测系统及方法

Country Status (1)

Country Link
CN (1) CN115082776A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661098A (zh) * 2022-10-31 2023-01-31 河海大学 一种海底管线二维冲刷剖面图像识别与数据提取方法
CN117095389A (zh) * 2023-10-19 2023-11-21 南京电力自动化设备三厂有限公司 基于液晶视觉识别单元的图像数据处理方法及系统
CN118115744A (zh) * 2024-04-23 2024-05-31 江苏卡欧万泓电子有限公司 一种基于图像识别的电能表外壳检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236788A (zh) * 2010-04-20 2011-11-09 荣科科技股份有限公司 电力电能表图像自动识别方法
CN102298134A (zh) * 2010-06-23 2011-12-28 荣科科技股份有限公司 撤回电能表批量检测方法与装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236788A (zh) * 2010-04-20 2011-11-09 荣科科技股份有限公司 电力电能表图像自动识别方法
CN102298134A (zh) * 2010-06-23 2011-12-28 荣科科技股份有限公司 撤回电能表批量检测方法与装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
彭宇: "基于卷积神经网络的电能表液晶屏缺陷检测系统设计", 《硕士电子期刊》 *
蒋鑫源: "电能表图像识别技术研究与实现", 《硕士电子期刊》 *
陈川川: "基于改进VMD与深度学习的电能质量扰动检测与分类研究", 《硕士电子期刊》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661098A (zh) * 2022-10-31 2023-01-31 河海大学 一种海底管线二维冲刷剖面图像识别与数据提取方法
CN115661098B (zh) * 2022-10-31 2024-02-06 河海大学 一种海底管线二维冲刷剖面图像识别与数据提取方法
CN117095389A (zh) * 2023-10-19 2023-11-21 南京电力自动化设备三厂有限公司 基于液晶视觉识别单元的图像数据处理方法及系统
CN117095389B (zh) * 2023-10-19 2024-02-06 南京电力自动化设备三厂有限公司 基于液晶视觉识别单元的图像数据处理方法及系统
CN118115744A (zh) * 2024-04-23 2024-05-31 江苏卡欧万泓电子有限公司 一种基于图像识别的电能表外壳检测方法
CN118115744B (zh) * 2024-04-23 2024-07-02 江苏卡欧万泓电子有限公司 一种基于图像识别的电能表外壳检测方法

Similar Documents

Publication Publication Date Title
CN109840521B (zh) 一种基于深度学习的一体化车牌识别方法
Shahab et al. ICDAR 2011 robust reading competition challenge 2: Reading text in scene images
CN109829914B (zh) 检测产品缺陷的方法和装置
CN107545239B (zh) 一种基于车牌识别与车辆特征匹配的套牌检测方法
CN105046252B (zh) 一种人民币冠字码识别方法
CN103761531B (zh) 基于形状轮廓特征的稀疏编码车牌字符识别方法
CN115082776A (zh) 一种基于图像识别的电能表自动检测系统及方法
CN115082419A (zh) 一种吹塑箱包生产缺陷检测方法
CN107273896A (zh) 一种基于图像识别的车牌检测识别方法
CN106846339A (zh) 一种图像检测方法和装置
CN106529532A (zh) 一种基于积分特征通道与灰度投影的车牌识别系统
CN106096610A (zh) 一种基于支持向量机的文档图像二值化方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN104408449A (zh) 智能移动终端场景文字处理方法
CN108829711B (zh) 一种基于多特征融合的图像检索方法
CN106934386A (zh) 一种基于自启发式策略的自然场景文字检测方法及系统
CN109784341A (zh) 一种基于lstm神经网络的医疗单据识别方法
CN113537037A (zh) 路面病害识别方法、系统、电子设备及存储介质
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN113313149B (zh) 一种基于注意力机制和度量学习的菜品识别方法
CN106557740A (zh) 一种遥感图像中油库目标的识别方法
CN110689003A (zh) 低照度成像车牌识别方法、系统、计算机设备及存储介质
CN108509950A (zh) 基于概率特征加权融合的铁路接触网支柱号牌检测识别法
Mei et al. A novel framework for container code-character recognition based on deep learning and template matching
CN113537211A (zh) 一种基于非对称iou的深度学习车牌框定位方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination