Nothing Special   »   [go: up one dir, main page]

CN111369513A - 一种异常检测方法、装置、终端设备及存储介质 - Google Patents

一种异常检测方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN111369513A
CN111369513A CN202010129846.0A CN202010129846A CN111369513A CN 111369513 A CN111369513 A CN 111369513A CN 202010129846 A CN202010129846 A CN 202010129846A CN 111369513 A CN111369513 A CN 111369513A
Authority
CN
China
Prior art keywords
image
scale
determining
images
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010129846.0A
Other languages
English (en)
Other versions
CN111369513B (zh
Inventor
邹超洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Original Assignee
Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Shiyuan Electronics Thecnology Co Ltd filed Critical Guangzhou Shiyuan Electronics Thecnology Co Ltd
Priority to CN202010129846.0A priority Critical patent/CN111369513B/zh
Publication of CN111369513A publication Critical patent/CN111369513A/zh
Application granted granted Critical
Publication of CN111369513B publication Critical patent/CN111369513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例公开了一种异常检测方法、装置、终端设备及存储介质，该方法包括：获取待检测图像的至少两个尺度的尺度图像；确定各所述尺度图像的校正图像；根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；融合各所述置信度图像，确定液晶显示器的异常区域，所述待检测图像为所述液晶显示器显示画面的图像，该方法能够有效解决通过人工评估进行异常检测的歧义性，提升了对液晶显示器进行异常检测的准确率。

Description

一种异常检测方法、装置、终端设备及存储介质
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种异常检测方法、装置、终端设备及存储介质。
背景技术
液晶显示器(Liquid Crystal Display，LCD)由于背光板灯管异常(如照度不均)等原因，会造成局部显示不均匀的现象。针对此类缺陷，一般会根据主观判定来确定LCD上是否存在异常区域，然而通过主观判定存在一定的歧义性。此外，在进行异常区域检测时还可以将LCD的待测试图像和标准样品的标准图像对比，以确定LCD上的异常区域，然而，标准图像的获取也是人工评估的，故该标准图像上可能存在异常区域，从而使得LCD的检测结果不准确。
故，如何有效的对LCD进行异常检测是目前亟待解决的技术问题。
发明内容
本发明实施例提供了一种异常检测方法、装置、终端设备及存储介质，以提高液晶显示器异常检测的准确率。
第一方面，本发明实施例提供了一种异常检测方法，包括：
获取待检测图像的至少两个尺度的尺度图像；
确定各所述尺度图像的校正图像；
根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；
融合各所述置信度图像，确定液晶显示器的异常区域，所述待检测图像为所述液晶显示器显示画面的图像。
第二方面，本发明实施例提供了一种异常检测装置，包括：
获取模块，用于获取待检测图像的至少两个尺度的尺度图像；
校正图像确定模块，用于确定各所述尺度图像的校正图像；
置信度图像确定模块，用于根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；
融合模块，用于融合各所述置信度图像，确定液晶显示器的异常区域，所述待检测图像为所述液晶显示器显示画面的图像。
第三方面，本发明实施例还提供了一种终端设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的方法。
本发明实施例提供了一种异常检测方法、装置、终端设备及存储介质，上述技术方案，首先获取待检测图像的至少两个尺度的尺度图像；其次确定各所述尺度图像的校正图像；然后根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；最后融合各所述置信度图像，确定液晶显示器的异常区域，所述待检测图像为所述液晶显示器显示画面的图像。利用上述技术方案能够有效解决通过人工评估进行异常检测的歧义性，该方法无需人工评估，也不设置标准图像，直接对待检测图像的各尺度图像进行置信度分析，即确定各尺度图像的置信度图像，以基于置信度图像确定液晶显示器的异常区域，自动确定出了液晶显示器的异常区域，提升了对液晶显示器进行异常检测的准确率。
附图说明
图1为本发明实施例一提供的一种异常检测方法的流程示意图；
图2为本发明实施例二提供的一种异常检测方法的流程示意图；
图2a为本发明实施例提供的一种边缘检测效果图；
图2b为本发明实施例提供的一种掩膜图像的示意图；
图2c为本发明实施例提供的一种投影校正后的尺度图像；
图2d为本发明实施例提供的一种投影校正后的掩膜图像；
图2e为本发明实施例提供的一种投影校正后的掩膜图像的边缘图；
图2f为本发明实施例提供的一种尺度图像感兴趣区域的示意图；
图2g为本发明实施例提供的一种置信度图像的示意图；
图3为本发明实施例三提供的一种异常检测装置的结构示意图；
图4为本发明实施例四提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例一
图1为本发明实施例一提供的一种异常检测方法的流程示意图，该方法可适用于进行液晶显示器异常区域检测的情况。该方法可以由异常检测装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上，此处不对终端设备进行限定，终端设备可以为能够进行图像处理的设备。
如图1所示，本发明实施例一提供的一种异常检测方法，包括如下步骤：
S110、获取待检测图像的至少两个尺度的尺度图像。
在本实施例中，待检测图像为液晶显示器显示画面的图像。具体的，待检测图像为暗室中液晶显示器显示纯白画面的图像。尺度图像可以认为是待检测图像以不同尺度呈现的图像。不同尺度图像的分辨率可以不同。
本申请不对获取待显示图像的方式进行限定，在一示例中，待检测图像可以为图像采集装置，如摄像头，拍摄暗室中显示纯白画面的液晶显示器获取的图像。
本步骤可以基于待检测图像获取至少两个尺度的尺度图像。此处不对获取尺度图像的手段进行限定，如可以通过调整待检测图像的尺度及分辨率，以得到不同尺度的尺度图像。
示例性的，本步骤可以建立待检测图像的高斯金字塔或拉普拉斯金字塔，以得到至少两个尺度的尺度图像。其中，至少两个尺度的尺度图像中可以包含有待检测图像。其中，高斯金字塔为信号的多尺度表示法，亦即将同一信号或图片多次的进行高斯模糊，并且向下取样，藉以产生不同尺度下的多组信号或图片以进行后续的处理。
获取尺度图像后，本申请可以通过对各尺度图像分别分析，以汇总得到待检测图像的异常区域，从而提升异常检测的准确性。需要注意的是，在进行液晶显示器的异常检测时，可以通过对待检测图像进行分析确定液晶显示器的异常区域。待检测图像为摄像头拍摄液晶显示器获得的图像，通过待检测图像的异常区域可以推断出液晶显示器中的异常显示区域。
S120、确定各所述尺度图像的校正图像。
获取尺度图像后，本步骤可以对尺度图像进行处理，如对尺度图像进行校正得到校正图像。其中，校正图像可以为尺度图像矫正后的图像，还可以为尺度图像的掩膜图像矫正后的图像。
示例性的，本步骤可以直接将尺度图像进行校正处理，得到校正图像；还可以首先得到各尺度图像的掩膜图像，然后对掩膜图像进行校正处理，得到校正图像。此处不对校正手段进行限定，如可以采用单应变换矩阵对相应的图像进行处理，以得到校正图像。
基于尺度图像的掩膜图像确定的校正图像，可以用于确定感兴趣区域，通过掩膜图像确定感兴趣区域能够更加准确。然后对尺度图像的校正图像中对应的感兴趣区域进行分析，以进行异常检测。其中，掩膜图像可以为对相应图像进行边缘检测所得目标区域掩膜后得到的图像。示例性的，对尺度图像进行边缘检测得到边缘区域，即目标区域，然后获取目标区域掩膜得到尺度图像的掩膜图像。
S130、根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像。
在本实施例中，置信度图像可以理解为对尺度图像校正后得到的校正图像中感兴趣区域的图像，该图像中可以标识有异常区域，以体现尺度图像的校正图像中感兴趣区域中的异常区域。
在一个示例中，本步骤可以直接对校正图像(该校正图像可以为直接对尺度图像校正得到的图像)进行边缘检测，得到该校正图像的感兴趣区域。然后对感兴趣区域进行分析，确定感兴趣区域的异常区域，从而得到该校正图像的置信度图像，即该校正图像对应的尺度图像的置信度图像。在本示例中，通过直接对尺度图像进行校正得到校正图像，从而确定置信度图像，能够快速确定出置信度图像。
在一个示例中，本步骤可以对校正图像(该校正图像可以为对尺度图像的掩膜图像进行校正后得到的图像)进行边缘检测，得到该校正图像的感兴趣区域。然后对感兴趣区域进行分析，确定感兴趣区域的异常区域，从而得到该校正图像的置信度图像，即该校正图像对应的尺度图像的置信度图像。在本示例中，通过对尺度图像的掩膜图像进行校正得到校正图像，从而确定置信度图像，能够提升异常检测的准确性。
此处不对分析的手段进行限定，如采用图像处理的方式进行分析，示例性的，基于感兴趣区域中不同子区域的显示参数的标准差确定异常区域，显示参数不作限定。显示参数可以包括但不限于像素。
S140、融合各所述置信度图像，确定液晶显示器的异常区域。
在本实施例中，异常区域可以认为是显示异常的区域。待检测图像为液晶显示器显示画面的图像。
在确定置信度图像后，本步骤可以融合各置信度图像，以确定待检测图像的异常区域。各置信度图像可以认为是对不同尺度的尺度图像分析确定出的包含有异常区域的图像。此处不对融合的手段进行限定，只要能够汇总各置信度图像即可。如为不同的置信度图像设置不同的权重以叠加得到融合后的图像，即融合图像，然后根据融合图像中所标识的异常区域，确定液晶显示器的异常区域。
融合图像可以认为是将待检测图像校正后进行置信度分析得到的图像。故本步骤也可以基于融合图像中的异常区域，直接确定出液晶显示器的异常区域，融合图像中的坐标与液晶显示器中的坐标可以存在一一对应关系，此处不对确定的手段进行限定。
本发明实施例一提供了一种异常检测方法，该方法首先获取待检测图像的至少两个尺度的尺度图像；其次确定各所述尺度图像的校正图像；然后根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；最后融合各所述置信度图像，确定液晶显示器的异常区域，所述待检测图像为所述液晶显示器显示画面的图像。利用该方法能够有效解决通过人工评估进行异常检测的歧义性，该方法无需人工评估，也不设置标准图像，直接对待检测图像的各尺度图像进行置信度分析，即确定各尺度图像的置信度图像，以基于置信度图像确定液晶显示器的异常区域，自动确定出了液晶显示器的异常区域，提升了对液晶显示器进行异常检测的准确率。
实施例二
图2为本发明实施例二提供的一种异常检测方法的流程示意图，本实施例二在上述各实施例的基础上进行具体化。在本实施例中，将获取待检测图像的至少两个尺度的尺度图像，具体化为：建立所述待检测图像的高斯金字塔，得到至少两个尺度的尺度图像。
进一步地，本发明还将确定各所述尺度图像的校正图像，具体化为：
确定所述待检测图像的单应变换矩阵；
根据所述单应变换矩阵，确定各所述尺度图像的坐标映射表；
确定各所述尺度图像的掩膜图像；
基于各所述坐标映射表，确定各所述掩膜图像的校正图像。
进一步地，将根据各所述校正图像，确定对应尺度图像的置信度图像，具体化为：
对各所述校正图像进行边缘检测，确定各所述校正图像的感兴趣区域；
针对每一感兴趣区域，确定并标注标准差大于预设阈值的子区域，得到对应尺度图像的置信度图像。
进一步地，将融合各所述置信度图像，确定所述待检测图像的异常区域，具体化为：
基于各所述置信度图像的权重，叠加各所述置信度图像，得到融合图像；
将所述融合图像中大于预设阈值的区域确定为所述待检测图像的异常区域。
如图2所示，本发明实施例二提供了一种异常检测方法，包括如下步骤：
S210、建立所述待检测图像的高斯金字塔，得到至少两个尺度的尺度图像。
本步骤可以先将待检测图像转换为灰度图像，然后构建灰度图像的高斯金字塔，如通过高斯模糊加下采样的方式构建高斯金字塔，以得到待检测图像的至少两个尺度的尺度图像。
S220、确定所述待检测图像的单应变换矩阵。
确定各尺度图像的校正图像时，本步骤可以首先确定待检测图像的单应变换矩阵。单应变换矩阵又称单应性矩阵(即Homography)，是一个平面到另一个平面的映射关系。
此处不多确定单应变换矩阵的手段进行限定，本发明基于单应变换矩阵校正各尺度图像，故在确定单应变换矩阵时，可以基于各尺度图像中的任意尺度图像中任意的四个坐标点及该四个坐标点的最小外接矩形的顶点坐标确定。
示例性的，可以基于待检测图像的掩膜图像的四个顶点坐标和该四个顶点坐标形成的最小外接矩形的四个顶点坐标，求解单应变换矩阵。
S230、根据所述单应变换矩阵，确定各所述尺度图像的坐标映射表。
在本实施例中，坐标映射表可以理解为基于单应变换矩阵确定的各尺度图像坐标的映射表。基于该坐标映射表能够校正各尺度图像。
在一个实施例中，确定单应变换矩阵后，本步骤可以基于各尺度图像的坐标和单应变换矩阵，确定各尺度图像的坐标映射表，以基于坐标映射表实现对应尺度图像的校正。
在一个实施例中，确定单应变换矩阵后，本步骤还可以确定其中一个尺度图像的坐标映射表，然后基于该尺度图像与其余尺度图像的坐标偏移关系，确定其余尺度图像的坐标映射表。不同尺度图像可以为将待检测图像缩小不同倍数所得图像，故不同尺度图像的坐标存在一定的偏移关系。
S240、根据所述坐标映射表，确定各所述尺度图像和各尺度图像的掩膜图像的校正图像。
在确定坐标映射表后，本步骤可以利用坐标映射表，确定各尺度图像的校正图像和各尺度图像的掩膜图像的校正图像。具体的，利用坐标映射表，分别对各尺度图像和各尺度图像的掩膜图像做投影变换，以得到对应的校正图像。
S250、对各所述尺度图像的掩膜图像的校正图像进行边缘检测，确定感兴趣区域。
感兴趣区域可以认为是进行异常检测的区域。确定各尺度图像的掩膜图像后的校正图像后，本步骤可以对各掩膜图像的校正图像进行边缘检测，以将检测出的边缘内部的区域确定为对应校正图像的感兴趣区域。
S260、针对每一尺度图像对应的感兴趣区域，确定并标注显示参数的标准差大于预设阈值的子区域，得到对应尺度图像的置信度图像。
确定尺度图像的掩膜图像的校正图像的感兴趣区域后，可以将各校正图像对应的感兴趣区域确定为对应尺度图像的感兴趣区域。
针对每一个尺度图像的感兴趣区域，本步骤可以确定并标注显示参数的标准差大于预设阈值的子区域。预设阈值可以根据实际情况设定此处不作限定。
感兴趣区域中的子区域的大小此处不作限定，子区域可以通过滑窗的方式确定。在感兴趣区域中所标注的子区域可以认为是感兴趣区域内的异常区域，在各尺度图像的感兴趣区域中标注异常区域后，可以得到对应尺度图像的置信度图像。
S270、基于各所述置信度图像的权重，叠加各所述置信度图像，得到融合图像。
融合各置信度图像时，可以基于各置信度图像的权重叠加各置信度图像，以将叠加后的图像确定为融合图像。此处不对权重的设置进行限定，本领域技术人员可以根据实际情况设置。
S280、基于所述融合图像中所标识的异常区域，确定液晶显示器的异常区域。
确定出融合图像后，本步骤可以基于融合图像中所标识的异常区域的坐标和融合图像与液晶显示器的坐标间的对应关系，确定液晶显示器的异常区域。
以下对本发明实施例进行示例性的描述：
本发明提供的异常检测方法可以认为是一种智能平板显示异常检测方法，适用于对智能平板的液晶显示器显示时的异常区域进行检测的情况。液晶显示器可以为大尺寸的智能显示平板。
现有技术在对液晶显示器进行检测时，一般会根据主观判定来确定是否存在异常以及异常区域。由于人员、环境的影响因素，判断结果存在一定的歧义性。当前业界解决方案有如下几种：第一种是训练专业人员做判；第二种是以2％ND片(透光率2％的灰片)对画面进行过滤之后，再根据人眼来判定画面的均匀度异常；第三种是设置标准图像，对比待测试图像与标准图像之间的差异。
如上所述，现有方法中第一种和第二种存在主观性太强的问题，而第三种方案，每个产品都要先设定标准样品，然后用量产机器来跟标准样品对比，即通过量产机器获得待检测图像，通过标准样品获取标准图像，通过待检测图像和标准图像的对应对量产机器进行评估。这个标准图像的获取也很困难，因为标准图像也是人为评估的，同样也有可能是存在异常区域的，不能很好的适用实际生产环境。标准图像可以为对标准样品进行拍照获得的。
针对以上分析，本发明利用投影校正后的图像，即校正图像均匀度评估的方式进行处理。在进行异常检测时，主要分为三部分，即对待检测图像的各个尺度的尺度图像进行投影校正得到校正图像；获取校正图像的感兴趣区域；对各感兴趣区域进行均匀度异常检测，确定置信度图像，从而确定待检测图像的异常区域。
本发明进行异常检测时，可以包括如下步骤：
S1.建立待检测图像的高斯金字塔。
本发明提供的异常检测方法可以是针对LCD大屏均匀度异常检测的方法，其中待检测图像可以为在暗室中，点亮LCD大屏，并使LCD大屏显示纯白画面后，利用摄像头拍摄大屏画面获得的图像。
S2.选择粗尺度图像，利用canny边缘检测算子获取目标框，并利用连通域检测算法获取目标区域掩膜。
不同尺度图像中可以包括待检测图像，本步骤选取的粗尺度图像可以为第二尺度图像，即尺度小于待检测图像大于其余尺度图像的尺度图像。设待检测图像尺寸为WxH，W为图像宽度，H为图像高度，那么粗尺度图像尺寸可以为W/2*H/2。
获取粗尺度图像后，本步骤可以对粗尺度图像进行canny边缘检测，然后根据连通域检测得到掩膜图像。其中，连通域检测的种子坐标，即起点坐标可以为原图中心坐标(W/2/2，H/2/2)。
图2a为本发明实施例提供的一种边缘检测效果图，图2b为本发明实施例提供的一种掩膜图像的示意图。参见图2a和图2b，对粗尺度图像(即目标图像)进行边缘检测后，可以得到目标区域，即图2a白色框示出的区域。然后对目标区域进行连通区域检测，获取目标区域掩膜，以得到目标区域的掩膜图像。
S3.采用模板匹配获取目标区域的四个顶角坐标，与最小外接矩形的四个顶点之间构建投影变换矩阵H。
使用模板匹配获取目标区域掩膜图像的四个顶点坐标。可选3x3、5x5、7x7等，本实施例选择9x9大小的模板。四个顶点处的相关响应值最大，也就是四个顶点坐标leftUp、rightUp、leftDown、rightDown。根据四个顶点坐标构成的四边形，求最小外接矩形的四个顶点坐标作为投影校正后的对应点坐标leftUp’、rightUp’、leftDown’、rightDown’，根据四点对应关系求解单应变换矩阵H。
单应矩阵(即单应变换矩阵)的计算方式可以采用DLT算法。
对于两幅图像上的一对对应特征点mi和mi’,
mi＝[xi 1,yi 1,1]mi 2＝[xi 2,yi 2,1]
存在:
smi'＝Hm (1)
Figure BDA0002395500210000131
其中，s是一个比例因子，H是一个3*3的线性矩阵，也即是实施例中的单应矩阵。
通过至少4对对应点构建8个线性方程，可以通过最小二乘法求解H矩阵中8个参数。具体求解公式描述如下：
将公式(1)展开得到：
Ah＝b (2)
其中：
Figure BDA0002395500210000141
Figure BDA0002395500210000142
h＝[h1 h2 h3 h4 h5 h6 h7 h8 h9]
根据公式(2)，取四组对应点，构建一个9x9的线性方程组，可以求解H矩阵。
S4.利用投影变换矩阵，计算最粗尺度坐标变换映射表，并通过上采样获取其他尺度的坐标映射表，以获得金字塔投影变换流。
利用上述H矩阵，计算当前尺度(即最粗尺度)的坐标映射表，并通过上采样获取最细尺度的坐标映射表，通过下采样获取更粗的两个尺度的坐标映射表，坐标偏移值分别扩大2倍、缩小2倍、缩小4倍。
S5.利用投影变换流，计算掩膜图像的校正图像，并通过坐标轴投影的方式获取校正后的区域。
利用投影变换表，即坐标映射表，分别对当前尺度的输入图像和掩膜图像做投影变换(方法参考开源计算机视觉库opencv中的warpPerspective函数)。
图2c为本发明实施例提供的一种投影校正后的尺度图像。图2d为本发明实施例提供的一种投影校正后的掩膜图像。参见图2c和图2d，图2c可以为对一尺度图像如最粗尺度图像进行校正后的图像。图2d可以认为对图2c尺度图像校正后的掩膜图像。
对校正后掩膜图像计算canny边缘图像，对此canny图像分别沿x轴和y轴做累加和投影，根据累加和投影的突变位置，双向扫描获取四个顶点坐标，获取目标处理感区域图像，即感兴趣区域。根据感兴趣区域的坐标，确定对应尺度图像的校正图像的感兴趣区域。
图2e为本发明实施例提供的一种投影校正后的掩膜图像的边缘图，参见图2e，该掩膜图像的边缘图内部的区域可以认为是该掩膜图像的感兴趣区域。
图2f为本发明实施例提供的一种尺度图像感兴趣区域的示意图。参见图2f，该感兴趣区域为尺度图像的校正图像中的感兴趣区域，该感兴趣区域基于掩膜图像确定的感兴趣区域确定，如直接将掩膜图像确定的感兴趣区域的坐标确定为校正图像的感兴趣区域的坐标。
S6.利用坐标轴投影区域信息，获取校正后的各个尺度图像，按照滑动步长的方式逐窗口计算对比度评价值，并给出分值。
基于校正图像的感兴趣区域，使用滑窗的方式，计算每一个窗口内的标准差，对大于预设阈值T的窗口，将窗口标记出来，构成当前尺度下的均匀度异常置信度图像。当前尺度可以认为是计算置信度图像的尺度图像。
图2g为本发明实施例提供的一种置信度图像的示意图。参见图2g，置信度图像中标识了异常区域，即图中黑框示出的区域。
S7.通过多尺度信息融合步骤，得到综合得分图，对得分图中超过阈值的区域进行标记输出。
将每一尺度下的置信度图像进行叠加，叠加公式描述如下：
Figure BDA0002395500210000161
参考尺度与融合尺度按照尺寸一致升采样到原图大小进行融合，其中权重w参考值为0.6。公式中xs、xs-1、
Figure BDA0002395500210000162
分别表示当前尺度和下一尺度的置信度图像以及汇总尺度的置信度图像。
当前尺度可以认为是当前融合叠加的尺度图像。当前尺度可以和下一尺度叠加，当叠加完各尺度图像的置信度图像后，可以得到融合图像。当前尺度可以认为大于下一尺度。
最终估计得到的融合图像中，标识出来的区域即为异常区域。
本发明实施例二提供了一种异常检测方法，该方法具体化了获取尺度图像的操作、确定校正图像的操作、确定置信度图像的操作和确定待检测图像的异常区域的操作。该方法通过高斯金字塔能够更加全面获取待检测图像各个尺度的尺度图像，从而能够使得异常检测结果更加准确。此外，该方法基于单应变换矩阵进行图像校正，得到尺度图像和掩膜图像的校正图像，然后通过对眼膜图像进行边缘检测确定感兴趣区域，然后基于尺度图像和感兴趣区域确定置信度图像，提升了确定置信度图像的准确率。最后，通过融合后的置信度图像确定液晶显示器的异常区域，提升了检测结果的准确性。
进一步地，所述确定所述待检测图像的单应变换矩阵，包括：
从各所述尺度图像中选取一个尺度图像作为目标图像；
对所述目标图像进行边缘检测，得到目标区域；
获取所述目标区域掩膜，得到所述目标图像的掩膜图像；
基于所述掩膜图像的掩膜顶点坐标和所述掩膜顶点坐标对应的最小外接矩形的外接顶点坐标，确定单应变换矩阵。
对目标图像进行边缘检测后，基于确定的边缘内部的区域确定为目标区域。在确定目标区域后，可以对目标区域进行连通域检测得到掩膜图像。
获取掩膜图像后可以获取掩膜图像的四个顶点坐标，即掩膜顶点坐标。此处不对获取顶点坐标的手段进行限定，如可以采用模板匹配的方式确定。
确定出掩膜顶点坐标后可以确定掩膜顶点坐标的最小外接矩形的四个顶点坐标，即外接顶点坐标。
将掩膜顶点坐标和外接顶点坐标形成坐标对，确定单应变换矩阵。
直接基于待检测图像的一个尺度图像目标区域的掩膜图像确定出顶点坐标和外接顶点坐标，确定出的单应变换矩阵更加准确，能够更加有效的确定出其余尺度图像的校正图像或坐标映射表。
进一步地，所述根据所述单应变换矩阵，确定各所述尺度图像的坐标映射表，包括：
根据所述单应变换矩阵确定目标图像的坐标映射表；
基于所述目标图像的坐标映射表和各所述尺度图像间的尺度关系，确定除所述目标图像外的尺度图像的坐标映射表。
在确定各尺度图像的坐标映射表时，可以先基于单应变换矩阵计算目标图像的坐标映射表。然后基于，目标图像和其余尺度图像的尺度关系，确除目标图像外的尺度图像的坐标映射表。尺度关系可以在构建各尺度图像时确定，该尺度关系可以反映各尺度图像的坐标的偏移关系。
直接基于单应变换矩阵确定目标图像的坐标映射表，然后结合各尺度图像间的尺度关系确定除目标图像外的尺度图像的坐标映射表，相较于针对每个除目标图像外的尺度图像，采用与确定目标图像相同的方式确定坐标映射表而言计算量小，能够更加快速得到所有尺度图像的坐标映射表。
实施例三
图3为本发明实施例三提供的一种异常检测装置的结构示意图。该装置可适用于进行液晶显示器异常区域检测的情况。该装置可以软件和/或硬件实现，并一般集成在终端设备上。
如图3所示，该装置包括：获取模块31、校正图像确定模块32、置信度图像确定模块33和融合模块34；
其中，获取模块31，用于获取待检测图像的至少两个尺度的尺度图像；
校正图像确定模块32，用于确定各所述尺度图像的校正图像；
置信度图像确定模块33，用于根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；
融合模块34，用于融合各所述置信度图像，确定液晶显示器的异常区域，所述待检测图像为所述液晶显示器显示画面的图像。
在本实施例中，该装置首先通过获取模块31获取待检测图像的至少两个尺度的尺度图像；其次通过校正图像确定模块32确定各所述尺度图像的校正图像；然后通过置信度图像确定模块33根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；最后通过融合模块34融合各所述置信度图像，确定液晶显示器的异常区域，所述待检测图像为所述液晶显示器显示画面的图像。
本实施例提供了一种异常检测装置，能够有效解决通过人工评估进行异常检测的歧义性，该方法无需人工评估，也不设置标准图像，直接对待检测图像的各尺度图像进行置信度分析，即确定各尺度图像的置信度图像，以基于置信度图像确定液晶显示器的异常区域，自动确定出了液晶显示器的异常区域，提升了对液晶显示器进行异常检测的准确率。。
进一步地，获取模块31，具体用于：
建立所述待检测图像的高斯金字塔，得到至少两个尺度的尺度图像。
进一步地，确定模块32具体用于：
确定所述待检测图像的单应变换矩阵；
根据所述单应变换矩阵，确定各所述尺度图像的坐标映射表；
确定各所述尺度图像的掩膜图像；
基于各所述坐标映射表，确定各所述掩膜图像的校正图像。
进一步地，确定模块32确定所述待检测图像的单应变换矩阵，具体为：
从各所述尺度图像中选取一个尺度图像作为目标图像；
对所述目标图像进行边缘检测，得到目标区域；
获取所述目标区域掩膜，得到所述目标图像的掩膜图像；
基于所述掩膜图像的掩膜顶点坐标和所述掩膜顶点坐标对应的最小外接矩形的外接顶点坐标，确定单应变换矩阵。
进一步地，确定模块32根据所述单应变换矩阵，确定各所述尺度图像的坐标映射表，具体为：
根据所述单应变换矩阵确定目标图像的坐标映射表；
基于所述目标图像的坐标映射表和各所述尺度图像间的尺度关系，确定除所述目标图像外的尺度图像的坐标映射表。
进一步地，置信度图像确定模块33，具体用于：
对各所述校正图像进行边缘检测，确定各所述校正图像的感兴趣区域；
针对每一感兴趣区域，确定并标注标准差大于预设阈值的子区域，得到对应尺度图像的置信度图像。
进一步地，融合模块34，具体用于：
基于各所述置信度图像的权重，叠加各所述置信度图像，得到融合图像；
将所述融合图像中大于预设阈值的区域确定为所述待检测图像的异常区域。
实施例四
图4为本发明实施例四提供的一种终端设备的结构示意图。如图4所示，本发明实施例四提供的终端设备包括：一个或多个处理器41和存储装置42；该终端设备中的处理器41可以是一个或多个，图4中以一个处理器41为例；存储装置42用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器41执行，使得所述一个或多个处理器41实现如本发明实施例中任一项所述的异常检测方法。
所述终端设备还可以包括：输入装置43和输出装置44。
终端设备中的处理器41、存储装置42、输入装置43和输出装置44可以通过总线或其他方式连接，图4中以通过总线连接为例。
该终端设备中的存储装置42作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例一或二所提供异常检测方法对应的程序指令/模块(例如，附图3所示的异常检测装置中的模块，包括：获取模块31、校正图像确定模块32、置信度图像确定模块33和融合模块34)。处理器41通过运行存储在存储装置42中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中异常检测方法。
存储装置42可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置42可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置42可进一步包括相对于处理器41远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置43可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置44可包括显示屏等显示设备。
并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器41执行时，程序进行如下操作：
获取待检测图像的至少两个尺度的尺度图像；
确定各所述尺度图像的校正图像；
根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；
融合各所述置信度图像，确定液晶显示器的异常区域，所述待检测图像为所述液晶显示器显示画面的图像。
实施例五
本发明实施例五提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行异常检测方法，该方法包括：
获取待检测图像的至少两个尺度的尺度图像；
确定各所述尺度图像的校正图像；
根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；
融合各所述置信度图像，确定液晶显示器的异常区域，所述待检测图像为所述液晶显示器显示画面的图像。
可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的异常检测方法。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random AccessMemory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种异常检测方法，其特征在于，包括：
获取待检测图像的至少两个尺度的尺度图像；
确定各所述尺度图像的校正图像；
根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；
融合各所述置信度图像，确定液晶显示器的异常区域；
其中，所述待检测图像为所述液晶显示器显示画面的图像。
2.根据权利要求1所述的方法，其特征在于，所述获取待检测图像的至少两个尺度的尺度图像，包括：
建立所述待检测图像的高斯金字塔，得到至少两个尺度的尺度图像。
3.根据权利要求1所述的方法，其特征在于，所述确定各所述尺度图像的校正图像，包括：
确定所述待检测图像的单应变换矩阵；
根据所述单应变换矩阵，确定各所述尺度图像的坐标映射表；
根据所述坐标映射表，确定各所述尺度图像和各尺度图像的掩膜图像的校正图像。
4.根据权利要求3所述的方法，其特征在于，所述确定所述待检测图像的单应变换矩阵，包括：
从各所述尺度图像中选取一个尺度图像作为目标图像；
对所述目标图像进行边缘检测，得到目标区域；
获取所述目标区域掩膜，得到所述目标图像的掩膜图像；
基于所述掩膜图像的掩膜顶点坐标和所述掩膜顶点坐标对应的最小外接矩形的外接顶点坐标，确定单应变换矩阵。
5.根据权利要求3所述的方法，其特征在于，所述根据所述单应变换矩阵，确定各所述尺度图像的坐标映射表，包括：
根据所述单应变换矩阵确定目标图像的坐标映射表；
基于所述目标图像的坐标映射表和各所述尺度图像间的尺度关系，确定除所述目标图像外的尺度图像的坐标映射表。
6.根据权利要求1所述的方法，其特征在于，所述根据各所述校正图像，确定对应尺度图像的置信度图像，包括：
对各所述尺度图像的掩膜图像的校正图像进行边缘检测，确定感兴趣区域；
针对每一尺度图像对应的感兴趣区域，确定并标注显示参数的标准差大于预设阈值的子区域，得到对应尺度图像的置信度图像。
7.根据权利要求1所述的方法，其特征在于，所述融合各所述置信度图像，确定液晶显示器的异常区域，包括：
基于各所述置信度图像的权重，叠加各所述置信度图像，得到融合图像；
基于所述融合图像中所标识的异常区域，确定液晶显示器的异常区域。
8.一种异常检测装置，其特征在于，包括：
获取模块，用于获取待检测图像的至少两个尺度的尺度图像；
校正图像确定模块，用于确定各所述尺度图像的校正图像；
置信度图像确定模块，用于根据各所述校正图像，确定对应尺度图像的置信度图像，所述置信度图像为对应校正图像中标识有异常区域的感兴趣区域的图像；
融合模块，用于融合各所述置信度图像，确定液晶显示器的异常区域，所述待检测图像为所述液晶显示器显示画面的图像。
9.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN202010129846.0A 2020-02-28 2020-02-28 一种异常检测方法、装置、终端设备及存储介质 Active CN111369513B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010129846.0A CN111369513B (zh) 2020-02-28 2020-02-28 一种异常检测方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010129846.0A CN111369513B (zh) 2020-02-28 2020-02-28 一种异常检测方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN111369513A true CN111369513A (zh) 2020-07-03
CN111369513B CN111369513B (zh) 2023-10-20

Family

ID=71208326

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010129846.0A Active CN111369513B (zh) 2020-02-28 2020-02-28 一种异常检测方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN111369513B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113140292A (zh) * 2021-05-12 2021-07-20 平安国际智慧城市科技股份有限公司 图像异常区域浏览方法、装置、移动端设备及存储介质
CN113160148A (zh) * 2021-03-30 2021-07-23 广东拓斯达科技股份有限公司 模具处理方法、装置、电子设备、系统和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230321A (zh) * 2018-01-19 2018-06-29 深圳市亿图视觉自动化技术有限公司 缺陷检测方法及装置
WO2018195797A1 (zh) * 2017-04-26 2018-11-01 深圳配天智能技术研究院有限公司 一种视觉检测方法、检测设备以及机器人
CN110378297A (zh) * 2019-07-23 2019-10-25 河北师范大学 一种基于深度学习的遥感图像目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018195797A1 (zh) * 2017-04-26 2018-11-01 深圳配天智能技术研究院有限公司 一种视觉检测方法、检测设备以及机器人
CN108230321A (zh) * 2018-01-19 2018-06-29 深圳市亿图视觉自动化技术有限公司 缺陷检测方法及装置
CN110378297A (zh) * 2019-07-23 2019-10-25 河北师范大学 一种基于深度学习的遥感图像目标检测方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113160148A (zh) * 2021-03-30 2021-07-23 广东拓斯达科技股份有限公司 模具处理方法、装置、电子设备、系统和存储介质
WO2022205606A1 (zh) * 2021-03-30 2022-10-06 广东拓斯达科技股份有限公司 模具处理方法、装置、电子设备、系统和存储介质
CN113140292A (zh) * 2021-05-12 2021-07-20 平安国际智慧城市科技股份有限公司 图像异常区域浏览方法、装置、移动端设备及存储介质

Also Published As

Publication number Publication date
CN111369513B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
US8238640B2 (en) Display testing apparatus and method
WO2020010945A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN102609939B (zh) 一种tfds图像质量评价方法及系统
US8274026B2 (en) Focus assist system and method
CN108009543A (zh) 一种车牌识别方法及装置
CN112272292B (zh) 投影校正方法、装置和存储介质
JP2004260785A (ja) 画像歪み補正機能を備えたプロジェクタ装置
CN116912233B (zh) 基于液晶显示屏的缺陷检测方法、装置、设备及存储介质
CN111025701A (zh) 一种曲面液晶屏幕检测方法
CN113781393B (zh) 屏幕缺陷检测方法、装置、设备及存储介质
CN114913121A (zh) 一种屏幕缺陷检测系统、方法、电子设备及可读存储介质
CN111707456A (zh) 光机清晰度测试方法以及测试装置
CN111369513B (zh) 一种异常检测方法、装置、终端设备及存储介质
CN110879131B (zh) 目视光学系统的成像质量测试方法、成像质量测试装置和电子设备
WO2018090450A1 (zh) 显示屏均匀性测试方法及显示屏均匀性测试系统
CN112419420B (zh) 一种相机标定方法、装置、电子设备及存储介质
CN109410197B (zh) 一种定位液晶屏检测区域的方法及装置
CN116337412A (zh) 屏幕检测方法、设备及存储介质
JP2005345290A (ja) 筋状欠陥検出方法及び装置
JP2018136222A (ja) Ｍｔｆ測定装置およびそのプログラム
CN115760653B (zh) 图像校正方法、装置、设备及可读存储介质
EP3169069A1 (en) Systems and methods for imaging device interfaces
CN113570578B (zh) 一种镜片鬼影现象检测方法、装置
CN112967258B (zh) 手表的显示缺陷检测方法、装置及计算机可读存储介质
CN115457055A (zh) 照度计数值识别方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant