Nothing Special   »   [go: up one dir, main page]

CN117018629A - 数据处理方法、装置、设备、存储介质及程序产品 - Google Patents

数据处理方法、装置、设备、存储介质及程序产品 Download PDF

Info

Publication number
CN117018629A
CN117018629A CN202211253164.6A CN202211253164A CN117018629A CN 117018629 A CN117018629 A CN 117018629A CN 202211253164 A CN202211253164 A CN 202211253164A CN 117018629 A CN117018629 A CN 117018629A
Authority
CN
China
Prior art keywords
image
detected
detection result
detection
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211253164.6A
Other languages
English (en)
Inventor
陈观钦
陈远
王摘星
陈斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Shenzhen Tencent Network Information Technology Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Shenzhen Tencent Network Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd, Shenzhen Tencent Network Information Technology Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202211253164.6A priority Critical patent/CN117018629A/zh
Publication of CN117018629A publication Critical patent/CN117018629A/zh
Pending legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63FCARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/70Game security or game management aspects
    • A63F13/75Enforcing rules, e.g. detecting foul play or generating lists of cheating players
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/302Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3065Monitoring arrangements determined by the means or processing involved in reporting the monitored data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3438Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例提供了数据处理方法、装置、设备、存储介质及程序产品,可应用于人工智能、游戏等领域,该方法包括:获取待检测图像,调用多个初步检测模型,将待检测图像分别输入每一个初步检测模型中进行检测,得到每一个初步检测模型对待检测图像的初步检测结果;根据得到的各个初步检测结果确定待检测图像的第一检测结果,第一检测结果指示待检测图像为目标图像的概率为第一概率;若第一概率处于第一概率区间,则利用目标检测模型对待检测图像进行检测,得到待检测图像的第二检测结果;根据第二检测结果确定待检测图像的目标检测结果。通过本申请实施例可以有效提高待检测图像的检测结果的准确性和可靠性。

Description

数据处理方法、装置、设备、存储介质及程序产品
技术领域
本申请涉及人工智能技术领域,尤其涉及数据处理方法、数据处理装置、计算机设备、计算机可读存储介质及计算机程序产品。
背景技术
随着电子、计算机、通信等技术的快速发展,智能终端(例如智能手机、平板电脑等)已经广泛应用于人们的日常生活中,为满足人们对智能终端的功能多样性需求,各种应用(Application)应运而生。
用户在使用智能终端上的应用时,可能会出现一些异常行为,例如,在通过游戏应用进行游戏时,出现使用外挂的行为。目前,通常是基于用户的应用日志数据来确定是否存在异常行为,但应用日志数据为数值数据,数值数据容易对抗,这会导致判定结果的准确性低。基于此,可以基于不容易对抗的应用图像数据来确定是否存在异常行为,此方式的关键在于应用图像数据的检测结果的准确性和可靠性,准确性和可靠性越高,则可以准确判定是否存在异常行为。可见,如何保证应用图像数据的检测结果的准确性和可靠性是亟需解决的问题。
发明内容
本申请实施例提供了数据处理方法、装置、设备、存储介质及程序产品,可以有效提高待检测图像的检测结果的准确性和可靠性。
一方面,本申请实施例提供了一种数据处理方法,所述方法包括:
获取待检测图像,所述待检测图像是在目标应用使用过程中进行截图得到;
调用多个初步检测模型,将所述待检测图像分别输入每一个所述初步检测模型中进行异常检测,得到每一个所述初步检测模型对所述待检测图像的初步检测结果;
根据得到的各个所述初步检测结果确定所述待检测图像的第一检测结果;所述第一检测结果指示所述待检测图像为目标图像的概率为第一概率,所述目标图像为包含目标对象的图像;
若所述第一概率处于第一概率区间,则利用目标检测模型对所述待检测图像进行异常检测,得到所述待检测图像的第二检测结果;
根据所述第二检测结果确定所述待检测图像的目标检测结果;
其中,所述目标检测模型是利用样本图像集训练得到,所述样本图像集包括多个样本图像,第三检测结果指示所述样本图像为所述目标图像的概率为第二概率,所述第二概率处于所述第一概率区间,所述第三检测结果是根据所述多个初步检测模型对所述样本图像的检测结果确定的。
一方面,本申请实施例提供了一种数据处理装置,所述数据处理装置包括用于实现本申请实施例提供的数据处理方法的单元。具体的,所述数据处理装置包括:
获取单元,用于获取待检测图像,所述待检测图像是在目标应用使用过程中进行截图得到;
处理单元,用于调用多个初步检测模型,将所述待检测图像分别输入每一个所述初步检测模型中进行异常检测,得到每一个所述初步检测模型对所述待检测图像的初步检测结果;
所述处理单元,还用于根据得到的各个所述初步检测结果确定所述待检测图像的第一检测结果;所述第一检测结果指示所述待检测图像为目标图像的概率为第一概率,所述目标图像为包含目标对象的图像;
所述处理单元,还用于若所述第一概率处于第一概率区间,则利用目标检测模型对所述待检测图像进行异常检测,得到所述待检测图像的第二检测结果;
所述处理单元,还用于根据所述第二检测结果确定所述待检测图像的目标检测结果;
其中,所述目标检测模型是利用样本图像集训练得到,所述样本图像集包括多个样本图像,第三检测结果指示所述样本图像为所述目标图像的概率为第二概率,所述第二概率处于所述第一概率区间,所述第三检测结果是根据所述多个初步检测模型对所述样本图像的检测结果确定的。
一方面,本申请实施例提供了一种计算机设备,所述计算机设备包括:处理器、通信接口和存储器,所述处理器、所述通信接口和所述存储器相互连接,其中,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,实现本申请实施例提供的数据处理方法。
相应地,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机实现本申请实施例提供的数据处理方法。
相应地,本申请实施例还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或计算机指令被处理器执行时实现本申请实施例提供的数据处理方法。
本申请实施例一方面先利用初步检测模型对待检测图像进行异常检测,若通过初步检测模型不能得出准确的检测结果,则利用目标检测模型对待检测图像进行进一步的异常检测,并根据目标检测模型得出的检测结果来确定待检测图像最终的检测结果,基于多阶段的检测模型针对待检测图像的异常检测,可以得出准确的待检测图像的最终检测结果,这样可以有效提高待检测图像的最终检测结果的准确性和可靠性。另一方面,本申请实施例是利用多个初步检测模型分别对待检测图像进行异常检测,然后综合各个初步检测模型的检测结果来确定待检测图像初步阶段的检测结果,这样可以得出准确的初步阶段检测结果,准确的初步阶段检测结果有利于后续执行正确的操作,进而可以保证后续得出准确的待检测图像的最终检测结果。又一方面,目标检测模型训练时所使用的样本图像为初步检测模型不能得出准确检测结果的图像,这样训练出的目标检测模型对难以判定的图像具有更好的检测效果,在实际使用时,能够对初步检测模型不能得出准确检测结果的待检测图像进行准确的异常检测,这样可以进一步保证待检测图像的最终检测结果的准确性和可靠性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据处理系统的的架构示意图;
图2是本申请实施例提供的一种数据处理方法的流程示意图;
图3是本申请实施例提供的一种游戏图像的示意图;
图4示出了本申请实施例提供的数据处理方法的处理流程结构示意图;
图5是本申请实施例提供的另一种游戏图像的示意图;
图6是本申请实施例提供的一种分类网络的结构示意图;
图7是本申请实施例提供的一种映射网络的结构示意图;
图8是本申请实施例提供的另一种映射网络的结构示意图;
图9示出了图7所示映射网络的一种优化方式;
图10示出了图7所示映射网络的另一种优化方式;
图11示出了图10所示映射网络的一种优化方式;
图12是本申请实施例提供的一种粗细粒度注意力网络的结构示意图;
图13是本申请实施例提供的一种门控子网络的结构示意图;
图14是本申请实施例提供的一种模型使用及训练过程的流程示意图;
图15是本申请实施例提供的一种数据处理装置的结构示意图;
图16是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例提供了一种数据处理方法,也即是一种图像检测方法,以有效提高图像检测结果的准确性和可靠性。本申请实施例提供的数据处理方法可以基于AI(Artificial Intelligence,人工智能)技术实现。AI是指利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。AI技术是一门综合学科,其涉及的领域较为广泛;而本申请实施例提供的数据处理方法主要涉及AI技术中的机器学习(Machine Learning,ML)技术。机器学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
在可行的实施例中,本申请实施例提供的数据处理方法还可以基于云技术(Cloudtechnology)和/或区块链技术实现。具体可以涉及云技术中的云存储(Cloud storage)、云数据库(Cloud Database)、大数据(Big data)中的一种或者多种。例如,将执行该数据处理方法所产生的数据(例如检测结果等)存储到云数据库中。又例如,将执行该数据处理方法所产生的数据(例如检测结果等)以区块的形式存储到区块链上;另外,执行该数据处理方法的图像检测设备可以是区块链网络中的节点设备。
本申请实施例提供的数据处理方法可以适用于图1所示的数据处理系统,该数据处理系统包括:图像检测设备11以及一个或者多个客户端12。客户端12为配置有目标应用的终端设备,图像检测设备11可以是该目标应用的后台服务器。例如,目标应用可以为游戏应用程序,图像检测设备11可以是该游戏应用程序的后台服务器。在可行的实施方式中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端设备可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备、智能家电、车载终端,等等,但并不局限于此。本申请实施例提供的数据处理方法可以由图像检测设备11和客户端12交互实现,包括但不限于如下步骤:
在客户端12上配置的目标应用的使用过程中,如果图像检测设备11基于客户端12的诸如应用日志数据等检测到可能存在异常行为,则向客户端12发送图像获取指令;客户端12响应该图像获取指令,对目标应用的应用显示画面进行截图,得到待检测图像,并将待检测图像发送给图像检测设备11。
图像检测设备11在接收到待检测图像之后,先调用多个初步检测模型,将待检测图像分别输入每一个初步检测模型中进行异常检测,得到每一个初步检测模型对待检测图像的初步检测结果,该初步检测结果可以用于指示待检测图像为目标图像(即待检测图像中包含目标对象的概率)的概率。目标图像为包含目标对象的图像,或者说目标图像为异常图像,目标对象为异常对象,异常对象是由于存在异常行为而在目标应用的原本应用显示画面中而额外显示出的对象,且该额外显示的对象通常具有特殊的特征,如特殊的颜色或者形状等等。
图像检测设备11然后根据得到的每一个初步检测模型对待检测图像的初步检测结果综合确定待检测图像的第一检测结果,该第一检测结果指示待检测图像为目标图像的概率为第一概率。若第一概率处于第一概率区间(第一概率区间可以是由不高不低的中间概率值构成),则表明第一检测结果的准确性还不够高,不能直接根据第一检测结果准确判断待检测图像是否为目标图像,即根据第一检测结果不能得到待检测图像准确的目标检测结果。此时图像检测设备11可以进一步利用目标检测模型对待检测图像进行异常检测,得到待检测图像的第二检测结果,第二检测结果也用于指示待检测图像为目标图像的概率。本申请实施例中,目标检测模型训练时所使用的样本图像为初步检测模型不能得出准确检测结果的图像,这样训练出的目标检测模型对难以判定的图像具有更好的检测效果,在实际使用时,能够对初步检测模型不能得出准确检测结果的待检测图像进行准确的异常检测,故而第二检测结果的准确性更高。进一步的,图像检测设备11根据准确性更高的第二检测结果确定待检测图像的目标检测结果,目标检测结果用于指示待检测图像是否为包含目标对象的目标图像,即用于指示待检测图像是否是由于存在异常行为而生成的目标应用的不同于原本画面的画面。
本申请实施例提供的数据处理方法一方面先利用初步检测模型对待检测图像进行异常检测,若通过初步检测模型不能得出准确的检测结果,则利用目标检测模型对待检测图像进行进一步的异常检测,并根据目标检测模型得出的检测结果来确定待检测图像最终的检测结果,基于多阶段的检测模型针对待检测图像的异常检测,可以得出准确的待检测图像的最终检测结果,这样可以有效提高待检测图像的最终检测结果的准确性和可靠性。另一方面,本申请实施例是利用多个初步检测模型分别对待检测图像进行异常检测,然后综合各个初步检测模型的检测结果来确定待检测图像初步阶段的检测结果,这样可以得出准确的初步阶段检测结果,准确的初步阶段检测结果有利于后续执行正确的操作,进而可以保证后续得出准确的待检测图像的最终检测结果。又一方面,目标检测模型训练时所使用的样本图像为初步检测模型不能得出准确检测结果的图像,这样训练出的目标检测模型对难以判定的图像具有更好的检测效果,在实际使用时,能够对初步检测模型不能得出准确检测结果的待检测图像进行准确的异常检测,这样可以进一步保证待检测图像的最终检测结果的准确性和可靠性。另外,基于待检测图像的准确且可靠的目标检测结果可以准确判定目标应用的使用是否存在异常行为。
为更好的理解本申请实施例提供的数据处理方法,下面以该数据处理方法应用于游戏领域中的外挂检测场景为例进行说明。外挂,一般指通过修改游戏数据而为游戏玩家谋取利益的作弊程序或软件,即利用电脑技术针对一个或多个软件进行非原设操作,篡改游戏原本正常的设定和规则,大幅增强游戏角色的技能和超越常规的能力,从而达到轻松获取胜利、奖励和快感的好处,是一种通过改变软件的部分程序制作而成的作弊程序。使用外挂会破坏游戏的公平性,在实际应用中,为保证游戏的公平性,通常会对使用外挂的游戏玩家进行制止和惩罚。目前,一般是基于客户端对程序的非法篡改等指标进行外挂检测,或者是基于玩家游戏过程中的游戏日志数据进行外挂检测,上述外挂检测方式都是基于外挂原理的,即是基于游戏数值数据的外挂检测方式,游戏数值数据容易对抗,这会导致基于游戏数值数据的外挂检测结果的准确性和可靠性低。采用本申请实施例提供的数据处理方法来实现游戏领域的外挂检测时,则可以很好的解决上述问题。实现方式包括但不限于如下步骤:
在游戏玩家通过客户端12上配置的游戏应用程序(即上述目标应用)进行游戏的过程中,如果图像检测设备11基于客户端12的诸如游戏日志数据(即上述应用日志数据)等检测到可能存在外挂行为(即上述异常行为),则向客户端12发送图像获取指令;客户端12响应该图像获取指令,对游戏应用程序的游戏画面(即上述应用显示画面)进行截图,得到待检测图像(为游戏图像),并将待检测图像发送给图像检测设备11。
图像检测设备11在接收到待检测图像之后,先调用多个初步检测模型,将待检测图像分别输入每一个初步检测模型中进行外挂检测(即上述异常检测),得到每一个初步检测模型对待检测图像的初步检测结果,该初步检测结果用于指示待检测图像为外挂游戏图像(即上述目标图像或者异常图像)的概率,外挂游戏图像为包含外挂对象(即上述目标对象或者异常对象)的游戏图像。外挂对象是由于存在外挂行为而在游戏应用程序的原本游戏画面中而额外显示出的对象,该额外显示的对象通常具有特殊的诸如颜色或者形状等特征,以起到对游戏玩家进行有效提示的作用,例如使用外挂生成的用于提示对方游戏角色所在位置的标记框,等等。
图像检测设备11然后根据得到的每一个初步检测模型对待检测图像的初步检测结果综合确定待检测图像的第一检测结果,该第一检测结果指示待检测图像为外挂游戏图像的概率(即待检测图像中包含外挂对象的概率)为第一概率。若第一概率处于第一概率区间,则表明第一检测结果的准确性还不够高,不能直接根据第一检测结果准确判断待检测图像是否为外挂游戏图像,即根据第一检测结果不能得到待检测图像准确的目标检测结果。此时图像检测设备11可以进一步利用目标检测模型对待检测图像进行外挂检测,得到第二检测结果,第二检测结果也用于指示该待检测图像为外挂游戏图像的概率。同理,目标检测模型训练时所使用的样本图像为初步检测模型不能准确判断出是否为外挂游戏图像的游戏图像,这样训练出的目标检测模型在实际使用时,能够对初步检测模型不能准确判断出是否为外挂游戏图像的游戏图像进行准确的外挂检测,故而第二检测结果的准确性更高。进一步的,图像检测设备11根据准确性更高的第二检测结果确定待检测图像的目标检测结果,目标检测结果用于指示待检测图像是否为包含外挂对象的外挂游戏图像,即用于指示待检测图像是否是由于存在外挂行为而生成的游戏应用程序的不同于原本游戏画面的画面。
上述外挂检测方法是基于游戏图像实现的,游戏图像不容易对抗,即检测的游戏图像是真实的,基于真实的游戏图像可以从视觉上准确判断游戏图像中是否存在外挂对象,即可以得出准确的游戏图像的检测结果。另外,基于多阶段检测模型针对游戏图像的外挂检测,可以得出更为准确的游戏图像的检测结果,有效提高游戏图像的检测结果的准确性和可靠性。进一步的,基于游戏图像的准确且可靠的检测结果,可以准确判定游戏应用程序的使用是否存在外挂行为,从而得到准确的外挂检测结果。可见,采用上述外挂检测方法所得到的外挂检测结果具有更高的准确性和可靠性。
需要说明的是,本申请实施例提供的数据处理方法除了可以应用于游戏领域中的外挂检测场景,也可以应用于其他领域的外挂检测场景,还可以应用于其他类似的可基于视觉图像进行异常行为检测的场景。
以上对本申请实施例提供的数据处理方法进行了简要介绍,下面对该数据处理方法的具体实现方式进行详细阐述。
请参阅图2,图2为本申请实施例提供的一种数据处理方法的流程示意图。本申请实施例中所描述的数据处理方法包括但不限于如下步骤:
S21、获取待检测图像,所述待检测图像是在目标应用使用过程中进行截图得到。
在可行的实施方式中,可以是在客户端上配置的目标应用的使用过程中,如果图像检测设备基于客户端的诸如应用日志数据等检测到可能存在异常行为,则向客户端发送图像获取指令;客户端响应该图像获取指令,对目标应用的应用显示画面进行截图,得到待检测图像,并将待检测图像发送给图像检测设备。相应地,图像检测设备接收客户端发送的待检测图像,并基于该待检测图像执行后续步骤。
在另一可行的实施方式中,可以是在客户端上配置的目标应用的使用过程中,客户端按照设定的图像截取规则主动对目标应用使用过程中的应用显示画面进行截图,得到待检测图像,并将待检测图像发送给图像检测设备。相应地,图像检测设备接收客户端发送的待检测图像,并基于该待检测图像执行后续步骤。其中,图像截取规则可以是:按照设定时间间隔周期性的截取图像。
例如,当该数据处理方法应用于游戏领域中的外挂检测场景中时,目标应用可以为游戏应用程序,目标应用使用过程可以是游戏应用程序的游戏进行过程,游戏进行过程可以是指从游戏玩家开始游戏到游戏结束的这一阶段。可以是在游戏玩家通过客户端上配置的游戏应用程序进行游戏的过程中,图像检测设备获取客户端的游戏日志数据,并基于获取到的游戏日志数据检测是否疑似存在外挂行为。例如,对于枪战游戏,如果根据游戏日志数据发现即使本方游戏角色距离对方游戏角色很远,该距离通常凭游戏玩家视觉几乎不能够发现对方游戏角色的位置,或者即使对方游戏角色处于隐蔽的地方,凭游戏玩家视觉几乎不能够发现对方游戏角色的位置,而本方游戏玩家依然可以准确命中对方游戏角色,此时可以确定游戏玩家疑似存在外挂行为,即存在外挂行为的可能性很大。如果检测到游戏玩家疑似存在外挂行为,则向客户端发送图像获取指令,客户端响应该图像获取指令,对游戏进行过程中的游戏画面进行截图,得到待检测图像,并将待检测图像发送给图像检测设备。相应地,图像检测设备接收客户端发送的待检测图像,并基于该待检测图像执行后续步骤。
S22、调用多个初步检测模型,将所述待检测图像分别输入每一个所述初步检测模型中进行异常检测,得到每一个所述初步检测模型对所述待检测图像的初步检测结果。
本申请实施例中,初步检测模型为多个,如图4所示的初步检测模型1、初步检测模型2、......、初步检测模型C,C为大于2的整数。其中,多个初步检测模型的模型结构不同,不同模型结构的检测模型对于同一图像的检测效果不同。或者,多个初步检测模型的模型结构相同,但多个初步检测模型在训练时所使用的样本图像集不同,这样训练出的多个初步检测模型的模型参数不同,对于同一图像的检测效果也不同。以上两种设计均能保证多个初步检测模型存在差异性,例如,有的检测模型对于甲游戏的检测效果更好,而有的检测模型对于乙游戏的检测效果更好,或者,有的检测模型对于丙外挂对象的检测效果更好,而有的检测模型对应丁外挂对象的检测效果更好,这样有利于覆盖多种场景的游戏图像的外挂检测,可以保证检测结果的准确性。初步检测模型可以是基于残差结构设计的深层分类网络,初步检测模型的模型结构可参见后续描述。
图像检测设备在获取到待检测图像之后,调用该多个初步检测模型,并将待检测图像分别输入每一个初步检测模型中进行异常检测,得到每一个初步检测模型对待检测图像的初步检测结果,该初步检测结果可以用于指示待检测图像为目标图像的概率(即待检测图像中包含目标对象的概率)。目标图像为包含目标对象的图像,或者说目标图像为异常图像,目标对象为异常对象,异常对象是由于存在异常行为而在目标应用的原本应用显示画面中额外显示出的对象,且该额外显示的对象通常具有特殊的特征,如特殊的颜色或者形状等等。
例如,对于游戏领域中的外挂检测场景,待检测图像为针对游戏应用程序的游戏画面进行截图得到的游戏图像,目标图像为外挂游戏图像,目标对象为外挂对象,即外挂游戏图像为包含外挂对象的游戏图像,如果在进行游戏时使用了视觉显示类的外挂以方便游戏玩家识别和操作,则游戏画面中会出现外挂对象,该外挂对象一般是非游戏画面的显著异常物体,以使得外挂的视觉产生对抗,外挂对象例如是标记对方游戏角色位置的方框、人物透视外挂形成的人物骨架、外挂功能选项框,等等,这些外挂对象一般具有特定的形状和颜色,且颜色通常比较鲜艳(这样更有利于进行提示)。例如,如图3所示,当对方游戏角色31处于图中车辆和大树的中间这一隐蔽的位置时,本方游戏玩家肉眼很难发现对方游戏角色的位置,如果本方游戏玩家使用了外挂,则会在游戏画面中利用虚线框32对对方游戏角色的位置进行标记显示,以提示本方游戏玩家对方游戏角色的位置。在可行的实施方式中,还可以将虚线框32的颜色显示为不同于周围游戏场景颜色的显眼颜色(如红色),以对本方游戏玩家进行更好的提示。此场景下,上述初步检测结果可以用于指示待检测图像为外挂游戏图像的概率(即待检测图像中包含外挂对象的概率)。
S23、根据得到的各个所述初步检测结果确定所述待检测图像的第一检测结果,所述第一检测结果指示所述待检测图像为目标图像的概率为第一概率。
在一实施例中,图像检测设备可以针对各个初步检测结果指示的待检测图像为目标图像的概率计算概率平均值,将该概率平均值确定为第一概率(此时第一概率为一个具体的概率值),进而可以将第一概率确定为待检测图像的第一检测结果。
在另一实施例中,可以针对初步检测模型预先设定三个概率区间,第一概率区间、第二概率区间和第三概率区间,第三概率区间的上限值小于第一概率区间的下限值,第二概率区间的下限值大于第一概率区间的上限值。例如,第三概率区间为[0,50%],第一概率区间为(50%,85%],第二概率区间为(85%,100%]。图像检测设备可以统计所指示概率(即待检测图像为目标图像的概率)处于上述第一概率区间的初步检测结果的第一数量,统计所指示概率处于上述第二概率区间的初步检测结果的第二数量,以及统计所指示概率处于上述第三概率区间的初步检测结果的第三数量;然后确定第一数量、第二数量和第三数量中的最大数量,根据该最大数量所对应的概率区间确定待检测图像的第一检测结果。例如,该最大数量所对应的概率区间为第一概率区间,则可以得到用于指示待检测图像为目标图像的概率处于该第一概率区间的第一检测结果,此时第一检测结果指示的第一概率不是一个具体的概率值,而是为一个概率区间。在又一可行的实施方式中,若得到的多个初步检测结果中存在所指示概率处于上述第二概率区间的初步检测结果,则可以直接得到用于指示待检测图像为目标图像的概率处于该第二概率区间的第一检测结果。
在可行的实施方式中,对于游戏领域中的外挂检测场景,第一检测结果可以是指示待检测图像为外挂游戏图像的概率为第一概率。
S24、若所述第一概率处于第一概率区间,则利用目标检测模型对所述待检测图像进行异常检测,得到所述待检测图像的第二检测结果。
本申请实施例中,第一概率区间可以是上述针对初步检测模型预先设定的三个概率区间中的第一概率区间,当第一概率为一个具体的概率值时,第一概率处于第一概率区间可以是指第一概率所指示的概率值为第一概率区间中的概率值;当第一概率为一个概率区间时,第一概率处于第一概率区间可以是指第一概率所指示的概率区间是否与第一概率区间相同。
若第一概率处于该第一概率区间(如上述第一概率区间(50%,85%]),则表明待检测图像为目标图像的概率为中间值,不高不低,第一检测结果的准确性还不够高,不能直接根据第一检测结果准确判断待检测图像是否为目标图像,即根据第一检测结果不能得到待检测图像准确的目标检测结果,如图4所示,此时可以将待检测图像判定为中度可疑图像。进一步的,图像检测设备可以利用目标检测模型对待检测图像进行进一步的异常检测,得到第二检测结果,第二检测结果指示待检测图像为目标图像的概率为第三概率。在可行的实施方式中,对于游戏领域中的外挂检测场景,第二检测结果可以是指示待检测图像为外挂游戏图像的概率为第三概率。进一步的,图像检测设备可以执行后续步骤S25以根据第二检测结果确定待检测图像的目标检测结果。
本申请实施例中,目标检测模型是利用样本图像集训练得到,样本图像集包括多个样本图像,第三检测结果指示样本图像为目标图像的概率为第二概率,且第二概率也处于该第一概率区间,即不能直接根据第三检测结果准确判断样本图像是否为目标图像,该第三检测结果是根据多个初步检测模型对样本图像的检测结果确定的,第三检测结果的确定方式与上述确定待检测图像的第一检测结果的方式类似,此处不再赘述。也即是说,目标检测模型训练时所使用的样本图像为初步检测模型不能得出准确检测结果的图像,这样训练出的目标检测模型对难以判定的图像具有更好的检测效果,在实际使用时,能够对初步检测模型不能得出准确检测结果的待检测图像进行准确的异常检测,这样可以进一步保证待检测图像的最终检测结果的准确性和可靠性。
在一实施例中,目标检测模型包括第一映射模块和第二映射模块,第一映射模块的输出与第二映射模块的输入连接;第一映射模块包括串行连接的M个第一映射单元,每一个第一映射单元由K个压缩映射网络和L个同等映射网络构成;第二映射模块包括串行连接的N个第二映射单元,每一个第二映射单元由X个压缩映射网络和Y个同等映射网络构成;K、L、M、N、X、Y为正整数,且M小于N,L小于Y。其中,同等映射网络和压缩映射网络为包含残差结构的网络。同等映射网络可以加大网络深度,以提取更为准确的特征信息,这样有利于提高检测模型的识别精度。压缩映射网络可以在减少数据处理量的同时保留重要的特征信息,这样可以在保证识别效果的同时降低数据处理量,有利于提高检测模型的处理效率。另外,同等映射网络和压缩映射网络交叉重复使用,可以使得目标检测模型具备更好的识别精度和处理效率,通过目标检测模型对待检测图像进行异常检测,可以快速得到准确的检测结果。
在一实施方式中,同等映射网络或者压缩映射网络包括卷积子网络和通道注意力子网络;卷积子网络用于对输入特征图进行特征提取得到初始特征图;通道注意力子网络用于确定初始特征图的通道权重信息,通道权重信息包括初始特征图的各个特征通道的权重参数,权重参数是根据特征通道与异常特征(即异常对象的特征)的相关度确定的,相关度越大,权重参数越大;同等映射网络的输出特征图是根据第一加权特征图确定的,第一加权特征图是根据通道权重信息对初始特征图进行加权处理得到。基于上述结构的目标检测模型,可以在对待检测图像进行特征提取时,加大极有可能为异常特征的特征的权重,这样有利于准确提取异常特征。由于异常行为而在目标应用的原本应用显示画面中额外显示出的异常对象,通常具有特殊的特征,如特殊的颜色或者形状,等等。上述结构的目标检测模型可以准确提取出与异常行为相关联的诸如特殊形状和特殊颜色等异常特征。提取出准确的异常特征有利于确定出准确的检测结果。
在另一实施方式中,同等映射网络或者压缩映射网络还包括位置注意力子网络和门控子网络,位置注意力子网络和通道注意力子网络并行连接;位置注意力子网络用于确定初始特征图的位置权重信息,位置权重信息用于增强初始特征图中的异常特征与周围场景特征的特征差异;门控子网络用于采用门控机制对融合特征图和所述输入特征图进行处理,得到输出特征图;融合特征图是根据第二加权特征图确定的,第二加权特征图是根据通道权重信息和位置权重信息对初始特征图进行加权处理得到,输出特征图降低了特征图中疑似异常特征的权重。基于上述结构的目标检测模型,在对待检测图像进行异常检测时,可以增强异常特征与周围场景特征的特征差异,例如,增强异常对象轮廓边缘特征和周围正常场景特征的差异,这样可以有效避免对诸如特殊形状、特殊颜色等特征不突出的细小异常对象的漏判;另外,基于门控机制的处理还可以有效避免对正常场景中类似异常对象(诸如形状类似)的非异常对象的误判;以上效果均有利于检测模型确定出准确的检测结果。
以上模型、模块、单元、网络、子网络的结构的详细介绍请参见后续相关描述,此处不再赘述。
本申请实施例中,若第一概率处于第三概率区间,第三概率区间可以是上述针对初步检测模型预先设定的三个概率区间中的第三概率区间,则表明待检测图像为目标图像的概率很低,此时可以直接根据第一检测结果确定待检测图像的目标检测结果,确定的目标检测结果指示待检测图像不为目标图像,如图4所示,可以直接将待检测图像判定为正常图像。在可行的实施方式中,对于游戏领域中的外挂检测场景,此时确定的目标检测结果可以是用于指示待检测图像不为外挂游戏图像。
若第一概率处于第二概率区间,第二概率区间可以是上述针对初步检测模型预先设定的三个概率区间中的第二概率区间,则表明待检测图像为目标图像的概率很高,此时可以直接根据第一检测结果确定待检测图像的目标检测结果,确定的目标检测结果指示待检测图像为目标图像。在可行的实施方式中,对于游戏领域中的外挂检测场景,此时确定的目标检测结果可以是用于指示待检测图像为外挂游戏图像。
虽然第一检测结果指示待检测图像为目标图像的概率很高,但也有可能存在误判的情况。例如,游戏领域中,机器的性能显示框形似外挂功能选项框(外挂对象的一种),检测模型容易将其误判。而如果存在异常行为,则目标应用的应用显示画面中通常存在一些与异常行为相关联的文字。例如,对于游戏场景,通常游戏玩家使用外挂时,会在游戏画面中显示外挂功能选项框,以供游戏玩家进行外挂方式的选择,如图5所示,在游戏画面的左上角显示有外挂功能选项框50,包括透视和框标记两种外挂方式选项,当游戏玩家选择的是框标记的外挂方式时,会自动将对方游戏角色31所在位置利用标记框(图5中的虚线框)32标记出来,以对本方游戏玩家进行提示。50所示的文字信息“外挂功能选项、透视、框标记”即是由于存在外挂行为而在游戏画面中额外出现的与外挂行为相关联的文字。
基于此,为进一步保证待检测图像的目标检测结果的准确性,降低误判的可能性,如图4所示,此时可以将待检测图像判定为极高可疑图像,并进一步利用文字识别模型对待检测图像进行文字识别,以结合文字识别结果来准确确定待检测图像的目标检测结果。
在可行的实施方式中,图像检测设备利用文字识别模型对待检测图像进行文字识别,获取待检测图像中的文字信息;然后根据获取的文字信息查询预先存储的关键词列表,该关键词列表包括多个关键词,且关键词为与异常行为相关联的词语,例如,异常行为是指外挂行为时,关键词可以是透视、人物折射、框标记等等;最后根据查询结果确定待检测图像的目标检测结果。
在可行的实施方式中,若查询结果指示待检测图像中包含关键词列表中的关键词,则表明待检测图像中包含由于存在异常行为而在目标应用的应用显示画面中额外出现的一些词语,结合检测模型判定的待检测图像高概率为目标图像(异常图像)的结果,可以准确判定待检测图像为目标图像,即确定的待检测图像的目标检测结果用于指示待检测图像为目标图像。
S25、根据所述第二检测结果确定所述待检测图像的目标检测结果。其中,目标检测结果用于指示待检测图像是否为目标图像。在可行的实施方式中,对于游戏领域中的外挂检测场景,此时确定的目标检测结果可以是用于指示待检测图像为外挂游戏图像。
在一实施例中,可以针对目标检测模型也预先设定三个概率区间,第四概率区间、第五概率区间和第六概率区间,第四概率区间的上限值小于第五概率区间的下限值,第六概率区间的下限值大于第五概率区间的上限值。针对目标检测模型设定的三个概率区间可以与上述针对初步检测模型设定的三个概率区间相同,即第四概率区间与上述第三概率区间相同,为[0,50%],第五概率区间与上述第一概率区间相同,为(50%,85%],第六概率区间与上述第二概率区间相同,为(85%,100%]。可以理解的是,针对目标检测模型设定的三个概率区间也可以与上述针对初步检测模型设定的三个概率区间不相同,例如,针对初步检测模型设定的三个概率区间分别是第三概率区间为[0,50%],第一概率区间为(50%,85%],第二概率区间为(85%,100%],而针对目标检测模型设定的三个概率区间分别是第四概率区间为[0,40%],第五概率区间为(40%,70%],第六概率区间为(70%,100%]。
第二检测结果指示待检测图像为目标图像的概率为第三概率,若第三概率处于针对目标检测模型设定的第四概率区间,则表明目标检测模型判定待检测图像极低概率为目标图像,此时可以直接根据第二检测结果确定待检测图像的目标检测结果,确定的目标检测结果指示待检测图像不为目标图像,如图4所示,可以直接将待检测图像判定为正常图像。在可行的实施方式中,对于游戏领域中的外挂检测场景,此时确定的目标检测结果可以是用于指示待检测图像不为外挂游戏图像。
若第三概率处于针对目标检测模型设定的第五概率区间时,则表明目标检测模型判定的待检测图像为目标图像的概率为中间值,不高不低,目标检测模型也不能准确判定待检测图像是否为目标图像。由于初步检测模型和目标检测模型均不能准确判定待检测图像是否为目标图像,说明待检测图像极有可能不是外挂游戏图像,如图4所示,此时可以将待检测图像判定为轻度可疑图像。此时为准确判定出待检测图像是否为目标图像,可以将待检测图像发送给相关审核人员进行人工审核,以人工判定待检测图像是否为目标图像,或者也可以结合待检测图像对应的目标应用使用对象的应用日志数据来进一步判断待检测图像是否为目标图像,还可以进一步利用文字识别模型对待检测图像进行文字识别,以结合文字识别结果来判断待检测图像是否为目标图像,此过程的具体实现方式可参见前文或者后续相关描述。
若第三概率处于目标概率区间,即处于针对目标检测模型设定的第六概率区间,则表明目标检测模型判定待检测图像高概率为目标图像,此时可以直接根据第二检测结果确定待检测图像的目标检测结果,确定的目标检测结果指示待检测图像为目标图像。在可行的实施方式中,对于游戏领域中的外挂检测场景,此时确定的目标检测结果可以是用于指示待检测图像为外挂游戏图像。
同理,虽然第二检测结果指示待检测图像为目标图像的概率很高,但也有可能存在误判的情况。例如,游戏领域中,机器的性能显示框形似外挂功能选项框(外挂对象的一种),检测模型容易将其误判。而如果存在异常行为,则目标应用的应用显示画面中通常存在一些与异常行为相关联的文字。例如,对于游戏场景,通常游戏玩家使用外挂时,会在游戏画面中显示外挂功能选项框,以供游戏玩家进行外挂方式的选择,如图5所示,在游戏画面的左上角显示有外挂功能选项框50,包括透视和框标记两种外挂方式选项,当游戏玩家选择的是框标记的外挂方式时,会自动将对方游戏角色31所在位置利用标记框(图5中的虚线框)32标记出来,以对本方游戏玩家进行提示。50所示的文字信息“外挂功能选项、透视、框标记”即是由于存在外挂行为而在游戏画面中额外出现的与外挂行为相关联的文字。
基于此,为进一步保证待检测图像的检测结果的准确性,降低误判的可能性,如图4所示,此时可以将待检测图像判定为高度可疑图像,并进一步利用文字识别模型对待检测图像进行文字识别,以结合文字识别结果来准确确定待检测图像的目标检测结果。
在可行的实施方式中,图像检测设备利用文字识别模型对待检测图像进行文字识别,获取待检测图像中的文字信息;然后根据获取的文字信息查询预先存储的关键词列表,该关键词列表包括多个关键词,且关键词为与异常行为相关联的词语,例如,异常行为是指外挂行为时,关键词可以是透视、人物折射、框标记等等;最后根据查询结果确定待检测图像的目标检测结果。
在可行的实施方式中,若查询结果指示待检测图像中包含关键词列表中的关键词,则表明待检测图像中包含由于存在异常行为而在目标应用的应用显示画面中额外出现的一些词语,结合检测模型判定的待检测图像高概率为目标图像(异常图像)的结果,可以准确判定待检测图像为目标图像,即确定的待检测图像的目标检测结果用于指示待检测图像为目标图像。
在可行的实施例中,若目标检测结果指示待检测图像为目标图像,则可以确定目标应用的使用对象存在异常行为。若目标检测结果指示待检测图像不为目标图像,则可以确定目标应用的使用对象不存在异常行为。例如,对于游戏领域中的外挂检测场景,若目标检测结果指示待检测图像为外挂游戏图像,则可以确定游戏应用程序的游戏玩家存在外挂行为。若目标检测结果指示待检测图像不为外挂游戏图像,则可以确定游戏应用程序的游戏玩家不存在外挂行为。
在可行的实施方式中,若确定目标应用的使用对象存在异常行为,则可以按照设定的异常处理方式对使用对象进行处理。例如,若确定游戏应用程序的游戏玩家存在外挂行为,则可以针对游戏玩家进行一定时间的封号,或者对游戏玩家当局游戏所获得的奖励不予发放,等等。采用机器自动处罚的方式效率更高,且可以节省人工成本。当然也可以将检测结果发送给相关人员进行人工处罚。
需要说明的是,上述实施例中以对一张图像进行异常检测为例进行说明,基于上述数据处理方法,图像检测设备可以并行对多个应用的多张图像进行异常检测,以并行确定每一个应用是否存在异常行为。
本申请实施例一方面先利用初步检测模型对待检测图像进行异常检测,若通过初步检测模型不能得出准确的检测结果,则利用目标检测模型对待检测图像进行进一步的异常检测,并根据目标检测模型得出的检测结果来确定待检测图像最终的检测结果,基于多阶段的检测模型针对待检测图像的异常检测,可以得出准确的待检测图像的最终检测结果,这样可以有效提高待检测图像的最终检测结果的准确性和可靠性。另一方面,本申请实施例是利用多个初步检测模型分别对待检测图像进行异常检测,然后综合各个初步检测模型的检测结果来确定待检测图像初步阶段的检测结果,这样可以得出准确的初步阶段检测结果,准确的初步阶段检测结果有利于后续执行正确的操作,进而可以保证后续得出准确的待检测图像的最终检测结果。又一方面,目标检测模型训练时所使用的样本图像为初步检测模型不能得出准确检测结果的图像,这样训练出的目标检测模型对难以判定的图像具有更好的检测效果,在实际使用时,能够对初步检测模型不能得出准确检测结果的待检测图像进行准确的异常检测,这样可以进一步保证待检测图像的最终检测结果的准确性和可靠性。另外,基于待检测图像的准确且可靠的目标检测结果可以准确判定目标应用的使用是否存在异常行为。
以上对本申请实施例提供的数据处理方法的实现方式进行了介绍,下面对该外数据处理方法的实现所涉及的各种模型进行介绍。需要说明的是,附图中的具体数值均是示例性说明,后续不再赘述。
由于异常行为而在目标应用的原本应用显示画面中额外显示出的对象(以下称之为异常对象),通常具有特殊的特征,如特殊的颜色或者形状,等等。例如,由于视觉显示类的外挂所生成的外挂对象大部分是诸如方框、人物透视外挂形成的人物骨架,等等,这些外挂对象一般有特定的形状和颜色,且通常颜色比较鲜艳,以更好的进行提示。基于把异常对象的特征(以下简称为异常特征)变得更突出,减少非异常对象的信息的目的来设计检测模型(或者说分类模型),本申请实施例提供了基于残差结构设计的深层分类模型,该深层分类模型包括:第一映射模块和第二映射模块,第一映射模块的输出与第二映射模块的输入连接;第一映射模块包括串行连接的M个第一映射单元,每一个第一映射单元由K个压缩映射网络和L个同等映射网络构成;第二映射模块包括串行连接的N个第二映射单元,每一个第二映射单元由X个压缩映射网络和Y个同等映射网络构成;K、L、M、N、X、Y为正整数。在可行的实施方式中,M小于N,且L小于Y。
该深层分类模型除了包括第一映射模块和第二映射模块之外,还包括其他结构,例如池化层、全连接层等等。例如,如图6所示,深层分类模型从输入到输出依次为卷积池化层、串行连接的多个同等映射网络(图6中以2个示例性说明)、第一映射模块、第二映射模块、平均池化层、全连接层。其中,第一映射模块由图6中重复2(以M为2示例性说明)次的第一映射单元61构成,2个第一映射单元61串行连接,第一映射单元61包括1(以K为1示例性说明)个压缩映射网络和2(以L为2示例性说明)个串行连接的同等映射网络,压缩映射网网络的输入为第一映射单元61的输入,输出与同等映射网络连接。第二映射模块由图6中重复3(以N为3示例性说明)次的第二映射单元62构成,3个第二映射单元62串行连接,第二映射单元62包括1(以X为1示例性说明)个压缩映射网络和3(以Y为3示例性说明)个串行连接的同等映射网络,压缩映射网络的输入为第二映射单元61的输入,输出与同等映射网络连接。
该深层分类模型的残差结构体现在同等映射网络和压缩映射网络上,也即是说同等映射网络和压缩映射网络为残差结构。例如,如图7所示,示出了同等映射网络的结构示意图,图中conv表示卷积层,各个卷积层的卷积核大小例如1×1和3×3均是示例性说明,S表示训练步长。同等映射网络对输入的处理方式为,由多个卷积层(以下称之为卷积子网络)对输入进行处理,然后将处理结果和输入进行融合,得到最终的输出。同等映射网络的作用是加大网络深度,以提取更为准确的特征信息,这样有利于以提高分类网络的识别精度。
例如,如图8所示,示出了压缩映射网络的结构示意图,图中conv表示卷积层,各个卷积层的卷积核大例如1×1和3×3均是示例性说明。压缩映射网络的对输入的处理方式为,分别由两个分支(图中左边分支以下称之为卷积子网络)对输入进行卷积处理,然后将两个分支的处理结果进行融合,得到最终的输出。压缩映射网络的作用是在减少数据处理量的同时保留重要的特征信息,这样可以在保证识别效果的同时降低数据处理量,有利于提高分类网络的处理效率。
在可行的实施方式中,该深层分类模型的输入图像大小需要为设定大小,例如300pixel×400pixel。
经过实验表明,上述深层分类模型(例如图6、图7和图8所示网络结构形成的模型)具有很好的分类效果,包括处理速率和分类准确度等等。以下将上述深层分类模型称为基础分类模型。
在可行的实施例中,为进一步提高上述基础分类模型的处理效率,可以将上述基础分类模型包括的同等映射网络和/或压缩映射网络中的部分卷积层采用分组再合并的方式。例如,可以将如图7所示的同等映射网络中的3×3卷积层(或者说左边分支)进行如图9所示的分组再合并,图中的256,1×1,64分别表示输入通道数,卷积核大小和输出通道数,且均是示例性说明,其余类似。压缩映射网络的改进方式同理。改进后的结构可以有效减少计算量,提高预测效率,同时效果不会降低。基于上述方式改进后的基础分类模型以下称之为第一改进分类模型。
在可行的实施例中,为了在进行特征提取时突出异常特征,可以重标定各个特征通道的权重,以增强诸如特殊的形状和颜色等异常特征,这样有利于异常特征的准确提取。基于此,可以针对上述基础分类模型中的同等映射网络和/或压缩映射网络(即改进前的同等映射网络和/或压缩映射网络)加入通道注意力子网络。例如,如图10所示,可以在如图7所示的同等映射网络中的左边分支上加入通道注意力子网络102,该通道注意力子网络102的输入与卷积子网络101(即同等映射网络左边分支原有结构)的输出连接。改进后的同等映射网络中的卷积子网络用于对输入特征图进行特征提取得到初始特征图,加入的通道注意力子网络用于确定初始特征图的通道权重信息,通道权重信息包括初始特征图的各个特征通道的权重参数,权重参数是根据特征通道与异常特征的相关度确定的,即与异常特征的相关度越高,则权重参数越大,以达到突出异常特征的目的。根据通道权重信息可以对初始特征图进行加权处理,即将初始特征图中各个特征通道上的特征值与相应特征通道对应的权重参数进行相乘,加权处理后可以得到第一加权特征图(加权处理过程图10未示出)。同等映射网络的输出特征图是根据第一加权特征图确定的,如图10所示,可以将第一加权特征图与同等映射网络的输入特征图进行相加处理,即得到同等映射网络的输出特征图。其中,通道注意力子网络可以由平均池化层和线型全连接层构成(如图12中的122所示),也可以是基于目前常用的SENet(Squeeze-and-Excitation Networks)网络构建的。压缩映射网络的改进方式同理,此处不再赘述。基于上述方式改进后的基础分类模型以下称之为第二改进分类模型。
在可行的实施例中,可以针对上述第一改进分类模型中的同等映射网络和/或压缩映射网络(即改进后的同等映射网络和/或压缩映射网络)加入上述通道注意力子网络,改进方式可参考上述描述,此处不再赘述。基于上述方式改进后的第一改进分类模型以下称之为第三改进分类模型。
在可行的实施例中,考虑到如果太过关注诸如颜色和形状等特征,对于一部分细小异常对象,由于其诸如形状、颜色等特征不突出,容易被漏判。基于此,可以把第二改进分类模型或者第三改进分类模型中加入的通道注意力子网络优化为粗细粒度注意力网络。粗细粒度注意力网络包括通道注意力子网络和位置注意力子网络,位置注意力子网络和通道注意力子网络并行连接。通道注意力子网络用于确定初始特征图(卷积子网络对输入特征图进行特征提取得到的特征图)的通道权重信息。位置注意力子网络用于确定初始特征图的位置权重信息,位置权重信息用于增强初始特征图中的异常特征与周围场景特征的特征差异,例如增强异常对象轮廓边缘和周围正常场景特征的差异,这样有利于颜色特征不明显的细小异常对象的识别,有效减少漏判。
粗细粒度注意力网络的输出为融合特征图,融合特征图是根据第二加权特征图确定的,第二加权特征图是根据通道权重信息和位置权重信息对初始特征图进行加权处理得到。
例如,如图11所示,可以将同等映射网络中加入的通道注意力子网络102优化为粗细粒度注意力网络121。粗细粒度注意力网络121的结构例如图12所示,粗细粒度注意力网络121包括通道注意力子网络122和位置注意力子网络123,通道注意力子网络122和位置注意力子网络123并行连接,通道注意力子网络122由平均池化层和线型全连接层构成,位置注意力子网络123由多个卷积层构成。通道注意力子网络122和位置注意力子网络123分别对粗细粒度注意力网络121的输入特征图(卷积子网络输出的初始特征图)进行处理,确定输入特征图的通道权重信息和位置权重信息,然后针对通道权重信息和位置权重信息进行相加处理,并利用激活函数(例如Sigmod函数)对相加结果进行处理,再利用激活函数的处理结果对输入特征图进行加权处理,得到加权特征图(即上述第二加权特征图),最后再将加权特征图和输入特征图进行相加处理,得到粗细粒度注意力网络的输出(即上述融合特征图)。在可行的实施方式,粗细粒度注意力网络也可以采用图12中124所示的结构,即无需将加权特征图和输入特征图进行相加处理,粗细粒度注意力网络的输出即为124输出的加权特征图。压缩映射网络的优化方式同理,此处不再赘述,可以是对分类模型中的同等压缩网络和/或压缩映射网络进行上述优化。基于上述优化方式优化后的第二改进分类模型以下称之为第四改进分类模型,基于上述优化方式优化后的第三改进分类模型以下称之为第五改进分类模型。
在可行的实施例中,考虑到如果太过关注诸如颜色和形状等特征,正常场景中类似异常对象(诸如形状类似)的非异常对象容易被误判。例如,游戏场景中,机器的性能显示框形似外挂功能选项框)。基于此,可以做进一步的优化。前文介绍的第四改进分类模型和第五改进分类模型中,粗细粒度注意力网络的输出与同等映射网络的输入可以是直接进行相加操作,以得到同等映射网络的输出,如图10和图11中的103所示的相加操作;和/或,粗细粒度注意力网络的输出与压缩映射网络的右边分支的输出也可以是直接进行相加操作,以得到同等映射网络的输出。
进一步的优化方式可以是将该相加操作优化为门控机制,例如,如图11所示,可以将同等映射网络中的相加操作103优化为门控子网络131。如图13所示,示出了门控子网络131的网络结构,门控子网络131用于采用门控机制对融合特征图(粗细粒度注意力网络121的输出)和同等映射网络的输入特征图进行处理,得到输出特征图。门控子网络131包括的注意力门控模块的结构可以采用图12中124所示的结构,也可以采用目前常用的注意力特征融合方式(Multi-Scale Channel Attention Module,MS-CAM)所使用的网络结构。通过门控机制的处理,可以进一步对比新抽取特征和原场景的自然贴合度,降低场景中疑似异常特征(即实际不为异常特征而与异常特征相似的特征)的权重(即输出特征图相对融合特征图、输入特征图等降低了特征图中疑似异常特征的权重),增强新抽取的异常特征,达到减少误判的效果。压缩映射网络的优化方式同理,此处不再赘述,可以是对分类模型中的同等压缩网络和/或压缩映射网络进行上述优化。基于上述优化方式优化后的第四改进分类模型以下称之为第六改进分类模型,基于上述优化方式优化后的第五改进分类模型以下称之为第七改进分类模型。
本申请实施例中,对于前述实施例中的初步检测模型,当该初步检测模型为一个时,或者,当该初步检测模型为多个,但多个初步检测模型的模型结构相同,初步检测模型可以是上述基础分类模型、第一改进分类模型、第二改进分类模型、第三改进分类模型、第四改进分类模型、第五改进分类模型、第六改进分类模型和第七改进分类模型中的任意一个。当该初步检测模型为多个,且多个初步检测模型的模型结构不同时,可以从上述分类模型中选取至少两个分类模型作为初步检测模型。当然也可以选取基于上述基础分类模型和上述改进优化思想所确定的其他分类模型,例如,直接在基础分类模型上将同等映射网络和/或压缩映射网络中的上述相加操作优化为门控机制。
本申请实施例中,对于前述实施例中的目标检测模型,可以从上述分类模型中选取任意一个分类模型作为目标检测模型。当然也可以选取基于上述基础分类模型和上述改进优化思想所确定的其他分类模型。经过实验表明,上述第六改进分类模型和第七改进分类模型的分类效果最优,由于目标检测模型是用于对初步检测模型难以判别的图像进行进一步检测,为保证检测结果的准确性,可以选取上述第六改进分类模型或者第七改进分类模型作为目标检测模型。目标检测模型可以是采用初步检测模型难以判别的样本图像作为训练样本,输入更大的分辨率,采用focal loss损失函数进行训练,经试验表明,当focalloss中的参数α取值为0.3,y取值为2时,训练效果更优。
本申请实施例中,对于前述实施例中的文字识别模型,文字识别模型可以包括文本框检测子网络和文字识别子网络,文本框检测子网络用于提取图像中的文本框,文字识别子网络用于对文本框检测子网络提取的文本框中的文字进行识别。文本框检测子网络可以是基于YOLOV4网络或者Mobilenetv3网络构建的,文字识别子网络可以是基于CRNN网络构建的,可以构建与异常行为相关联的文字样本集对文字识别子网络进行训练。
另外,如图14所示,可以通过人工审核来补充错判和漏判的样本图像,积累样本库,并样本库中的数据不断迭代更新模型,形成正循环,这样可以降低接入与异常对抗成本。
基于本申请实施例提供的上述模型来实现本申请实施例提供的上述数据处理方法(或者说异常检测方法),能够在减少异常图像(即包含异常对象的图像)漏检的基础上,大大提升异常图像的检测精度,这样可以有效保证图像检测结果的准确性和可靠性,并且可以有效减少人工审核量,而且对于部分情况可实现自动处罚,可进一步减少人工工作量。同时,加之如图14所示的有效闭环运营,能够快速迭代模型。并且本申请实施例提供的数据处理方法可以适用于多款应用的应用图像的异常检测。
请参阅图15,图15为本申请实施例提供的一种数据处理装置的结构示意图。本申请实施例中所描述的数据处理装置,对应于前文所述的图像检测设备,所述装置包括:
获取单元1501,用于获取待检测图像,所述待检测图像是在目标应用使用过程中进行截图得到;
处理单元1502,用于调用多个初步检测模型,将所述待检测图像分别输入每一个所述初步检测模型中进行异常检测,得到每一个所述初步检测模型对所述待检测图像的初步检测结果;
所述处理单元,还用于根据得到的各个所述初步检测结果确定所述待检测图像的第一检测结果;所述第一检测结果指示所述待检测图像为目标图像的概率为第一概率,所述目标图像为包含目标对象的图像;
所述处理单元,还用于若所述第一概率处于第一概率区间,则利用目标检测模型对所述待检测图像进行异常检测,得到所述待检测图像的第二检测结果;
所述处理单元,还用于根据所述第二检测结果确定所述待检测图像的目标检测结果;
其中,所述目标检测模型是利用样本图像集训练得到,所述样本图像集包括多个样本图像,第三检测结果指示所述样本图像为所述目标图像的概率为第二概率,所述第二概率处于所述第一概率区间,所述第三检测结果是根据所述多个初步检测模型对所述样本图像的检测结果确定的。
在一实施例中,所述第二检测结果指示所述待检测图像为所述目标图像的概率为第三概率,所述处理单元1502根据所述第二检测结果确定所述待检测图像的目标检测结果时,具体用于:
若所述第三概率处于目标概率区间,则利用文字识别模型对所述待检测图像进行文字识别,获取所述待检测图像中的文字信息;根据获取的所述文字信息查询关键词列表,并根据查询结果确定所述待检测图像的目标检测结果;所述关键词列表中的关键词为与异常行为相关联的词语。
在一实施例中,所述处理单元1502还用于:
若所述第一概率处于第二概率区间,则利用文字识别模型对所述待检测图像进行文字识别,获取所述待检测图像中的文字信息;所述第二概率区间的下限值大于所述第一概率区间的上限值;根据获取的所述文字信息查询关键词列表,并根据查询结果确定所述待检测图像的目标检测结果;所述关键词列表中的关键词为与异常行为相关联的词语。
在一实施例中,所述目标检测模型包括第一映射模块和第二映射模块,所述第一映射模块的输出与所述第二映射模块的输入连接;所述第一映射模块包括串行连接的M个第一映射单元,每一个所述第一映射单元由K个压缩映射网络和L个同等映射网络构成;所述第二映射模块包括串行连接的N个第二映射单元,每一个所述第二映射单元由X个压缩映射网络和Y个同等映射网络构成;K、L、M、N、X、Y为正整数。
在一实施例中,M小于N,L小于Y。
在一实施例中,所述同等映射网络包括卷积子网络和通道注意力子网络;所述卷积子网络用于对输入特征图进行特征提取得到初始特征图;所述通道注意力子网络用于确定所述初始特征图的通道权重信息,所述通道权重信息包括所述初始特征图的各个特征通道的权重参数,所述权重参数是根据特征通道与异常特征的相关度确定的;所述同等映射网络的输出特征图是根据第一加权特征图确定的,所述第一加权特征图是根据所述通道权重信息对所述初始特征图进行加权处理得到。
在一实施例中,所述同等映射网络还包括位置注意力子网络和门控子网络,所述位置注意力子网络和所述通道注意力子网络并行连接;所述位置注意力子网络用于确定所述初始特征图的位置权重信息,所述位置权重信息用于增强所述初始特征图中的异常特征与周围场景特征的特征差异;所述门控子网络用于采用门控机制对融合特征图和所述输入特征图进行处理,得到输出特征图;所述融合特征图是根据第二加权特征图确定的,所述第二加权特征图是根据所述通道权重信息和所述位置权重信息对所述初始特征图进行加权处理得到,所述输出特征图降低了特征图中疑似异常特征的权重。
在一实施例中,所述目标检测结果指示所述待检测图像是否为所述目标图像,所述处理单元1502还用于:
若所述目标检测结果指示所述待检测图像为所述目标图像,则确定所述目标应用的使用对象存在异常行为;按照设定的异常处理方式对所述使用对象进行处理。
可以理解的是,本申请实施例的数据处理装置的各功能单元的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例中的相关描述,此处不再赘述。
在可行的实施例中,本申请实施例提供的数据处理装置可以采用软件方式实现,数据处理装置可以存储在存储器中,其可以是程序和插件等形式的软件,并包括一系列的单元,包括获取单元和处理单元;其中,获取单元和处理单元用于实现本申请实施例提供的数据处理方法。
在其它可行的实施例中,本申请实施例提供的数据处理装置也可以采用软硬件结合的方式实现,作为示例,本申请实施例提供的数据处理装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的数据处理方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable Logic Device)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
本申请实施例一方面先利用初步检测模型对待检测图像进行异常检测,若通过初步检测模型不能得出准确的检测结果,则利用目标检测模型对待检测图像进行进一步的异常检测,并根据目标检测模型得出的检测结果来确定待检测图像最终的检测结果,基于多阶段的检测模型针对待检测图像的异常检测,可以得出准确的待检测图像的最终检测结果,这样可以有效提高待检测图像的最终检测结果的准确性和可靠性。另一方面,本申请实施例是利用多个初步检测模型分别对待检测图像进行异常检测,然后综合各个初步检测模型的检测结果来确定待检测图像初步阶段的检测结果,这样可以得出准确的初步阶段检测结果,准确的初步阶段检测结果有利于后续执行正确的操作,进而可以保证后续得出准确的待检测图像的最终检测结果。又一方面,目标检测模型训练时所使用的样本图像为初步检测模型不能得出准确检测结果的图像,这样训练出的目标检测模型对难以判定的图像具有更好的检测效果,在实际使用时,能够对初步检测模型不能得出准确检测结果的待检测图像进行准确的异常检测,这样可以进一步保证待检测图像的最终检测结果的准确性和可靠性。另外,基于待检测图像的准确且可靠的目标检测结果可以准确判定目标应用的使用是否存在异常行为。
请参阅图16,图16为本申请实施例提供的一种计算机设备的结构示意图。本申请实施例中所描述的计算机设备对应于前文所述的图像检测设备,包括:处理器1601、通信接口1602及存储器1603。其中,处理器1601、通信接口1602及存储器1603可通过总线或其他方式连接,本申请实施例以通过总线连接为例。
其中,处理器1601(或称CPU(Central Processing Unit,中央处理器))是计算机设备的计算核心以及控制核心,其可以解析计算机设备内的各类指令以及处理计算机设备的各类数据,例如:CPU可以用于解析用户向计算机设备所发送的开关机指令,并控制计算机设备进行开关机操作;再如:CPU可以在计算机设备内部结构之间传输各类交互数据,等等。通信接口1602可选的可以包括标准的有线接口、无线接口(如Wi-Fi、移动通信接口等),受处理器1601的控制用于收发数据。存储器1603(Memory)是计算机设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器1603既可以包括计算机设备的内置存储器,当然也可以包括计算机设备所支持的扩展存储器。存储器1603提供存储空间,该存储空间存储了计算机设备的操作系统,可包括但不限于:Android系统、iOS系统、Windows Phone系统等等,本申请对此并不作限定。
在本申请实施例中,处理器1601通过运行存储器1603中的可执行程序代码,执行如下操作:
通过通信接口1602获取待检测图像,所述待检测图像是在目标应用使用过程中进行截图得到;调用多个初步检测模型,将所述待检测图像分别输入每一个所述初步检测模型中进行异常检测,得到每一个所述初步检测模型对所述待检测图像的初步检测结果;根据得到的各个所述初步检测结果确定所述待检测图像的第一检测结果;所述第一检测结果指示所述待检测图像为目标图像的概率为第一概率,所述目标图像为包含目标对象的图像;若所述第一概率处于第一概率区间,则利用目标检测模型对所述待检测图像进行异常检测,得到所述待检测图像的第二检测结果;根据所述第二检测结果确定所述待检测图像的目标检测结果。
其中,所述目标检测模型是利用样本图像集训练得到,所述样本图像集包括多个样本图像,第三检测结果指示所述样本图像为所述目标图像的概率为第二概率,所述第二概率处于所述第一概率区间,所述第三检测结果是根据所述多个初步检测模型对所述样本图像的检测结果确定的。
在一实施例中,所述第二检测结果指示所述待检测图像为所述目标图像的概率为第三概率,处理器1601根据所述第二检测结果确定所述待检测图像的目标检测结果时,具体用于:
若所述第三概率处于目标概率区间,则利用文字识别模型对所述待检测图像进行文字识别,获取所述待检测图像中的文字信息;根据获取的所述文字信息查询关键词列表,并根据查询结果确定所述待检测图像的目标检测结果;所述关键词列表中的关键词为与异常行为相关联的词语。
在一实施例中,处理器1601还用于:
若所述第一概率处于第二概率区间,则利用文字识别模型对所述待检测图像进行文字识别,获取所述待检测图像中的文字信息;所述第二概率区间的下限值大于所述第一概率区间的上限值;根据获取的所述文字信息查询关键词列表,并根据查询结果确定所述待检测图像的目标检测结果;所述关键词列表中的关键词为与异常行为相关联的词语。
在一实施例中,所述目标检测模型包括第一映射模块和第二映射模块,所述第一映射模块的输出与所述第二映射模块的输入连接;所述第一映射模块包括串行连接的M个第一映射单元,每一个所述第一映射单元由K个压缩映射网络和L个同等映射网络构成;所述第二映射模块包括串行连接的N个第二映射单元,每一个所述第二映射单元由X个压缩映射网络和Y个同等映射网络构成;K、L、M、N、X、Y为正整数。
在一实施例中,M小于N,L小于Y。
在一实施例中,所述同等映射网络包括卷积子网络和通道注意力子网络;所述卷积子网络用于对输入特征图进行特征提取得到初始特征图;所述通道注意力子网络用于确定所述初始特征图的通道权重信息,所述通道权重信息包括所述初始特征图的各个特征通道的权重参数,所述权重参数是根据特征通道与异常特征的相关度确定的;所述同等映射网络的输出特征图是根据第一加权特征图确定的,所述第一加权特征图是根据所述通道权重信息对所述初始特征图进行加权处理得到。
在一实施例中,所述同等映射网络还包括位置注意力子网络和门控子网络,所述位置注意力子网络和所述通道注意力子网络并行连接;所述位置注意力子网络用于确定所述初始特征图的位置权重信息,所述位置权重信息用于增强所述初始特征图中的异常特征与周围场景特征的特征差异;所述门控子网络用于采用门控机制对融合特征图和所述输入特征图进行处理,得到输出特征图;所述融合特征图是根据第二加权特征图确定的,所述第二加权特征图是根据所述通道权重信息和所述位置权重信息对所述初始特征图进行加权处理得到,所述输出特征图降低了特征图中疑似异常特征的权重。
在一实施例中,所述目标检测结果指示所述待检测图像是否为所述目标图像,处理器1601还用于:
若所述目标检测结果指示所述待检测图像为所述目标图像,则确定所述目标应用的使用对象存在异常行为;按照设定的异常处理方式对所述使用对象进行处理。
具体实现中,本申请实施例中所描述的处理器1601、通信接口1602及存储器1603可执行本申请实施例提供的数据处理方法中所描述的图像检测设备的实现方式,也可执行本申请实施例提供的图像检测装置中所描述的实现方式,在此不再赘述。
本申请实施例一方面先利用初步检测模型对待检测图像进行异常检测,若通过初步检测模型不能得出准确的检测结果,则利用目标检测模型对待检测图像进行进一步的异常检测,并根据目标检测模型得出的检测结果来确定待检测图像最终的检测结果,基于多阶段的检测模型针对待检测图像的异常检测,可以得出准确的待检测图像的最终检测结果,这样可以有效提高待检测图像的最终检测结果的准确性和可靠性。另一方面,本申请实施例是利用多个初步检测模型分别对待检测图像进行异常检测,然后综合各个初步检测模型的检测结果来确定待检测图像初步阶段的检测结果,这样可以得出准确的初步阶段检测结果,准确的初步阶段检测结果有利于后续执行正确的操作,进而可以保证后续得出准确的待检测图像的最终检测结果。又一方面,目标检测模型训练时所使用的样本图像为初步检测模型不能得出准确检测结果的图像,这样训练出的目标检测模型对难以判定的图像具有更好的检测效果,在实际使用时,能够对初步检测模型不能得出准确检测结果的待检测图像进行准确的异常检测,这样可以进一步保证待检测图像的最终检测结果的准确性和可靠性。另外,基于待检测图像的准确且可靠的目标检测结果可以准确判定目标应用的使用是否存在异常行为。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,使得计算机实现如本申请实施例所述的数据处理方法。其具体实现方式可参考前文描述,此处不再赘述。
本申请实施例还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机程序或计算机指令,处理器执行所述计算机程序或计算机指令,使得所述计算机设备实现如本申请实施例所述的数据处理方法。其具体实现方式可参考前文描述,此处不再赘述。
需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。另外,用于执行上述方法实施例中各步骤的执行主体可以是由硬件构成,也可以是由软件构成,还可以是由软硬件结合构成。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random AccessMemory,RAM)、磁盘或光盘等。
以上所揭露的仅为本申请部分实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。

Claims (11)

1.一种数据处理方法,其特征在于,所述方法包括:
获取待检测图像,所述待检测图像是在目标应用使用过程中进行截图得到;
调用多个初步检测模型,将所述待检测图像分别输入每一个所述初步检测模型中进行异常检测,得到每一个所述初步检测模型对所述待检测图像的初步检测结果;
根据得到的各个所述初步检测结果确定所述待检测图像的第一检测结果;所述第一检测结果指示所述待检测图像为目标图像的概率为第一概率,所述目标图像为包含目标对象的图像;
若所述第一概率处于第一概率区间,则利用目标检测模型对所述待检测图像进行异常检测,得到所述待检测图像的第二检测结果;
根据所述第二检测结果确定所述待检测图像的目标检测结果;
其中,所述目标检测模型是利用样本图像集训练得到,所述样本图像集包括多个样本图像,第三检测结果指示所述样本图像为所述目标图像的概率为第二概率,所述第二概率处于所述第一概率区间,所述第三检测结果是根据所述多个初步检测模型对所述样本图像的检测结果确定的。
2.如权利要求1所述的方法,其特征在于,所述第二检测结果指示所述待检测图像为所述目标图像的概率为第三概率,所述根据所述第二检测结果确定所述待检测图像的目标检测结果,包括:
若所述第三概率处于目标概率区间,则利用文字识别模型对所述待检测图像进行文字识别,获取所述待检测图像中的文字信息;
根据获取的所述文字信息查询关键词列表,并根据查询结果确定所述待检测图像的目标检测结果;所述关键词列表中的关键词为与异常行为相关联的词语。
3.如权利要求1所述的方法,其特征在于,所述方法还包括:
若所述第一概率处于第二概率区间,则利用文字识别模型对所述待检测图像进行文字识别,获取所述待检测图像中的文字信息;所述第二概率区间的下限值大于所述第一概率区间的上限值;
根据获取的所述文字信息查询关键词列表,并根据查询结果确定所述待检测图像的目标检测结果;所述关键词列表中的关键词为与异常行为相关联的词语。
4.如权利要求1-3任一项所述的方法,其特征在于,所述目标检测模型包括第一映射模块和第二映射模块,所述第一映射模块的输出与所述第二映射模块的输入连接;所述第一映射模块包括串行连接的M个第一映射单元,每一个所述第一映射单元由K个压缩映射网络和L个同等映射网络构成;所述第二映射模块包括串行连接的N个第二映射单元,每一个所述第二映射单元由X个压缩映射网络和Y个同等映射网络构成;K、L、M、N、X、Y为正整数。
5.如权利要求4所述的方法,其特征在于,所述同等映射网络包括卷积子网络和通道注意力子网络;所述卷积子网络用于对输入特征图进行特征提取得到初始特征图;所述通道注意力子网络用于确定所述初始特征图的通道权重信息,所述通道权重信息包括所述初始特征图的各个特征通道的权重参数,所述权重参数是根据特征通道与异常特征的相关度确定的;所述同等映射网络的输出特征图是根据第一加权特征图确定的,所述第一加权特征图是根据所述通道权重信息对所述初始特征图进行加权处理得到。
6.如权利要求5所述的方法,其特征在于,所述同等映射网络还包括位置注意力子网络和门控子网络,所述位置注意力子网络和所述通道注意力子网络并行连接;所述位置注意力子网络用于确定所述初始特征图的位置权重信息,所述位置权重信息用于增强所述初始特征图中的异常特征与周围场景特征的特征差异;所述门控子网络用于采用门控机制对融合特征图和所述输入特征图进行处理,得到输出特征图;所述融合特征图是根据第二加权特征图确定的,所述第二加权特征图是根据所述通道权重信息和所述位置权重信息对所述初始特征图进行加权处理得到,所述输出特征图降低了特征图中疑似异常特征的权重。
7.如权利要求1所述的方法,其特征在于,所述目标检测结果指示所述待检测图像是否为所述目标图像,所述方法还包括:
若所述目标检测结果指示所述待检测图像为所述目标图像,则确定所述目标应用的使用对象存在异常行为;
按照设定的异常处理方式对所述使用对象进行处理。
8.一种数据处理装置,其特征在于,所述数据处理装置包括:
获取单元,用于获取待检测图像,所述待检测图像是在目标应用使用过程中进行截图得到;
处理单元,用于调用多个初步检测模型,将所述待检测图像分别输入每一个所述初步检测模型中进行异常检测,得到每一个所述初步检测模型对所述待检测图像的初步检测结果;
所述处理单元,还用于根据得到的各个所述初步检测结果确定所述待检测图像的第一检测结果;所述第一检测结果指示所述待检测图像为目标图像的概率为第一概率,所述目标图像为包含目标对象的图像;
所述处理单元,还用于若所述第一概率处于第一概率区间,则利用目标检测模型对所述待检测图像进行异常检测,得到所述待检测图像的第二检测结果;
所述处理单元,还用于根据所述第二检测结果确定所述待检测图像的目标检测结果;
其中,所述目标检测模型是利用样本图像集训练得到,所述样本图像集包括多个样本图像,第三检测结果指示所述样本图像为所述目标图像的概率为第二概率,所述第二概率处于所述第一概率区间,所述第三检测结果是根据所述多个初步检测模型对所述样本图像的检测结果确定的。
9.一种计算机设备,其特征在于,所述计算机设备包括:处理器、通信接口和存储器,所述处理器、所述通信接口和所述存储器相互连接,其中,所述存储器存储有可执行程序代码,所述处理器用于调用所述可执行程序代码,实现如权利要求1-7中任一项所述的数据处理方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机指令,当其在计算机上运行时,使得计算机实现如权利要求1-7中任一项所述的数据处理方法。
11.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序或计算机指令,所述计算机程序或计算机指令被处理器执行时实现如权利要求1-7中任一项所述的数据处理方法。
CN202211253164.6A 2022-10-13 2022-10-13 数据处理方法、装置、设备、存储介质及程序产品 Pending CN117018629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211253164.6A CN117018629A (zh) 2022-10-13 2022-10-13 数据处理方法、装置、设备、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211253164.6A CN117018629A (zh) 2022-10-13 2022-10-13 数据处理方法、装置、设备、存储介质及程序产品

Publications (1)

Publication Number Publication Date
CN117018629A true CN117018629A (zh) 2023-11-10

Family

ID=88639569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211253164.6A Pending CN117018629A (zh) 2022-10-13 2022-10-13 数据处理方法、装置、设备、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN117018629A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118430025A (zh) * 2024-07-03 2024-08-02 传申弘安智能(深圳)有限公司 安监领域智能多模态检测方法、装置及计算机设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118430025A (zh) * 2024-07-03 2024-08-02 传申弘安智能(深圳)有限公司 安监领域智能多模态检测方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN108846365B (zh) 视频中打架行为的检测方法、装置、存储介质及处理器
CN111744187B (zh) 一种游戏数据处理方法、装置、计算机及可读存储介质
CN114331829A (zh) 一种对抗样本生成方法、装置、设备以及可读存储介质
CN108629180A (zh) 异常操作的确定方法和装置、存储介质、电子装置
CN113518256A (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
US12074907B2 (en) Systems and methods of detecting anomalous websites
WO2018031050A1 (en) System and method for generating a customized augmented reality environment to a user
CN117235559B (zh) 一种基于边缘计算的物联网数据采集方法及系统
CN113032268B (zh) 软件测试方法、装置及存储介质
CN109194689A (zh) 异常行为识别方法、装置、服务器及存储介质
CN111298446A (zh) 游戏外挂检测方法、装置、计算机以及可读存储介质
CN111354013A (zh) 目标检测方法及装置、设备和存储介质
CN114219971A (zh) 一种数据处理方法、设备以及计算机可读存储介质
CN114283349A (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN111821693A (zh) 游戏的透视外挂检测方法、装置、设备及存储介质
CN115171199B (zh) 图像处理方法、装置及计算机设备、存储介质
CN113569824B (zh) 模型处理方法、相关设备、存储介质及计算机程序产品
US10397658B1 (en) Identifying relevant gameplay content for a game environment using a vector-space framework
CN117018629A (zh) 数据处理方法、装置、设备、存储介质及程序产品
CN112667864B (zh) 图对齐方法、装置、电子设备及存储介质
CN113069773A (zh) 基于密接的游戏好友推荐方法、系统、服务器及存储介质
CN116453204B (zh) 动作识别方法和装置、存储介质及电子设备
CN111476086A (zh) 烟火识别方法、装置、计算机设备和可读存储介质
KR102538301B1 (ko) 유니폼 검색 서비스를 제공하기 위한 장치 및 방법
CN117994846B (zh) 一种轻量化手语识别方法、系统、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination