CN118227610A - 数据处理的校验方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本公开涉及大数据技术领域，公开了一种数据处理的校验方法、装置、计算机设备和存储介质。方法包括：获取待校验数据，其中，待校验数据由待校验脚本对原始数据处理得到；若待校验数据与原始数据对应的目标处理结果数据相匹配，则还原待校验脚本在数据处理过程中的第一映射规则信息；根据原始数据与目标处理结果数据，生成第二映射规则信息；若第一映射规则信息与第二映射规则信息相匹配，则将待校验数据确定为目标数据，并将待校验脚本确定为目标数据对应的数据处理脚本。采用本方法能够在检核确定目标数据的情况下，确定得到该目标数据的数据处理脚本，提高了数据处理的校验结果的可靠性。

Description

数据处理的校验方法、装置、计算机设备和存储介质

技术领域

本申请涉及大数据技术领域，特别是涉及一种数据处理的校验方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

大数据技术是一系列用于处理和分析海量数据集的技术和方法，通常包括数据采集、存储、处理和分析等过程。大数据技术的发展正在推动许多行业的变革，随着大数据技术的广泛应用，对数据的处理和测试需求也急剧增加。例如，对于金融行业的业务数据处理，由于其业务数据的链路长、加工点多并且点与点之间的关系复杂，因此对于业务数据的质量也提出了更高的要求。进而对于数据处理结果的校验或测试工作是必要的。

传统技术方案中，对于数据处理结果的校验测试过程主要侧重于验证数据处理最终输出的结果，针对数据处理结果或数据加工结果的正确性进行校验测试。但是上述的校验测试方案或方法测试单薄而低效，一旦测试结果存在问题，需要从终端往上回溯，逐个链路阶段分析和验证，对问题的定位和解决时间长，沟通成本巨大。综上所述，传统技术方案所提供的数据处理校验方式的可靠性较低。

发明内容

基于此，有必要针对上述技术问题，提供一种可靠性更高的数据处理的校验方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种数据处理的校验方法。所述方法包括：

获取待校验数据，其中，所述待校验数据由待校验脚本对原始数据处理得到；

若所述待校验数据与所述原始数据对应的目标处理结果数据相匹配，则还原所述待校验脚本在数据处理过程中的第一映射规则信息；

根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息；

若所述第一映射规则信息与所述第二映射规则信息相匹配，则将所述待校验数据确定为目标数据，并将所述待校验脚本确定为所述目标数据对应的数据处理脚本。

在其中一个实施例中，所述还原所述待校验脚本在数据处理过程中的第一映射规则信息，包括：

根据所述原始数据和所述待校验数据，确定所述待校验脚本中的第一数据流转路径；

识别所述第一数据流转路径中的运算处理函数，根据所述运算处理函数的输入数据和输出数据，生成所述第一数据流转路径对应的第一函数运算信息；

根据所述第一数据流转路径和所述第一函数运算信息，生成所述待校验脚本在数据处理过程中的第一映射规则信息。

在其中一个实施例中，在所述根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息之后，所述方法还包括：

识别所述第二映射规则信息对应的第二数据流转路径中的第二函数运算信息；

若所述第二数据流转路径与所述第一数据流转路径相匹配，且所述第二函数运算信息与所述第一函数运算信息相匹配，则确定所述第一映射规则信息与所述第二映射规则信息相匹配。

在其中一个实施例中，所述方法还包括：

若所述第二数据流转路径与所述第一数据流转路径不匹配，则根据所述第二数据流转路径与所述第一数据流转路径，确定所述第一数据流转路径中的差异化路径信息；

将所述待校验脚本确定为异常脚本，并根据所述差异化路径信息生成所述异常脚本对应的故障定位信息；

根据所述异常脚本和所述故障定位信息，生成异常告警信息。

在其中一个实施例中，所述根据所述异常脚本和所述故障定位信息，生成异常告警信息；

若所述第二函数运算信息与所述第一函数运算信息不匹配，则根据所述第二函数运算信息与所述第一函数运算信息，确定所述第一数据流转路径中的差异化函数信息；

根据所述异常脚本、所述差异化函数信息和所述故障定位信息，生成异常告警信息。

在一个实施例中，所述根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息，包括：

根据所述原始数据对应的第一数据值与所述目标处理结果数据对应的第二数据值，生成所述原始数据与所述目标处理结果数据之间的数值映射信息；

根据所述原始数据对应的第一数据格式信息与所述目标处理结果数据对应的第二数据格式信息，生成所述原始数据与所述目标处理结果数据之间的编码映射信息；

根据所述数值映射信息和所述编码映射信息，生成第二映射规则信息。

在一个实施例中，所述获取原始数据之后，所述方法还包括：

若所述待校验数据的第一数据量与所述目标处理结果数据的第二数据量相匹配，则识别所述待校验数据中的字段空值；

若所述字段空值的数量小于或等于预设数量阈值，则识别所述待校验数据中的主键字段；

若所述待校验数据中的主键字段唯一且所述主键字段中不存在空值，则确定所述待校验数据与所述目标处理结果数据相匹配。

在一个实施例中，所述方法还包括：

根据所述原始数据和所述待校验数据，生成数据处理链路；

将所述数据处理链路中多个数据处理节点对应的数据处理子脚本进行整合，生成待校验脚本。

第二方面，本申请还提供了一种数据处理的校验装置。所述装置包括：

数据采集模块，用于获取待校验数据，其中，所述待校验数据由待校验脚本对原始数据处理得到；

数据检核模块，用于若所述待校验数据与所述原始数据对应的目标处理结果数据相匹配，则还原所述待校验脚本在数据处理过程中的第一映射规则信息；

映射生成模块，用于根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息；

脚本检核模块，用于若所述第一映射规则信息与所述第二映射规则信息相匹配，则将所述待校验数据确定为目标数据，并将所述待校验脚本确定为所述目标数据对应的数据处理脚本。

在其中一个实施例中，所述数据检核模块还用于根据所述原始数据和所述待校验数据，确定所述待校验脚本中的第一数据流转路径；识别所述第一数据流转路径中的运算处理函数，根据所述运算处理函数的输入数据和输出数据，生成所述第一数据流转路径对应的第一函数运算信息；根据所述第一数据流转路径和所述第一函数运算信息，生成所述待校验脚本在数据处理过程中的第一映射规则信息。

在其中一个实施例中，所述脚本检核模块还用于识别所述第二映射规则信息对应的第二数据流转路径中的第二函数运算信息；若所述第二数据流转路径与所述第一数据流转路径相匹配，且所述第二函数运算信息与所述第一函数运算信息相匹配，则确定所述第一映射规则信息与所述第二映射规则信息相匹配。

在其中一个实施例中，所述脚本检核模块还用于若所述第二数据流转路径与所述第一数据流转路径不匹配，则根据所述第二数据流转路径与所述第一数据流转路径，确定所述第一数据流转路径中的差异化路径信息；将所述待校验脚本确定为异常脚本，并根据所述差异化路径信息生成所述异常脚本对应的故障定位信息；根据所述异常脚本和所述故障定位信息，生成异常告警信息。

在其中一个实施例中，所述脚本检核模块还用于若所述第二函数运算信息与所述第一函数运算信息不匹配，则根据所述第二函数运算信息与所述第一函数运算信息，确定所述第一数据流转路径中的差异化函数信息；根据所述异常脚本、所述差异化函数信息和所述故障定位信息，生成异常告警信息。

在其中一个实施例中，映射生成模块还用于根据所述原始数据对应的第一数据值与所述目标处理结果数据对应的第二数据值，生成所述原始数据与所述目标处理结果数据之间的数值映射信息；根据所述原始数据对应的第一数据格式信息与所述目标处理结果数据对应的第二数据格式信息，生成所述原始数据与所述目标处理结果数据之间的编码映射信息；根据所述数值映射信息和所述编码映射信息，生成第二映射规则信息。

在其中一个实施例中，所述数据检核模块还用于若所述待校验数据的第一数据量与所述目标处理结果数据的第二数据量相匹配，则识别所述待校验数据中的字段空值；若所述字段空值的数量小于或等于预设数量阈值，则识别所述待校验数据中的主键字段；若所述待校验数据中的主键字段唯一且所述主键字段中不存在空值，则确定所述待校验数据与所述目标处理结果数据相匹配。

在其中一个实施例中，所述装置还包括流程梳理模块，该模块用于根据所述原始数据和所述待校验数据，生成数据处理链路；将所述数据处理链路中多个数据处理节点对应的数据处理子脚本进行整合，生成待校验脚本。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取待校验数据，其中，所述待校验数据由待校验脚本对原始数据处理得到；

若所述待校验数据与所述原始数据对应的目标处理结果数据相匹配，则还原所述待校验脚本在数据处理过程中的第一映射规则信息；

根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息；

若所述第一映射规则信息与所述第二映射规则信息相匹配，则将所述待校验数据确定为目标数据，并将所述待校验脚本确定为所述目标数据对应的数据处理脚本。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取待校验数据，其中，所述待校验数据由待校验脚本对原始数据处理得到；

若所述待校验数据与所述原始数据对应的目标处理结果数据相匹配，则还原所述待校验脚本在数据处理过程中的第一映射规则信息；

根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息；

若所述第一映射规则信息与所述第二映射规则信息相匹配，则将所述待校验数据确定为目标数据，并将所述待校验脚本确定为所述目标数据对应的数据处理脚本。

第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：

获取待校验数据，其中，所述待校验数据由待校验脚本对原始数据处理得到；

若所述待校验数据与所述原始数据对应的目标处理结果数据相匹配，则还原所述待校验脚本在数据处理过程中的第一映射规则信息；

根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息；

若所述第一映射规则信息与所述第二映射规则信息相匹配，则将所述待校验数据确定为目标数据，并将所述待校验脚本确定为所述目标数据对应的数据处理脚本。

上述数据处理的校验方法、装置、计算机设备、存储介质和计算机程序产品，首先基于原始数据和待校验脚本进行数据处理，得到待校验数据；同时获取原始数据所对应的目标处理结果数据。然后进入数据处理的校验过程，首先需要对数据处理进行处理结果检核，判断待校验数据和目标处理结果数据是否匹配。在数据匹配的情况下，再进行数据处理过程的映射规则检核，先根据待校验脚本还原数据处理过程中的第一映射规则信息，再根据原始数据和目标处理结果数据生成参考的第二映射规则信息，进而判断两项映射规则信息是否匹配。通过处理结果检核和映射规则检核的过程，有效地提高了对数据处理过程检核测试的准确性。最终在处理结果检核通过且映射规则检核通过的情况下，才将待校验数据确定为目标数据，并将待校验脚本确定为该目标数据对应的数据处理脚本，方案能够在检核确定目标数据的情况下，进一步确定得到该目标数据的数据处理脚本，提高了数据处理的校验结果的可靠性。

附图说明

图1为一个实施例中数据处理的校验方法的应用环境图；

图2为一个实施例中数据处理的校验方法的流程示意图；

图3为一个实施例中生成第一映射规则信息子步骤的流程示意图；

图4为一个实施例中映射规则信息检核子步骤的流程示意图；

图5为一个实施例中生成第二映射规则信息子步骤的流程示意图；

图6为一个实施例中数据处理的校验装置的结构框图；

图7为一个实施例中测试系统平台的结构框图；

图8为一个实施例中测试系统平台中获取模块的获取信息示意图；

图9为一个实施例中检核执行状态变化示意图；

图10为另一个实施例中数据处理的校验方法的流程示意图；

图11为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

需要说明的是，本申请所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

如背景技术中指出，传统技术方案中对于一个长链路的数据处理流程来讲，如果上游数据存在质量问题，数据问题一旦蔓延到下游，对数据的分析和治理要沿整个链路逆向回溯，追踪和排查困难，耗时耗力，效率低并且成本高。

为了能够有效地解决传统技术方案中所提出的技术问题和技术缺陷，本申请实施例提供的数据处理的校验方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。其中，终端102可以包括但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。另外，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

具体在图1所示的应用环境中，首先终端102向服务器104发起数据处理的校验请求。服务器104基于这一请求指令，首先从数据存储系统或者是本地缓存空间中提取待校验数据，其中，待校验数据是由待检测数据处理流程所对应的待校验脚本，对原始数据进行相应的处理之后所得到的数据内容。在确定待校验数据和待校验脚本的情况下，服务器104进一步将前述的待校验数据与数据处理流程预先设定的，与原始数据对应的目标处理结果数据进行对比校验，以确定待校验脚本处理之后得到的待校验数据与目标处理结果数据是否匹配或相同。在确定两者匹配的情况下，则会对前述的待校验脚本进行逆向分析，基于待校验脚本还原得到数据处理过程中的第一映射规则信息。进一步地，服务器104还将进行脚本映射规则的校验。在确定了数据处理过程的原始数据和其对应的目标处理结果数据的情况下，进行数据映射规则的预测生成，得到第二映射规则信息。进一步地，将前述得到的第一映射规则信息和第二映射规则信息进行对比校验，以判断两项映射规则是否匹配。在确定两项映射规则相匹配的情况下，即待校验脚本对应的映射规则是能够准确地描述原始数据与目标处理结果数据之间的映射规则的；更进一步地，服务器104则将待校验数据和待校验脚本标记为目标数据以及对应的数据处理脚本，并且形成相应的校验报文，推送至终端102，对数据处理的校验结果进行可视化显示。

在一个实施例中，如图2所示，提供了一种数据处理的校验方法，以该方法应用于图1中的服务器104为例进行说明，包括以下步骤：

步骤202，获取待校验数据，其中，待校验数据由待校验脚本对原始数据处理得到。

在实施例中，待校验脚本是指未对文件内部封装的映射规则进行准确性、正确性校核的脚本文件；更为具体的，实施例中脚本文件是一种可执行的文本文件，用于自动执行处理过程中的部分命令或操作。实施例中的待校验数据，则是在给定了原始数据的情况下，将原始数据输入至待校验脚本中，在由待校验脚本输出所得到的处理结果。实施例中的原始数据则是需要进行相应处理的业务数据，其根据不同的实施环境包括不同的数据类型和内容。

示例性地，实施例中的服务器手先对待校验的业务数据处理流程的脚本文件进行加载，并将其标记为待校验脚本。然后，服务器再进一步调用需要进行处理的业务原始数据，例如，将银行某项特定业务流水数据输入至前述的脚本文件中进行处理，该项业务流水数据的各项统计结果、属性特征数据以及数据分布特征数据等。并且服务器将得到的各项属性数据、特征数据以及数据分布特征数据均标注为待校验数据，以备进行后续的校验处理步骤。

步骤204，若待校验数据与原始数据对应的目标处理结果数据相匹配，则还原待校验脚本在数据处理过程中的第一映射规则信息。

在实施例中，目标处理结果数据是用于对待校验数据的准确性和正确性进行校验的参考数据。更为具体的，实施例的校验方法的实施环境可以是在测试环境中；相对应的，实施例中原始数据则可以选用预先整理形成的（历史业务）测试数据，进而，目标处理结果数据则是已经明确的，与测试数据对应的测试结果数据。或者，在具体的业务场景中，所选定的原始数据为某项具体的业务数据，进而，目标处理结果数据则将业务数据通过其他经过校验认可，可靠程度已知的运算工具，或者通过人工测算的方法所确定的业务数据处理结果，并作为校验过程中的参考数据。实施例中第一映射规则信息，则是在确定待校验脚本的情况下，基于待校验脚本文件中封装的指令操作进行还原所形成的数据映射规则；并且，这一数据映射规则能够反映待校验脚本的输入数据与输出数据之间的数据变换规则。

示例性地，实施例中在获取得到的待校验的业务数据处理结果之后；进一步从服务器的缓存空间中调用该业务数据对应的目标处理结果数据。更为具体的，该目标处理结果数据可以是直接通过已知的，且可靠性高的运算函数，对原始的业务数据进行运算后得到的数据处理结果，并且将其缓存至服务器的缓存空间中。然后，服务器执行数据处理结果检核过程，将待校验的业务数据处理结果与运算后得到的数据处理结果直接进行对比，通过判断两项数据是否相同从而确定两项数据是否完全匹配。

若对比结果为两项数据相同，则通过数据处理结果检核。进一步地，服务器将基于前述步骤中标记确定的待校验脚本，对数据处理过程中所遵循的映射规则进行还原。具体地，可以对待校验脚本文件中的具体操作指令（编译）内容进行反编译，以形成相应的规则映射信息，即第一映射规则信息。

相反，若对比结果为两项数据不同，则将直接结束校核流程，服务器生成数据处理结果异常的报文信息，结合相应的提醒警示信息反馈至终端，并进行可视化展示。

步骤206，根据原始数据与目标处理结果数据，生成第二映射规则信息。

在实施例中，由于目标处理结果数据与原始数据之间存在严格的对应关系，因此，将这一严格对应关系的内容进行提取所形成的数据映射规则，即为实施例中的第二映射规则信息。具体地，实施例中的第二映射规则可以是通过对两组数据进行比较和分析，以找出它们之间的关联、模式或转换规则。

示例性地，实施例中在完成并通过对数据处理结果检核之后，需要进一步对生成前述待校验数据的待校验脚本进行准确性的校验，以提高校验结果的准确性和可靠性。在服务器已经确定原始数据与目标处理结果之后，对两项数据之间的数据映射关系进行确定或推算。具体地，实施例中在通过已知的且可靠性高的运算函数，对原始数据进行运算后得到的目标处理结果数据的情况下，则可以基于所采用的运算函数对应的函数映射关系，形成两项数据之间的数据映射关系，即第二映射规则信息。又或者，实施例中还可以通过数据探索性分析（Exploratory Data Analysis，EDA）方式，寻找原始数据和结果数据之间的相关性、趋势或异常值； 并以此形成第二映射规则信息。

步骤208，若第一映射规则信息与第二映射规则信息相匹配，则将待校验数据确定为目标数据，并将待校验脚本确定为目标数据对应的数据处理脚本。

在实施例中，目标数据即为通过数据处理结果检核后的待校验数据；相对应的，目标数据对应的数据处理脚本，即为通过数据处理脚本检核后的待校验脚本。

示例性地，实施例中的服务器在通过上述步骤确定了由待校验脚本还原得到的数据映射规则信息（第一映射规则信息）和原始数据与目标处理结果数据之间对应关系所形成的数据映射规则信息（第二映射规则信息）之后，将两项数据映射规则信息进行对比校验，以确定两项规则信息是否相匹配。具体在对比校验的过程中，包括但不限于一致性检核和向量空间映射检核等方式。更为具体的，一致性检核过程中，检查数据在基于两项数据映射规则进行数据转化时是否保持一致性；其中这涉及到数据的格式、类型以及结构是否在输入数据和输出结果之间保持同步。又例如，向量空间映射检核的过程是，对于涉及到向量空间的映射，检核过程可能还包括检查向量是否能够通过映射关系转变为另一个空间中的向量。

若数据处理脚本检核结果是两项映射规则匹配，例如，第一映射规则信息与第二映射规则信息完全一致，则服务器判定待校验脚本所对应的映射规则，能够准确地由原始数据到目标处理结果数据之间的转化过程，即待校验脚本是可信任的。因此服务器在将待处理数据标记为目标数据的同时，还将待校验脚本标记为该目标数据对应数据处理脚本，同时将检核通过的结果，以报文的形式发送至终端进行可视化输出。

若数据处理脚本检核结果是两项映射规则不匹配，则生成相应的检核异常结果的报文信息，同样发送至终端进行可视化输出。

上述数据处理的校验方法中，首先基于原始数据和待校验脚本进行数据处理，得到待校验数据；同时获取原始数据所对应的目标处理结果数据。然后进入数据处理的校验过程，首先需要对数据处理进行处理结果检核，判断待校验数据和目标处理结果数据是否匹配。在数据匹配的情况下，再进行数据处理过程的映射规则检核，先根据待校验脚本还原数据处理过程中的第一映射规则信息，再根据原始数据和目标处理结果数据生成参考的第二映射规则信息，进而判断两项映射规则信息是否匹配。通过处理结果检核和映射规则检核的过程，有效地提高了对数据处理过程检核测试的准确性。最终在处理结果检核通过且映射规则检核通过的情况下，才将待校验数据确定为目标数据，并将待校验脚本确定为该目标数据对应的数据处理脚本，方案能够在检核确定目标数据的情况下，进一步确定得到该目标数据的数据处理脚本，提高了数据处理的校验结果的可靠性。

在一个实施例中，如图3所示，方法中还原待校验脚本在数据处理过程中的第一映射规则信息的过程，包括以下步骤：

步骤302，根据原始数据和待校验数据，确定待校验脚本中的第一数据流转路径。

在实施例中，第一数据流转路径用于表征在当前的待校验脚本中的数据流程和流转方案，即原始数据从输入至待校验脚本之后到待校验脚本输出得到待校验数据之间的流程。

示例性地，实施例中的服务器在完成对待校验脚本文件的加载之后，首先对待校验脚本文件内容进行反编译和内容提取；例如，基于脚本文件中各项操作指令或代码的相关注释说明，确定脚本中各项操作或处理过程的功能以及目的。进一步确定各项操作指令或代码中对于输入数据（或参数）的定义，输入数据的来源，输出数据（参数）的定义，输出数据的去向等处理流程的流转路径和处理逻辑。然后再将上述得到的流传路径和处理逻辑进行整合，以形成这一待校验脚本对应的第一数据流转路径。

步骤304，识别第一数据流转路径中的运算处理函数，根据运算处理函数的输入数据和输出数据，生成第一数据流转路径对应的第一函数运算信息。

在实施例中，运算处理函数是指待校验脚本中可以被重复调用执行的代码块，能够接受输入数据或参数并返回结果数据。而实施例中第一函数运算信息则是用于表征在待校验脚本的文件代码中所对数据进行处理的关键点信息如读取、转换、过滤、计算等；另外，函数运算信息还包含用对应函数的映射逻辑和规则，记录函数输入的数据是如何被处理以及处理后得到的数据内容。

示例性地，实施例中待校验脚本的代码工程文件，是通过将常用的处理过程、运算方法封装成函数，可以在程序中多次调用，而无需重复编写相同的代码。因此，基于待处理脚本文件还原形成对应的映射规则的过程中，需要对待校验脚本的代码工程文件的各个函数进行识别。具体地，实施例中可以采用关键字段或关键字符的识别方法，在代码工程文件中所包含的所有函数进行识别，并确定每个函数对应的函数信息。更为具体地，函数信息是根据函数具体实现的功能，以及在函数定义时所确定的数据参数，以及函数封装的代码块中各个操作运算过程形成的映射逻辑，最终将前述所有的信息进行整合，得到该待校验脚本的代码工程文件中的函数运算信息，即第一函数运算信息。

步骤306，根据第一数据流转路径和第一函数运算信息，生成待校验脚本在数据处理过程中的第一映射规则信息。

示例性地，实施例中服务器通过分析数据流程，跟踪脚本中的数据流程，从输入开始，到输出结束；识别所有对数据进行操作的关键点，如读取、转换、过滤、计算等。然后再提取数据流程中各个函数信息，明确每个函数运算过程中的映射逻辑，对于每个数据处理步骤，记录输入数据是如何被处理的，以及处理后的数据形式。最终创建一个文档或表格，列出输入字段、处理逻辑和对应的输出字段；该文档能够清晰地描述每个输入字段如何映射到一个或多个输出字段，以及任何中间转换或计算。从而，文档中所记录的信息即为待校验脚本在数据处理过程中的第一映射规则信息。

实施例中在确定脚本文件的数据流转路径以及函数运算信息的基础上，还原得到脚本文件对应的映射规则信息，以使得还原之后所形成的映射规则信息能够精确的反映待校验脚本的数据处理流程。

在一个实施例中，如图4所示，方法在根据原始数据与目标处理结果数据，生成第二映射规则信息之后，即数据处理脚本检核的过程包括以下步骤：

步骤402，识别第二映射规则信息对应的第二数据流转路径中的第二函数运算信息。

步骤404，若第二数据流转路径与第一数据流转路径相匹配，且第二函数运算信息与第一函数运算信息相匹配，则确定第一映射规则信息与第二映射规则信息相匹配。

在实施例中，第二数据流转路径是用于描述第二映射规则信息中所描述的数据流程和流转方案；相类似地，实施例中的第二函数运算信息是用于描述在第二映射规则信息中所对数据进行处理的关键点信息，例如读取、转换、过滤、计算等；另外，第二函数运算信息同样也还包含用对应函数的映射逻辑和规则，记录函数输入的数据是如何被处理以及处理后得到的数据内容。

示例性地，实施例中在形成第一映射规则信息的记录文档之后，根据预先生成并缓存的第二映射规则信息，按照记录文档既定的文档格式，进行信息的整理，例如根据关键字段的字段信息，将映射规则信息中的具体信息内容进行归档。最后通过对比的方式，确定两份文档中所描述的映射规则是否一致。具体地，在对比过程中，可以根据文档格式中既定的关键字段，例如数据流转路径以及函数运算信息等，将两个记录文档中各自记录的字段信息进行逐一的比较与核对。仅有在数据流转路径以及函数运算信息的字段中，记录的信息内容均一致的情况下，服务器则认定第一映射规则信息与第二映射规则信息相匹配。

实施例中引入数据流转路径和函数运算信息的对比过程，能够更为精确地对映射规则进行匹配校验，使得校验结果更为可靠。

在一个实施例中，数据处理脚本检核的过程还可以包括以下步骤：

步骤一，若第二数据流转路径与第一数据流转路径不匹配，则根据第二数据流转路径与第一数据流转路径，确定第一数据流转路径中的差异化路径信息。

步骤二，将待校验脚本确定为异常脚本，并根据差异化路径信息生成异常脚本对应的故障定位信息。

步骤三，根据异常脚本和故障定位信息，生成异常告警信息。

在实施例中，差异化路径信息是用于表征第一数据流转路径与第二数据流转路径存在明显差异的操作处理过程或环节，因而导致数据流转的方向或方式发生了相应的变化。实施例中故障定位信息则是用于描述出现明显差异的操作处理过程或环节在第一数据流转路径中的位置。

示例性地，在实施例基于映射规则进行数据处理脚本检核的过程中，可能出现检核结果未通过的情况。在该情况下，首先服务器需要获取得到数据处理脚本检核的对比结果，若在对比结果中明确显示两种数据流转路径存在差异，则需要对路径中存在差异的操作处理过程或环节信息进行提取，例如，在基于映射规则形成的路径规则中，在第一数据流转路径中存在一处数据格式的转换操作，而在第二数据流转路径中并不存在相应的操作，那么该数据格式的转换操作则被确定为差异化路径信息。进一步地，服务器将对该数据格式的转换操作在第一数据流转路径中的具体位置进行锚定，确定差异化路径对应的故障定位信息。然后结束数据处理脚本检核，并将当前的待校验脚本标记为异常脚本，基于该异常脚本的脚本信息和故障定位信息，生成异常校验结果的报文信息，并结合相应的警示提醒文本生成异常告警信息，返送至终端进行可视化输出。

实施例中在数据处理脚本检核未通过的情况下，对导致未通过检核的异常原因进行定位，并形成相依的异常告警信息，为后期的修改维护工作提供可靠的信息参考。

在一个实施例中，数据处理脚本检核的过程还可以包括以下步骤：

步骤四，若第二函数运算信息与第一函数运算信息不匹配，则根据第二函数运算信息与第一函数运算信息，确定第一数据流转路径中的差异化函数信息。

步骤五，根据异常脚本、差异化函数信息和故障定位信息，生成异常告警信息。

在实施例中，差异化函数信息表征第一数据流转路径与第二数据流转路径中存在明显差异的函数信息，该函数信息包括但不限于存在差异的函数名称、存在差异的参数定义以及存在差异的函数运算过程等。

示例性地，实施例中数据处理脚本检核未通过，不仅是数据流转路径上存在差异，路径中的函数运算信息也可能存在差异。因此，实施例中在对数据流转路径进行检核之后，还需要对路径中的函数运算信息进行对比校验，以确定函数运算信息是否存在差异。若服务器在对比过程中明确对比的两项数据流转路径中存在函数运算信息的差异，则会对产生差异的函数信息进行提取；例如，在第一数据流转路径中存在有一个均值计算函数，而在第二数据流转路径中并不存在均值计算函数，因此，实施例中则会基于该均值计算函数形成差异化函数信息，并结合该均值计算函数的函数功能信息（计算数据均值）与前述不重中生成的故障定位信息，生成异常校验结果的报文信息，并结合相应的警示提醒文本生成异常告警信息，返送至终端进行可视化输出。

需要说明的是，实施例中对于函数运算信息的对比校验可以是与数据流转校验独立运行的；也就是说无论数据流转路径的对比校验结果如何，服务器均可以在完成数据流转路径的对比校验之后，对函数信息进行对比校验，以确定是否存在函数上的差异。通过引入数据流转路径和函数运算信息的对比过程，能够更为精确地对映射规则进行匹配校验，使得校验结果更为可靠。

在一个实施例中，如图5所示，根据原始数据与目标处理结果数据，生成第二映射规则信息的过程，可以包括以下步骤：

步骤502，根据原始数据对应的第一数据值与目标处理结果数据对应的第二数据值，生成原始数据与目标处理结果数据之间的数值映射信息。

步骤504，根据原始数据对应的第一数据格式信息与目标处理结果数据对应的第二数据格式信息，生成原始数据与目标处理结果数据之间的编码映射信息。

步骤506，根据数值映射信息和编码映射信息，生成第二映射规则信息。

在实施例中，第一数据值是指原始数据的具体数值；相对应的，第二数据值是指目标处理结果数据的具体数值。实施例中第一数据格式信息用于表征原始数据的数据格式，相对应的，第二数据格式信息用于表征目标处理结果数据的具体数值。进一步的，实施例中的数据映射信息用于反映第一数据值与第二数据值之间产生的数值变化。实施例中的编码映射信息则是用于反映第一数据格式转换为第二数据格式所产生的数据格式变化。

示例性地，实施例中根据原始数据和目标处理结果数据生成数据间的映射关系，通过对两组数据进行比较和分析，以确定两种数据之间的关联、模式或转换规则。具体地，实施例中需要明确从原始数据到目标处理结果数据之间的映射模式，进而确定具体的映射规则。比较原始数据和结果数据，识别它们之间的直接映射或转换模式。如果数据是数值型的，可能涉及数学运算（例如加法、减法、乘法、除法、函数转换等），并根据数学运算关系形成数值映射信息。如果数据是类别型的，则识别编码映射（例如将类别名称映射到数字或代码），并形成相应的编码映射信息。最后将两种映射信息进行整合，得到第二映射规则信息。实施例通过映射模式的识别，最终确定原始数据和目标处理结果数据之间的映射信息，使得映射关系的描述更为精确，进而使得校验结果的可靠性更高。

在一个实施例中，在获取原始数据之后，方法还包括以下步骤：

步骤一，若待校验数据的第一数据量与目标处理结果数据的第二数据量相匹配，则识别待校验数据中的字段空值。

步骤二，若字段空值的数量小于或等于预设数量阈值，则识别待校验数据中的主键字段。

步骤三，若待校验数据中的主键字段唯一且主键字段中不存在空值，则确定待校验数据与目标处理结果数据相匹配。

在实施例中，第一数据量是用于描述待校验数据的数据量大小，第二数据是用于描述目标处理结果数据的数据量大小。实施例中字段空值是指在待校验数据中字段存在空缺或存在空值的统计数据；实施例中的预设数量阈值是用于判断字段空值是否合格，即待校验数据是否达到可用标准的判断依据。实施例中的主键字段是用来唯一标识表中每一行数据的字段或字段组合。

示例性地，在实施例中对数据处理进行校验的阶段，主要分为数据量正确性、数据主键唯一性检查、数据主键非空检查、数据字段检核、数据空值率等。具体地，实施例中首先进行数据量的对比判断。在确定原始数据和目标处理结果数据的数据量完全一致的情况下，再进行字段空值的合格校验过程。例如，实施例中将字段空值的预设数量阈值设定为20%，也就是说，在待校验数据中出现的字段空值小于20%时，待校验数据才能满足数据的可用标准。进一步地，在待校验数据满足可用标准的情况下，再通过自然语言处理方式，识别待校验数据中的主键字段，并确定主键字段对应的字段值。最后的校验环节是对主键字段的唯一性进行校验以及对主键字段中的空值进行校验；在得到主键字段唯一且主键字段中不存在空值的校验结果的情况，服务器则判定待校验数据是与目标处理结果数据相匹配。实施例中通过数据量正确性、数据主键唯一性检查、数据主键非空检查、数据字段检核、数据空值率等多种方式对数据处理结果进行检核，进一步地提高了检核结果的准确性和可靠性。

在实施例中，数据处理的校验方法还包括以下步骤：

步骤一，根据原始数据和待校验数据，生成数据处理链路。

步骤二，将数据处理链路中多个数据处理节点对应的数据处理子脚本进行整合，生成待校验脚本。

在实施例中，处理链路是由多个处理环节或处理节点组合所形成处理链路；并且该数据处理链路能够反映完整的数据处理流程完中所有的操作处理。

具体在实施例中，为了能够提高数据处理的校验效率，在将数据处理链路中所有的操作处理的相关内容封装成为脚本文件时，可以根据预设的数据处理节点数量，对数据处理链路中的操作处理进行分块封装，以形成多个脚本文件。因此，在进行校验的过程中能够通过并行的方式对各个分块封装后形成的待校验脚本进行检核，提高检核效率。

应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的数据处理的校验方法的数据处理的校验装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数据处理的校验装置实施例中的具体限定可以参见上文中对于数据处理的校验方法的限定，在此不再赘述。

在一个实施例中，如图6所示，提供了一种数据处理的校验装置600，包括：数据采集模块601、数据检核模块602、映射生成模块603和脚本检核模块604，其中：

数据采集模块601，用于获取待校验数据，其中，待校验数据由待校验脚本对原始数据处理得到；

数据检核模块602，用于若待校验数据与原始数据对应的目标处理结果数据相匹配，则还原待校验脚本在数据处理过程中的第一映射规则信息；

映射生成模块603，用于根据原始数据与目标处理结果数据，生成第二映射规则信息；

脚本检核模块604，用于若第一映射规则信息与第二映射规则信息相匹配，则将待校验数据确定为目标数据，并将待校验脚本确定为目标数据对应的数据处理脚本。

在一个实施例中，数据检核模块602还用于根据原始数据和待校验数据，确定待校验脚本中的第一数据流转路径；识别第一数据流转路径中的运算处理函数，根据运算处理函数的输入数据和输出数据，生成第一数据流转路径对应的第一函数运算信息；根据第一数据流转路径和第一函数运算信息，生成待校验脚本在数据处理过程中的第一映射规则信息。

在一个实施例中，脚本检核模块604还用于识别第二映射规则信息对应的第二数据流转路径中的第二函数运算信息；若第二数据流转路径与第一数据流转路径相匹配，且第二函数运算信息与第一函数运算信息相匹配，则确定第一映射规则信息与第二映射规则信息相匹配。

在一个实施例中，脚本检核模块604还用于若第二数据流转路径与第一数据流转路径不匹配，则根据第二数据流转路径与第一数据流转路径，确定第一数据流转路径中的差异化路径信息；将待校验脚本确定为异常脚本，并根据差异化路径信息生成异常脚本对应的故障定位信息；根据异常脚本和故障定位信息，生成异常告警信息。

在一个实施例中，脚本检核模块604还用于若第二函数运算信息与第一函数运算信息不匹配，则根据第二函数运算信息与第一函数运算信息，确定第一数据流转路径中的差异化函数信息；根据异常脚本、差异化函数信息和故障定位信息，生成异常告警信息。

在一个实施例中，映射生成模块603还用于根据原始数据对应的第一数据值与目标处理结果数据对应的第二数据值，生成原始数据与目标处理结果数据之间的数值映射信息；根据原始数据对应的第一数据格式信息与目标处理结果数据对应的第二数据格式信息，生成原始数据与目标处理结果数据之间的编码映射信息；根据数值映射信息和编码映射信息，生成第二映射规则信息。

在一个实施例中，数据检核模块602还用于若待校验数据的第一数据量与目标处理结果数据的第二数据量相匹配，则识别待校验数据中的字段空值；若字段空值的数量小于或等于预设数量阈值，则识别待校验数据中的主键字段；若待校验数据中的主键字段唯一且主键字段中不存在空值，则确定待校验数据与目标处理结果数据相匹配。

在一个实施例中，装置600还包括流程梳理模块，用于根据原始数据和待校验数据，生成数据处理链路；将数据处理链路中多个数据处理节点对应的数据处理子脚本进行整合，生成待校验脚本。

上述数据处理的校验装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

如图7所示，本申请技术方案还提供了另一种测试系统平台用于实现数据处理的校验方法，该系统平台主要由处理模块、获取模块、检核模块、配置模块、输出模块五个模块组成。

（一）处理模块

数据处理模块，包括根据映射关系生成数据处理脚本，对数据进行处理；还包括对被测开发脚本进行分析，生成映射关系；正向测试，将数据根据数据规则处理后所得结果与被测系统的处理结果进行检核；逆向测试，即将已经开发的测试脚本，进行逆向分析，分析出基于开发脚本对应的映射规则，这个映射规则与数据处理需求中的映射规则进行检核。

（二）获取模块

如图8所示，数据获取模块主要是指获取测试所需的源数据、获取数据处理映射规则，获取被测系统数据处理脚本。

获取源数据，被处理数据，这里的被处理数据不一定是数据源头的数据，仅仅指的被关注的数据处理当下环节（节点）的输入数据，被测的数据处理环节的输入数据为源数据。数据的处理可能是一个非常长的链路，一个长链路由多个环节和步骤组成，这里的测试针对某一个环节或这某几个环节的组合，对这个组合而言的输入数据称为源数据，这个节点或这个组合的处理输出结果为处理结果。

获取数据处理映射规则，这里的数据处理映射规则，指的是数据处理需求中对数据处理的需求，数据业务需求转化而来的数据处理映射规则，由设计人员根据业务需求完成并提供。

获取被测系统数据处理脚本，获取模块与被测系统的处理脚本进行链接，根据数据处理脚本的存放路径，获取被测数据处理脚本，对被测试脚本进行后续的逆向分析，所得结果为数据映射关系，这个映射关系用于与设计人员提供的映射关系进行比对检核。

（三）检核模块

数据检核模块，检核获取的被测系统处理结果与测试系统处理结果、检核获取的数据映射关系与测试系统处理获得的映射关系，记录检核分析结果，包括数据检核结果及问题分类定位等信息。

数据处理脚本检核，主要是对脚本映射所得映射关系的关键字段、表、映射关系等进行检核。

数据处理结果检核，主要分为数据量正确性、数据主键唯一性检查、数据主键非空检查、数据字段检核、数据空值率等。

如图9所示，检核执行状态分为4种情况：未执行、执行中、执行异常、执行成功。执行开始前的状态均默认为未执行，一旦开始检核任务，在执行过程中则显示为执行中，检核任务正常执行完成则会显示为执行成功，检核任务无法正常执行完成则显示执行异常。

（四）配置模块

配置模块，主要用来对测试结果、报告输出、展示等信息的设置。测试结果、报告输出，可以按照版本时间进行，也可以设定时间阶段，按照阶段性测试报告输出；输出方式可以为自助模式，即生成附件文件，供测试人员自行下载测试报告；自动发送模式，即测试系统平台定期发送测试报告文档到接收人邮箱，也可发送到电脑或手机等移送设施设备的应用，以供测试人员或项目成员查阅、参考。测试结果等信息也可以与其它测试管理工具对接，将信息推送到对应的系统进行展示和后续的处理等。

（五）输出模块

对检核结果和测试结果进行输出显示，支持对应的测试结果及测试报告文档的下载。测试报告包含被检核内容、检核结果、问题分析定位信息、问题分类、测试通过率、测试问题及数据明细等信息。系统平台对测试报告的主要信息进行界面展示，界面展示秉承最简展示模式，界面只显示最终检核结果和汇总信息，在主界面查看到测试是否通过、通过率、问题分类、问题定位。若需要查阅详细信息，则可展开测试报告详细信息进行查看。测试报告下载，测试完成后，或测试完成一阶段后，直接按照设置的规则生成测试报告文档，测试人员可以在该模块进行测试报告文档的下载。测试系统平台支持测试报告的提醒和自动发送功能，即按照配置模块的设置规则，测试系统平台自动发送测试报告文档或提醒信息到对应人员的接受终端设置 应用中，终端应用可以是邮件、手机App等。

更进一步地，如图10所示，在图7所示的测试系统平台的基础上，对本申请技术方案提供的数据处理的校验方法进行完整的过程描述如下：

步骤一，获取模块获取到数据映射规则，数据处理模块首先根据映射规则自动生成数据处理脚本，该脚本用于处理获取的数据源。

步骤二，获取模块获取源数据，处理模块根据测试系统生成的数据处理脚本对获取的源数据进行处理，处理后获得数据结果A’。获取模块获取被测系统处理的结果数据A，检核模块将两个数据A与A’进行检核。数据检核包括简单的数据比对，也包括复杂的数据比对。检核可以对数据量一致性、主键唯一性、主键非空、字段一致性、字段空值率及其它自定义的检核指标等进行检核。

步骤三，如果所设置的检核指标均符合要求，即检核结果一致则说明被测系统的结果和测试系统的结果一致，测试通过。如果所设置的检核指标有任何一个或多个不符合要求，即检核结果不一致，则说明被测系统的结果和测试系统结果不一致，则测试不通过。检核结果一致和不一致均属于“执行成功”。如果检核失败，即执行异常，则说明测试系统配置异常或测试映射、检核等环节异常。输出模块将测试结果生成测试结果清单，输出测试报告。

步骤四，对测试不通过的情况基于测试不通过的结果清单，或者有开发脚本测试清单，则可开展测试脚本测试。获取模块获取被测系统的数据处理脚本，数据处理模块对测试脚本进行反向映射，生成数据映射规则B’,获取模块获取设计人员输出的基于业务需求而生成的映射规则B，数据处理模块对两个映射规则B与B’进行检核。这里主要检核映射关系中的表、字段、映射关系等信息。

步骤五，检核结果一致则说明被测脚本正确，则测试脚本测试通过；检核结果不一致则说明被测系统的脚本不正确，被测脚本测试不通过。检核结果一致和不一致均属于“执行成功”。如果检核失败，即执行异常，则说明测试系统配置异常或测试映射、检核等环节异常。输出模块将测试结果生成测试结果清单，输出测试报告。

另外，系统平台可输出该测试的清单、测试报告，也可与其它缺陷管理平台进行打通，将测试结果同步发布到测试系统缺陷管理栏目下。该数据处理测试系统平台可以在已设置好运行策略后，自动化进行测试并输出测试报告，针对发生缺陷的情况将结果指派给指定的接收地址。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括处理器、存储器、输入/输出接口(Input/Output，简称I/O）和通信接口。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储业务数据。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种数据处理的校验方法。

本领域技术人员可以理解，图11中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（Read-OnlyMemory，ROM）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（ReRAM）、磁变存储器（Magnetoresistive Random Access Memory，MRAM）、铁电存储器（Ferroelectric Random Access Memory，FRAM）、相变存储器（Phase Change Memory，PCM）、石墨烯存储器等。易失性存储器可包括随机存取存储器（Random Access Memory，RAM）或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器（Static Random Access Memory，SRAM）或动态随机存取存储器（Dynamic RandomAccess Memory，DRAM）等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (19)

1.一种数据处理的校验方法，其特征在于，所述方法包括：

获取待校验数据，其中，所述待校验数据由待校验脚本对原始数据处理得到；

若所述待校验数据与所述原始数据对应的目标处理结果数据相匹配，则还原所述待校验脚本在数据处理过程中的第一映射规则信息；

根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息；

若所述第一映射规则信息与所述第二映射规则信息相匹配，则将所述待校验数据确定为目标数据，并将所述待校验脚本确定为所述目标数据对应的数据处理脚本。

2.根据权利要求1所述的方法，其特征在于，所述还原所述待校验脚本在数据处理过程中的第一映射规则信息，包括：

根据所述原始数据和所述待校验数据，确定所述待校验脚本中的第一数据流转路径；

识别所述第一数据流转路径中的运算处理函数，根据所述运算处理函数的输入数据和输出数据，生成所述第一数据流转路径对应的第一函数运算信息；

根据所述第一数据流转路径和所述第一函数运算信息，生成所述待校验脚本在数据处理过程中的第一映射规则信息。

3.根据权利要求2所述的方法，其特征在于，在所述根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息之后，所述方法还包括：

识别所述第二映射规则信息对应的第二数据流转路径中的第二函数运算信息；

若所述第二数据流转路径与所述第一数据流转路径相匹配，且所述第二函数运算信息与所述第一函数运算信息相匹配，则确定所述第一映射规则信息与所述第二映射规则信息相匹配。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若所述第二数据流转路径与所述第一数据流转路径不匹配，则根据所述第二数据流转路径与所述第一数据流转路径，确定所述第一数据流转路径中的差异化路径信息；

将所述待校验脚本确定为异常脚本，并根据所述差异化路径信息生成所述异常脚本对应的故障定位信息；

根据所述异常脚本和所述故障定位信息，生成异常告警信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述异常脚本和所述故障定位信息，生成异常告警信息；

若所述第二函数运算信息与所述第一函数运算信息不匹配，则根据所述第二函数运算信息与所述第一函数运算信息，确定所述第一数据流转路径中的差异化函数信息；

根据所述异常脚本、所述差异化函数信息和所述故障定位信息，生成异常告警信息。

6.根据权利要求1所述的方法，其特征在于，所述根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息，包括：

根据所述原始数据对应的第一数据值与所述目标处理结果数据对应的第二数据值，生成所述原始数据与所述目标处理结果数据之间的数值映射信息；

根据所述原始数据对应的第一数据格式信息与所述目标处理结果数据对应的第二数据格式信息，生成所述原始数据与所述目标处理结果数据之间的编码映射信息；

根据所述数值映射信息和所述编码映射信息，生成第二映射规则信息。

7.根据权利要求1所述的方法，其特征在于，在所述获取原始数据之后，所述方法还包括：

若所述待校验数据的第一数据量与所述目标处理结果数据的第二数据量相匹配，则识别所述待校验数据中的字段空值；

若所述字段空值的数量小于或等于预设数量阈值，则识别所述待校验数据中的主键字段；

若所述待校验数据中的主键字段唯一且所述主键字段中不存在空值，则确定所述待校验数据与所述目标处理结果数据相匹配。

8.根据权利要求1-7任意一项所述的方法，其特征在于，所述方法还包括：

根据所述原始数据和所述待校验数据，生成数据处理链路；

将所述数据处理链路中多个数据处理节点对应的数据处理子脚本进行整合，生成待校验脚本。

9.一种数据处理的校验装置，其特征在于，所述装置包括：

数据采集模块，用于获取待校验数据，其中，所述待校验数据由待校验脚本对原始数据处理得到；

数据检核模块，用于若所述待校验数据与所述原始数据对应的目标处理结果数据相匹配，则还原所述待校验脚本在数据处理过程中的第一映射规则信息；

映射生成模块，用于根据所述原始数据与所述目标处理结果数据，生成第二映射规则信息；

脚本检核模块，用于若所述第一映射规则信息与所述第二映射规则信息相匹配，则将所述待校验数据确定为目标数据，并将所述待校验脚本确定为所述目标数据对应的数据处理脚本。

10.根据权利要求9所述的装置，其特征在于，所述数据检核模块还用于根据所述原始数据和所述待校验数据，确定所述待校验脚本中的第一数据流转路径；识别所述第一数据流转路径中的运算处理函数，根据所述运算处理函数的输入数据和输出数据，生成所述第一数据流转路径对应的第一函数运算信息；根据所述第一数据流转路径和所述第一函数运算信息，生成所述待校验脚本在数据处理过程中的第一映射规则信息。

11.根据权利要求10所述的装置，其特征在于，所述脚本检核模块还用于识别所述第二映射规则信息对应的第二数据流转路径中的第二函数运算信息；若所述第二数据流转路径与所述第一数据流转路径相匹配，且所述第二函数运算信息与所述第一函数运算信息相匹配，则确定所述第一映射规则信息与所述第二映射规则信息相匹配。

12.根据权利要求10所述的装置，其特征在于，所述脚本检核模块还用于若所述第二数据流转路径与所述第一数据流转路径不匹配，则根据所述第二数据流转路径与所述第一数据流转路径，确定所述第一数据流转路径中的差异化路径信息；将所述待校验脚本确定为异常脚本，并根据所述差异化路径信息生成所述异常脚本对应的故障定位信息；根据所述异常脚本和所述故障定位信息，生成异常告警信息。

13.根据权利要求12所述的装置，其特征在于，所述脚本检核模块还用于若所述第二函数运算信息与所述第一函数运算信息不匹配，则根据所述第二函数运算信息与所述第一函数运算信息，确定所述第一数据流转路径中的差异化函数信息；根据所述异常脚本、所述差异化函数信息和所述故障定位信息，生成异常告警信息。

14.根据权利要求9所述的装置，其特征在于，所述映射生成模块还用于根据所述原始数据对应的第一数据值与所述目标处理结果数据对应的第二数据值，生成所述原始数据与所述目标处理结果数据之间的数值映射信息；根据所述原始数据对应的第一数据格式信息与所述目标处理结果数据对应的第二数据格式信息，生成所述原始数据与所述目标处理结果数据之间的编码映射信息；根据所述数值映射信息和所述编码映射信息，生成第二映射规则信息。

15.根据权利要求9所述的装置，其特征在于，所述数据检核模块还用于若所述待校验数据的第一数据量与所述目标处理结果数据的第二数据量相匹配，则识别所述待校验数据中的字段空值；若所述字段空值的数量小于或等于预设数量阈值，则识别所述待校验数据中的主键字段；若所述待校验数据中的主键字段唯一且所述主键字段中不存在空值，则确定所述待校验数据与所述目标处理结果数据相匹配。

16.根据权利要求9所述的装置，其特征在于，所述装置还包括：

流程梳理模块，用于根据所述原始数据和所述待校验数据，生成数据处理链路；将所述数据处理链路中多个数据处理节点对应的数据处理子脚本进行整合，生成待校验脚本。

17.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述的方法的步骤。

18.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。

19.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。