CN113034266A - 一种电子流水数据的管理方法 - Google Patents

Abstract

本发明涉及大数据技术领域，具体的说是一种电子流水数据的管理方法。为实现上述目的，设计一种电子流水数据的管理方法，包括数据上传模块、数据解析模块、数据校验模块、数据保存模块，其特征在于：具体方法流程如下：步骤1：利用数据上传模块，获取电子版流水文件；步骤2：利用数据解析模块对电子版流水文件进行数据标准化；步骤3：利用数据校验模块对标准化的流水数据进行校验；步骤4：利用数据保存模块对不同校验结果的流水数据进行分隔存储；步骤5：反馈校验结果详情。本发明同现有技术相比，解决了针对对公或者对私财务流水数据的管理困难，为财务流水数据管理提供了一个有效方案。

Description

一种电子流水数据的管理方法

技术领域

本发明涉及大数据技术领域，具体的说是一种电子流水数据的管理方法。

背景技术

目前，在小微企业信贷领域中，个人或者企业的财务流水数据是银行衡量客户贷款资质的一个重要参考对象，但是各个银行的流水数据都有各自的风格与格式，这给流水统一管理带来极大不便。

发明内容

本发明为克服现有技术的不足，提供一种电子流水数据的管理方法，解决了针对对公或者对私财务流水数据的管理困难，为财务流水数据管理提供了一个有效方案，能够处理任意结构的正规财务流水数据，转化为标准化的财务流水数据落库，后可对财务流水主体进行用户画像分析。

为实现上述目的，设计一种电子流水数据的管理方法，包括数据上传模块、数据解析模块、数据校验模块、数据保存模块，其特征在于：具体方法流程如下：

步骤1：利用数据上传模块，获取电子版流水文件，同时填写该流水文件对应的账户号、账户主体名称；

步骤2：利用数据解析模块对电子版流水文件进行数据标准化，生成一份规整的流水数据；

步骤3：利用数据校验模块对标准化的流水数据进行校验；

步骤4：利用数据保存模块对不同校验结果的流水数据进行分隔存储；对一级校验失败、二级校验失败的数据保存在异常流水的存储空间内，对通过数据校验的数据保存在正常流水的存储空间；

步骤5：反馈校验结果详情；

所述的数据上传模块，用于上传电子版流水文件，并将流水文件传到下一个模块；

所述的数据解析模块，用于对电子版流水文件进行标准化过程，获取流水文件，生成规整流水数据，并将数据传入下一模块；

所述的数据校验模块，用于校验获取的规整流水数据，并输出反馈结果与流水数据；

所述的数据保存模块，用于接收经过校验规则后的校验结果与流水数据，根据不同情况将流水数据存储至不同的存储空间，并输出校验结果详情。

所述的步骤2的具体流程如下：

（21）搜索流水文件前30行，寻找同时存在时间关键字、金额关键字、余额关键字的行，将其中已用单元格最多的行定义为标题行，若无法识别标题行，则该流水文件不能判定为一份正常流水文件，停止处理；

（22）将标题行及标题行以下所有流水数据读取出来作为流水文件的原始流水数据；

（23）从原始流水数据第一行开始，自上往下对每一行进行规则性留存；

（24）根据标题行的关键字、数据列特征分别识别交易日期、交易时间、交易金额、交易对手、交易余额、交易备注；

（25）处理交易日期、交易时间列，找到若干数据列，对其中的数据列进一步处理；

（26）处理交易金额列，找到若干数据列，对其中的数据列进一步处理；

（27）其他数据列处理，根据不同的标题将数据转为对应数据结构。

所述的规则性留存的具体流程如下：

（231）若该行数据与标题行长度相同、数据完整，则保留；

（232）跳过空白行、相同标题行；

（233）连续跳过5次，留存结束。

所述的步骤（25）中，对其中的数据列进一步处理的具体流程如下：

（251）若该列所有数据均满足日期或者时间格式，则将该列确定为交易日期时间列，拆分为交易日期、交易时间列，处理成功并停止继续处理；

（252）若该列所有数据仅满足日期格式或者长度为8位的数值或者字符格式，则将该列定义为交易日期列，并继续寻找交易时间列，若再找到数据满足时间格式或者长度为6位的数值或者字符格式，则将该列定义为交易时间列，处理成功并停止继续处理；若无法找到，仍为处理成功；

（253）若步骤（251）及步骤（252）都不满足，则处理失败，停止处理该流水数据。

所述的步骤（26）中，对其中的数据列进一步处理的具体流程如下：

（261）若该列数据标题明确为收入且满足数值格式的，则将该列确定为交易进账列，并继续寻找数据标题明确为支出且满足数值格式的数据列，则将该列确定为交易出账列，将交易进账、交易出账合成为一列交易金额列，若交易出账全为负值，则直接合并，若交易出账全为正值，则整列数据取反数后合并，处理成功并停止处理；若无法找到标题明确为支出且满足数值格式的数据列，则处理失败，停止处理该流水数据；

（262）若该列数据内容有收入、也有支出且满足数值格式的，则将该列确定为交易金额列，处理成功并停止处理；

（263）若步骤（261）及步骤（262）都不满足，则处理失败，停止处理该流水数据。

所述的步骤3的具体流程如下：

（31）进行一级校验处理；

（32）进行二级校验处理。

所述的步骤（31）一级校验处理的具体流程如下：

（311）搜索流水数据前30行，寻找标题行上方的银行账户、账户主体关键信息，并与数据上传模块输入的银行卡号、姓名进行比对，不满足则一级校验失败；

（322）对流水数据时间跨度有硬性要求，对流水数据条目个数有硬性要求，对流水数据截至交易日期有硬性要求，若有限制，任意一条不满足则一级校验失败。

所述的步骤（32）二级校验处理的具体流程如下：

（321）对流水数据进行校验，确保流水数据连续，不满足则二级校验失败；

（322）对流水数据的交易对手进行校验，确保交易对手数据列非空、非唯一枚举值，不满足则二级校验失败；

（323）对流水数据的交易余额进行校验，确保每条余额都为正值，不满足则二级校验失败。

所述的步骤5中，反馈校验结果的具体流程如下：

（51）若数据解析失败，则反馈为解析失败；

（52）若一级校验失败，则反馈为一级校验失败，备注相应的一级校验子环节与失败原因，并将处理失败的流水源文件存于异常流水的存储区域；

（53）若二级校验失败，则反馈为二级校验失败，备注相应的一级校验子环节与失败原因，并将校验失败的流水标准化数据存于异常流水的存储区域；

（54）若全部通过，则反馈为校验为真流水，并将校验成功的流水标准化数据存于正常流水的存储区域。

本发明同现有技术相比，提供一种电子流水数据的管理方法，解决了针对对公或者对私财务流水数据的管理困难，为财务流水数据管理提供了一个有效方案，能够处理任意结构的正规财务流水数据，转化为标准化的财务流水数据落库，后可对财务流水主体进行用户画像分析。

附图说明

图1为本发明流程示意图。

图2至图5为本发明实施例示意图。

具体实施方式

下面根据附图对本发明做进一步的说明。

如图1所示，一种电子流水数据的管理方法，包括数据上传模块、数据解析模块、数据校验模块、数据保存模块，具体方法流程如下：

步骤1：利用数据上传模块，获取电子版流水文件，同时填写该流水文件对应的账户号、账户主体名称；

步骤2：利用数据解析模块对电子版流水文件进行数据标准化，生成一份规整的流水数据；

步骤3：利用数据校验模块对标准化的流水数据进行校验；

步骤4：利用数据保存模块对不同校验结果的流水数据进行分隔存储；对一级校验失败、二级校验失败的数据保存在异常流水的存储空间内，对通过数据校验的数据保存在正常流水的存储空间；

步骤5：反馈校验结果详情；

所述的数据上传模块，用于上传电子版流水文件，并将流水文件传到下一个模块；

所述的数据解析模块，用于对电子版流水文件进行标准化过程，获取流水文件，生成规整流水数据，并将数据传入下一模块；

所述的数据校验模块，用于校验获取的规整流水数据，并输出反馈结果与流水数据；

所述的数据保存模块，用于接收经过校验规则后的校验结果与流水数据，根据不同情况将流水数据存储至不同的存储空间，并输出校验结果详情。

所述的步骤2的具体流程如下：

（21）搜索流水文件前30行，寻找同时存在时间关键字、金额关键字、余额关键字的行，将其中已用单元格最多的行定义为标题行，若无法识别标题行，则该流水文件不能判定为一份正常流水文件，停止处理；

（22）将标题行及标题行以下所有流水数据读取出来作为流水文件的原始流水数据；

（23）从原始流水数据第一行开始，自上往下对每一行进行规则性留存；

（24）根据标题行的关键字、数据列特征分别识别交易日期、交易时间、交易金额、交易对手、交易余额、交易备注；其中，日期类标题包含关键字“日”、“时间”，数据列为“日期”格式、“时间”格式、“日期时间”格式、数值格式、字符格式；金额类标题包含关键字“收支”、“出”、“入”、“进”、“金额”、“发生额”、“支取”、“借”、“贷”，数据列为数值格式、字符格式；余额类标题包含关键字“余额”，数据列为数值格式、字符格式；对手类标题包含关键字“户名”、“对方”、“姓名”、“对手”、“收款人”、“借款人”、“名称”，数据列为字符格式；备注类标题包含关键字“摘要”、“说明”、“附言”、“备注”、“个性化信息”、“其他”，数据列为字符格式；

（25）处理交易日期、交易时间列，找到若干数据列，对其中的数据列进一步处理；

（26）处理交易金额列，找到若干数据列，对其中的数据列进一步处理；

（27）其他数据列处理，根据不同的标题将数据转为对应数据结构。

所述的规则性留存的具体流程如下：

（231）若该行数据与标题行长度相同、数据完整，则保留；

（232）跳过空白行、相同标题行；

（233）连续跳过5次，留存结束。

所述的步骤（25）中，对其中的数据列进一步处理的具体流程如下：

（251）若该列所有数据均满足“日期-时间格式”，则将该列确定为交易日期时间列，拆分为交易日期、交易时间列，处理成功并停止继续处理；

（252）若该列所有数据仅满足“日期格式”或长度为8位的数值或者字符格式，则将该列定义为交易日期列，并继续寻找交易时间列，若再找到数据满足“时间格式”或长度为6位的数值或者字符格式，则将该列定义为交易时间列，处理成功并停止继续处理；若无法找到，仍为处理成功；

（253）若步骤（251）及步骤（252）都不满足，则处理失败，停止处理该流水数据。

所述的步骤（26）中，对其中的数据列进一步处理的具体流程如下：

（261）若该列数据标题明确为“收入”且满足“数值格式”，则将该列确定为交易进账列，并继续寻找数据标题明确为“支出”且满足“数值格式”的数据列，则将该列确定为交易出账列，将交易进账、交易出账合成为一列交易金额列，若交易出账全为负值，则直接合并，若交易出账全为正值，则整列数据取反数后合并，处理成功并停止处理；若无法找到标题明确为“支出”且满足“数值格式”的数据列，则处理失败，停止处理该流水数据；

（262）若该列数据内容有“收入”、也有“支出”且满足“数值格式”，则将该列确定为交易金额列，处理成功并停止处理；

（263）若步骤（261）及步骤（262）都不满足，则处理失败，停止处理该流水数据。

所述的步骤3的具体流程如下：

（31）进行一级校验处理；

（32）进行二级校验处理。

所述的步骤（31）一级校验处理的具体流程如下：

（311）搜索流水数据前30行，寻找标题行上方的银行账户、账户主体关键信息，并与数据上传模块输入的银行卡号、姓名进行比对，不满足则一级校验失败；

（322）对流水数据时间跨度有硬性要求，对流水数据条目个数有硬性要求，对流水数据截至交易日期有硬性要求，若有限制，任意一条不满足则一级校验失败。

所述的步骤（32）二级校验处理的具体流程如下：

（321）对流水数据进行校验，确保流水数据连续，不满足则二级校验失败；

（322）对流水数据的交易对手进行校验，确保交易对手数据列非空、非唯一枚举值，不满足则二级校验失败；

（323）对流水数据的交易余额进行校验，确保每条余额都为正值，不满足则二级校验失败。

所述的步骤5中，反馈校验结果的具体流程如下：

（51）若数据解析失败，则反馈为解析失败；

（52）若一级校验失败，则反馈为一级校验失败，备注相应的一级校验子环节与失败原因，并将处理失败的流水源文件存于异常流水的存储区域；

（53）若二级校验失败，则反馈为二级校验失败，备注相应的一级校验子环节与失败原因，并将校验失败的流水标准化数据存于异常流水的存储区域；

（54）若全部通过，则反馈为校验为真流水，并将校验成功的流水标准化数据存于正常流水的存储区域。

找到正确的数据列是具有挑战性的，因为每个银行的电子流水结构不同，甚至可以说千差万别。于是在执行数据确立、校验时，会有纠错方法，埋于各个处理流程之中，以下进行说明。

捕捉了多条时间列数据，一是记账日，二是交易日；一般情况下，两列数据相同，也存在记账日与交易日相隔一天，一旦处理方法将“记账日”作为“交易日期”列，再根据“交易时间”进行排序后，将导致原流水数据错乱，必然会由于流水数据不连续无法校验通过；此纠错方法修正日期标题为“记账日”时的二级校验-连续校验失败，在断层流水数据的位置读取当日、明日的短期流水数据，逐一对比，找到正确的下一条流水数据，进行排序完毕，再回归到全期流水数据进行二级校验-连续校验。

当一张银行卡中关联一个理财子账户，用户在出账过程中可以透支，因此出账完之后交易余额变为负值，被系统判定二级校验-余额校验失败；实际上，关联子账户中余额足以覆盖透支的出账额，下一条目流水数据必定会触发子账户补回透支余额；此纠错办法在遇上负余额时，检测下一笔流水数据条目的回款情况，若不满足条件属于理财子账户的进账且进账额大于等于上一笔出账，则保持原判定二级校验-余额校验失败。

当判定交易金额列时，存在一种情况，找到收入列与支出列，某列金额并非全部为正值或负值，会触发交易金额列处理失败，这是由于一些交易为“冲正”、“抹账”操作，一般是进出账失败，金额原路退回，但是不会作为相反进出帐的记录，而是作为该条流水数据本身的操作失败补充。因此，此纠错办法在遇上进出帐金额两列正负不统一的情况下，寻找偶发的异值，抹除“冲正”、“抹账”异值流水数据条目与上一条金额为反数的流水数据，成功纠错后，交易金额收入支出两列将处理成功。

当判定交易金额列时，存在一种情况，能找到金额列，但不能区分是进账还是出账，一般名为“发生额”，不满足交易金额列的设定，会处理失败；此纠错办法协助“发生额”确定数据内容的进出帐：寻找关键字“记账方向”的数据列，若“记账方向”能明确体现收支信息(例如为“收/支”“进/出”)，则可快速明确交易金额进出；若“记账方向”不能体现收支信息，则通过自上而下的遍历，尝试通过一部分连续流水数据余额数据比较上下流水数据的进出情况，以获取“记账方向”的收支标记(例如为“借/贷”“+/-”)，确定收支标记与进出帐的对应关系，可成功纠错并完成交易金额列处理。

当流水数据原件为人工拼接的流水数据，将多份结构相同的流水数据直接上下拼接到一起(因为部分银行只能一个季度一个季度获取流水数据)，常常会遭遇二级校验-连续校验失败，因为可能存在拼接重复的流水数据条目，也可能拼接出有间隔的流水数据。此纠错方法在执行二级校验-连续校验时触发，若初次遍历流水数据校验失败，则通过遍历时间，读取每日的流水数据进行去重操作，再进行连续校验，这一部分主要是针对重复的流水数据条目；若进行过程中依旧遭遇连续校验失败，判断遍历节点的下一条流水数据日期是否跨月份，若是，保留以上校验成功的流水数据，进入到保存流程，对以下的流水数据继续进行此纠错方法；若否，则仍判定所有流水数据为连续校验失败。

实施例：

1.如图2所示，收到一份流水文件后，利用数据上传模块，扫描、上传获取电子版流水文件，同时填写该流水文件对应的账户号、账户主体名称。而电子版流水文件如图3所示。

2.数据解析模块进行工作：步骤2.1，判定标题行数据，包含关键字最多的行，以图3为例，获取关键字“交易日期”“发生额”“余额”“摘要”“对方”“名称”“交易时间”，可判定12行以下的数据为流水。

步骤2.2，标题分类，逐个遍历标题与数据列，可以明确时间相关数据列：“交易日期”列为“日期”格式、“交易时间”列为6位数值格式，金额相关数据列：“借方发生额”“贷方发生额”“账户余额”全为数值格式，备注相关数据列：“摘要”为字符数据，对手相关数据列：“对方账号名称”为字符数据。

步骤2.3，处理时间相关数据列，存在“交易日期”数据列，已满足“日期”格式；也存在“交易时间”列，将6位数值格式转化为“时间”格式，例如160833转为16:08:33，并按照时间顺序将原流水数据进行排序。

步骤2.4，处理交易金额相关数据列，存在“借方发生额”“贷方发生额”两列数据列，由于没有明确的收支标记，因此处理失败，触发纠错方法；步骤2.4.1，纠错方法选取一部分连续流水，计算连续“账户余额”作差与“借方发生额”“贷方发生额”的关系，例如32063.27-20788.27=11275，与“贷方发生额”数值相等；例如63.27-32063.27=-32000，与“借方发生额”数值相反；选取的这部分连续流水进行全部判断后，可以确定“贷方发生额”数据列为“进账金额”，“借方发生额”为“出账金额”。步骤2.4.2，认定“进账金额”与“出账金额”之后，将“出账金额”数据列数值乘以(-1)和“进账金额”合并成一列“交易金额”。

步骤2.5，处理其他数据列：“账户余额”为“交易余额”；“摘要”为“交易备注”；“对方账号名称”为“交易对手”。

3.数据校验模块工作：步骤3.1，获取标题行以上的数据信息，账户名称为“xx有限公司”，开户机构为“中国民生银行”，与流水上传模块填写的内容进行比对校验。

步骤3.2，计算时间跨度，最后一笔交易日“2020-12-07”与首个交易日“2020-01-02”作差计算得到340天；计数共314条流水；最后一笔交易日距离业务提交日期“2020-12-30”作差计算得到23天，满足首贷要求至少12个月的流水、所有账户至少200条记录、最近交易日期迄今少于30天。

步骤3.3，遍历流水交易金额、交易余额列，校验流水连续；获取非空的交易对手列枚举值，校验非唯一；获取非正值的交易余额列，校验无负余额。

4.数据保存模块工作：该份流水经过标准化处理、一级校验、二级校验后全部通过，是一份完整的、可靠的流水，落于数据库中的“正常流水”表，如图4所示，并将结果报文传送回上传管理页面。

5.最后，上传流水管理界面反馈结果，如图5所示。

Claims (9)

1.一种电子流水数据的管理方法，包括数据上传模块、数据解析模块、数据校验模块、数据保存模块，其特征在于：具体方法流程如下：

步骤1：利用数据上传模块，获取电子版流水文件，同时填写该流水文件对应的账户号、账户主体名称；

步骤2：利用数据解析模块对电子版流水文件进行数据标准化，生成一份规整的流水数据；

步骤3：利用数据校验模块对标准化的流水数据进行校验；

步骤4：利用数据保存模块对不同校验结果的流水数据进行分隔存储；对一级校验失败、二级校验失败的数据保存在异常流水的存储空间内，对通过数据校验的数据保存在正常流水的存储空间；

步骤5：反馈校验结果详情；

所述的数据上传模块，用于上传电子版流水文件，并将流水文件传到下一个模块；

所述的数据解析模块，用于对电子版流水文件进行标准化过程，获取流水文件，生成规整流水数据，并将数据传入下一模块；

所述的数据校验模块，用于校验获取的规整流水数据，并输出反馈结果与流水数据；

所述的数据保存模块，用于接收经过校验规则后的校验结果与流水数据，根据不同情况将流水数据存储至不同的存储空间，并输出校验结果详情。

2.根据权利要求1所述的一种电子流水数据的管理方法，其特征在于：所述的步骤2的具体流程如下：

（21）搜索流水文件前30行，寻找同时存在时间关键字、金额关键字、余额关键字的行，将其中已用单元格最多的行定义为标题行，若无法识别标题行，则该流水文件不能判定为一份正常流水文件，停止处理；

（22）将标题行及标题行以下所有流水数据读取出来作为流水文件的原始流水数据；

（23）从原始流水数据第一行开始，自上往下对每一行进行规则性留存；

（24）根据标题行的关键字、数据列特征分别识别交易日期、交易时间、交易金额、交易对手、交易余额、交易备注；

（25）处理交易日期、交易时间列，找到若干数据列，对其中的数据列进一步处理；

（26）处理交易金额列，找到若干数据列，对其中的数据列进一步处理；

（27）其他数据列处理，根据不同的标题将数据转为对应数据结构。

3.根据权利要求2所述的一种电子流水数据的管理方法，其特征在于：所述的规则性留存的具体流程如下：

（231）若该行数据与标题行长度相同、数据完整，则保留；

（232）跳过空白行、相同标题行；

（233）连续跳过5次，留存结束。

4.根据权利要求2所述的一种电子流水数据的管理方法，其特征在于：所述的步骤（25）中，对其中的数据列进一步处理的具体流程如下：

（251）若该列所有数据均满足日期或者时间格式，则将该列确定为交易日期时间列，拆分为交易日期、交易时间列，处理成功并停止继续处理；

（252）若该列所有数据仅满足日期格式或者长度为8位的数值或者字符格式，则将该列定义为交易日期列，并继续寻找交易时间列，若再找到数据满足时间格式或者长度为6位的数值或者字符格式，则将该列定义为交易时间列，处理成功并停止继续处理；若无法找到，仍为处理成功；

（253）若步骤（251）及步骤（252）都不满足，则处理失败，停止处理该流水数据。

5.根据权利要求2所述的一种电子流水数据的管理方法，其特征在于：所述的步骤（26）中，对其中的数据列进一步处理的具体流程如下：

（261）若该列数据标题明确为收入且满足数值格式的，则将该列确定为交易进账列，并继续寻找数据标题明确为支出且满足数值格式的数据列，则将该列确定为交易出账列，将交易进账、交易出账合成为一列交易金额列，若交易出账全为负值，则直接合并，若交易出账全为正值，则整列数据取反数后合并，处理成功并停止处理；若无法找到标题明确为支出且满足数值格式的数据列，则处理失败，停止处理该流水数据；

（262）若该列数据内容有收入、也有支出且满足数值格式的，则将该列确定为交易金额列，处理成功并停止处理；

（263）若步骤（261）及步骤（262）都不满足，则处理失败，停止处理该流水数据。

6.根据权利要求1所述的一种电子流水数据的管理方法，其特征在于：所述的步骤3的具体流程如下：

（31）进行一级校验处理；

（32）进行二级校验处理。

7.根据权利要求6所述的一种电子流水数据的管理方法，其特征在于：所述的步骤（31）一级校验处理的具体流程如下：

（311）搜索流水数据前30行，寻找标题行上方的银行账户、账户主体关键信息，并与数据上传模块输入的银行卡号、姓名进行比对，不满足则一级校验失败；

（322）对流水数据时间跨度有硬性要求，对流水数据条目个数有硬性要求，对流水数据截至交易日期有硬性要求，若有限制，任意一条不满足则一级校验失败。

8.根据权利要求6所述的一种电子流水数据的管理方法，其特征在于：所述的步骤（32）二级校验处理的具体流程如下：

（321）对流水数据进行校验，确保流水数据连续，不满足则二级校验失败；

（322）对流水数据的交易对手进行校验，确保交易对手数据列非空、非唯一枚举值，不满足则二级校验失败；

（323）对流水数据的交易余额进行校验，确保每条余额都为正值，不满足则二级校验失败。

9.根据权利要求1所述的一种电子流水数据的管理方法，其特征在于：所述的步骤5中，反馈校验结果的具体流程如下：

（51）若数据解析失败，则反馈为解析失败；

（52）若一级校验失败，则反馈为一级校验失败，备注相应的一级校验子环节与失败原因，并将处理失败的流水源文件存于异常流水的存储区域；

（53）若二级校验失败，则反馈为二级校验失败，备注相应的一级校验子环节与失败原因，并将校验失败的流水标准化数据存于异常流水的存储区域；

（54）若全部通过，则反馈为校验为真流水，并将校验成功的流水标准化数据存于正常流水的存储区域。

Images