CN111352803A - 业务数据处理方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种业务数据处理方法、装置、设备和存储介质，其中该方法包括：根据消费进程对待处理业务数据进行业务处理；确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。本发明实施例的技术方案，通过守护进程实时监测业务数据的处理过程，及时发现异常情况，降低对业务数据处理的影响，增强了业务的稳定性。

Description

业务数据处理方法、装置、设备和存储介质

技术领域

本发明实施例涉及计算机应用技术领域，尤其涉及一种业务数据处理方法、装置、设备和存储介质。

背景技术

随着互联网技术的发展，生活的方法面面离不开数据，如何安全高效的处理用户生活过程中产生的业务数据成为业界研究的重点。

业务数据处理领域中业务数据常因为数据量过大导致异常退出，对业务数据的处理过程产生影响，降低了业务数据的处理速度。现有技术中，常通过Kafka Manager或者KafkaOffsetMonitor等工具提供可实化界面，对业务数据的处理过程进行监控，由于监控并不能达到实时效果，处理业务数据的机器出现问题时，不能被及时发现，造成业务数据的丢失，对业务的稳定性产生影响。

发明内容

本发明提供一种业务数据处理方法、装置、设备和存储介质，以实现业务数据处理过程中及时发现故障，提高业务数据处理过程的稳定性，降低业务数据丢失机率。

第一方面，本发明实施例提供了一种业务数据处理方法，该方法包括：

根据消费进程对待处理业务数据进行业务处理；

确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。

第二方面，本发明实施例提供了一种业务数据处理装置，该装置包括：

业务处理模块，用于根据消费进程对待处理业务数据进行业务处理；

异常处理模块，用于确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。

第三方面，本发明实施例提供了一种设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例中任一所述的业务数据处理方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例中任一所述的业务数据处理方法。

本发明实施例的技术方案，通过消费进程对待处理业务数据进行业务处理，在消费进程异常时，可以根据守护进程进行异常处理使得消费进程继续对待处理业务数据进行处理，实现了业务数据处理过程的实时监控，可及时发现异常情况，提高了业务的稳定性，可防止业务数据因为处理异常导致丢失。

附图说明

图1是本发明实施例一提供的一种业务数据处理方法的流程图；

图2是本发明实施例二提供的一种业务数据处理方法的流程图；

图3是本发明实施例二提供的一种业务数据处理方法的示例图；

图4是本发明实施例二提供的一种性能下降告警的示例图；

图5是本发明实施例三提供的一种业务数据处理装置的结构示意图；

图6是本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构，此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

实施例一

图1是本发明实施例一提供的一种业务数据处理方法的流程图，本实施例可适用于分布式情况下处理业务数据的情况，该方法可以由业务数据处理装置来执行，该装置可以采用硬件和/或软件的方式来实现，参见图1，本发明实施例提供的业务数据处理方法具体包括如下步骤：

步骤101、根据消费进程对待处理业务数据进行业务处理。

其中，消费进程可以是用于处理业务数据的进程，具体可以是计算机程序，可以具有独立处理业务数据的功能，消费进程可以运行在不同的计算机中，不同的计算机可以根据消费进程对不同的业务数据进行处理。待处理业务数据可以是需要进行业务处理的数据，具体可以包括商品订单数据、活动打折数据和视频订阅数据等。

具体的，可以在各执行业务处理的计算机中布置消费进程，由消费进程对待处理业务数据进行处理，可以理解的是，消费进程可以实现业务数据的处理功能，不同的业务数据可以在不同的计算机中被消费进程处理，同一待处理业务数据仅可以被一个消费进程处理。

步骤102、确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。

其中，异常可以导致消费进程不能正常处理业务数据的情况，可以包括消费进程异常退出或者业务数据处理错误等，守护进程可以是保障消费进程正常运行的计算机进程，守护进程可以与消费进程处于相同的计算机中，守护进程可以在监测到消费进程异常后进行异常处理恢复消费进程。

在本发明实施例中，可以通过对消费进程的运行状态进行监测，当消费进程异常时，可以由守护进程对消费进程进行异常处理，重新使得消费进程正常运行，示例性的，可以使用守护进程作为消费进程的父进程，在检测到消费进程异常时，可以通过守护进程重新启动一个新的子进程作为消费进程，可以理解的是，新的子进程可以继续处理异常的消费进程正在处理的待处理业务数据。

本发明实施例，通过消费进程对待处理业务数据进行业务处理，在消费进程异常时，可以根据守护进程进行异常处理使得消费进程继续对待处理业务数据进行处理，实现了业务数据处理过程的实时监控，及时发现消费进程的异常状况，提高业务的稳定性，降低了业务数据因为异常处理导致丢失的机率，可提高用户的体验程度。

进一步的，在上述发明实施例的基础上，业务数据处理方法还可以包括：确定所述待处理业务数据的数量超过告警阈值时，发出处理性能下降告警。

其中，告警阈值可以是处理性能下降告警的临界值，当待处理业务数据的数量超过告警阈值时可以进行处理性能下降告警，不同计算机内的消费进程对应的告警阈值可以不同，告警阈值可以与消费进程的处理能力相对应。

具体的，可以对待处理业务数据的数量进行统计，当待处理业务数据的数量超过告警阈值时，可以通过声音、文字或者图片等形式发出性能下降告警。

进一步的，在上述发明实施例的基础上，确定所述待处理业务数据的数量超过告警阈值时，发出处理性能下降告警，包括：

获取数据待处理队列中的待处理数据的数量；若所述数量大于所述告警阈值，则生成处理性下降告警并根据所述处理效降告警进行警报。

具体的，待处理数据存储在数据待处理队列中，可以在数据待处理队列中统计待处理数据的数量，将获取到的数量与告警阈值进行对比，当该数量大于告警阈值时，可以生成性能下降告警，可以将该性能下降告警通过文字、声音或者图片等方式进行展示以实现警报。

实施例二

图2是本发明实施例二提供的一种业务数据处理方法的流程图，本发明实施例以上述实施例为基础进行具体化，基于数据待处理队列辅助消费进程进行业务处理，并通过守护进程重启消费进程的方式实现异常处理，参见图2，本发明实施例的业务数据处理方法包括：

步骤201、控制消费进程启动，获取数据待处理队列中的待处理业务数据。

其中，数据待处理队列可以是存储待处理数据的存储空间，消费进程可以在该数据待处理队列中获取到需要处理的业务数据，数据待处理队列具体可以是流处理队列，可以包括Kafka流处理队列和Dataflow流处理队列等。

具体的，可以控制计算机中的消费进程启动，可以由消费进程订阅数据待处理队列中的话题，可以理解的是，在多台计算机中可以启动各自的消费进程，各消费进程可以订阅数据待处理队列中的待处理数据，当数据待处理队列中存在待处理业务数据时，可以将该待处理业务数据发送到已经订阅的消费进程中，可以理解的是数据待处理队列中的同一条待处理业务数据可以只被一个消费进程处理，例如，当数据待处理队列中仅存在一条待处理业务数据时，可以按照消费进程订阅的时间顺序，将该待处理业务数据发送到最早订阅的消费进程，其他消费进程可以进入等待状态。

进一步的，在上述发明实施例的基础上，所述数据待处理队列为流处理集群队列。

在本发明实施例中，数据待处理队列可以是收集待处理业务数据的集群，可以通过数据待处理队列获取到分布式集群中需要进行处理的业务数据，数据待处理队列可以是流处理集群队列，具体可以包括Kafka流处理队列。

步骤202、确定所述待处理业务数据未被处理时，控制所述消费进程处理所述待处理业务数据。

在本发明实施例中，为了保障待处理业务数据处理过程的一致性，各待处理业务数据仅能被处理一次，消费进程在对待处理业务数据进行处理前，可以确定该待处理业务数据是否已经被处理过，当确定待处理业务数据为被处理时，可以由消费进程处理该待处理业务数据。具体的，确定待处理业务数据的方式可以包括通过在已处理业务数据中查找该待处理业务数据的方式实现。

步骤203、基于守护进程监测所述消费进程的运行参数。

其中，运行参数可以是消费进程运行时的状态信息，可以通过对运行参数的监测确定消费进程的运行状态，当消费进程出现异常时，可以通过运行参数及时发现，可以理解的是，运行参数可以包括消费进程的内存占用和电量消耗等。

具体的，可以将守护进程和消费进程在计算机中以父进程和子进程的形式进行布置，可以将守护进程配置为父进程，将消费进程配置为子进程，可以由守护进程对消费进程进行监测，可以守护进程可以获取到消费进程的运行参数，可以对消费进程的运行状态进行监控。

步骤204、确定所述运行参数异常时，重新启动新的消费进程以处理所述待处理业务数据。

具体的，守护进程监测到消费进程的运行参数异常时，例如，消费进程异常退出，此时，守护进程可以创建新的子进程作为消费进程，可以由新创建的消费进程继续处理异常的消费进程未完成处理的待处理业务数据。

本发明实施例，通过启动消费进程获取数据待处理队列中的待处理业务数据，确定待处理业务数据未被处理时，由消费进程处理该待处理业务数据，通过守护进程监测消费进程的运行参数，确定运行参数异常时，重新启动新的消费进程继续处理待处理业务数据。本发明实施例的技术方案，通过守护进程实时监测业务数据的处理过程，及时发现异常情况，降低对业务数据处理的影响，增强了业务的稳定性。

进一步的，在上述发明实施例的基础上，确定所述待处理业务数据未被处理时，控制所述消费进程处理所述待处理业务数据，包括：

将所述待处理业务数据的记录序号与数据缓存中的已处理业务数据的记录序号进行对比；若所述待处理业务数据的记录序号大于所述已处理业务数据的记录序号，则控制所述消费进程对所述待处理业务数据进行业务处理。

其中，记录序号可以是待处理业务数据的唯一标识号，可以用于验证待处理业务数据是否已经被处理。数据缓存可以是存储已处理业务数据的缓存空间，可以用于保障业务数据处理的唯一性，数据缓存具体可以是分布式集群缓存，可以存储大量的已处理业务数据。

在本发明实施例中，待处理业务数据中可以携带记录序号，在消息进程处理待处理业务数据之前，可以将记录序号与数据缓存中的已处理业务数据的记录序号进行对比，若待处理业务数据的记录序号大于已处理业务数据的记录序号，可以确定该待处理业务数据尚未被消费进程处理，可以由消费进行处理该待处理业务实现相应的业务功能。

进一步的，在上述发明实施例的基础上，数据缓存包括分布式集群缓存。

本发明实施例中，存储已处理业务数据的数据缓存可以是分布式集群缓存，具体可以是Codis或者Redis集群等。

示例性的，图3是本发明实施例二提供的一种业务数据处理方法的示例图，参见图3，可以在多台计算机中启动消费进程，在一台计算机中可以同时启动两个进程，一个父进程作为守护进程，一个子进程作为消费进程，守护进程可以对消费进程进行监测，当守护进程监测到消费进程异常退出后，可以自动启动一个新的子进程作为消费进程。多台计算机的消费进程可以订阅kafka的同一个话题，可以在kafka中为该话题设置一个分区，话题同时只会被一个消费进程消费消息，其他消费进程则处于等待状态，如果正在处理待处理业务数据的消费进程所在计算机宕机，可以由其他计算机中的消费进程继续处理待处理业务数据。每个待处理业务数据都会携带记录序号，在消费进程进行处理前，可以用Codis检查并记录序号大小是否大于已消费的业务数据的记录序号，判断记录序号是否重复，从而保证待处理业务数据被唯一处理。图4是本发明实施例二提供的一种性能下降告警的示例图，参见图4，以数据待处理队列为kakfa流处理队列为例，通过定时启动一个监控进程获取kafka主体中最新的offset和消费进程已经处理的offset，可以将最新的offset与已处理的offset的差值作为待处理业务数据的数量，可以将该数量与告警阈值进行对比，若数量大于告警阈值则告警对应的开发人员，消费进程的处理性能下降出现异常，若数量小于或等于告警阈值，则关闭监控进程等待重新启动。

实施例三

图5是本发明实施例三提供的一种业务数据处理装置的结构示意图，可执行本发明任意实施例所提供的业务数据处理方法，具备执行方法相应的功能模块和有益效果。该装置可以由软件和/或硬件实现，具体包括：业务处理模块301和异常处理模块302。

其中，业务处理模块301，用于根据消费进程对待处理业务数据进行业务处理。

异常处理模块302，用于确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。

本发明实施例的技术方案，通过业务处理模块消费进程对待处理业务数据进行业务处理，异常处理模块在消费进程异常时，可以根据守护进程进行异常处理使得消费进程继续对待处理业务数据进行处理，实现了业务数据处理过程的实时监控，可及时发现异常情况，提高了业务的稳定性，可防止业务数据因为处理异常导致丢失。

进一步的，在上述发明实施例的基础上，业务处理模块301包括：

数据获取单元，用于控制所述消费进程启动，获取数据待处理队列中的待处理业务数据。

数据处理单元，用于确定所述待处理业务数据未被处理时，控制所述消费进程处理所述待处理业务数据。

进一步的，在上述发明实施例的基础上，数据获取单元中的所述数据待处理队列为流处理集群队列。

进一步的，在上述发明实施例的基础上，数据处理单元包括：

序号对比子单元，用于将所述待处理业务数据的记录序号与数据缓存中的已处理业务数据的记录序号进行对比。

业务处理子单元，用于若所述待处理业务数据的记录序号大于所述已处理业务数据的记录序号，则控制所述消费进程对所述待处理业务数据进行业务处理。

进一步的，在上述发明实施例的基础上，序号对比子单元中的数据缓存包括分布式集群缓存。

进一步的，在上述发明实施例的基础上，异常处理模块302包括：

参数监测单元，用于基于所述守护进程监测所述消费进程的运行参数。

重启进程单元，用于确定所述运行参数异常时，重新启动新的消费进程以处理所述待处理业务数据。

进一步的，在上述发明实施例的基础上，还包括：

性能告警模块，用于确定所述待处理业务数据的数量超过告警阈值时，发出处理性能下降告警。

进一步的，在上述发明实施例的基础上，性能告警模块包括：

数量获取单元，用于获取数据待处理队列中的待处理数据的数量。

性能告警单元，用于若所述数量大于所述告警阈值，则生成处理性下降告警并根据所述处理效降告警进行警报。

实施例四

图6是本发明实施例四提供的一种设备的结构示意图，如图6所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图6中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图6中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的业务数据处理方法对应的程序模块(例如，业务数据处理装置中的业务处理模块301和异常处理模块302)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的业务数据处理方法。

存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置42可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种业务数据处理方法，该方法包括：

根据消费进程对待处理业务数据进行业务处理；

确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的业务数据处理方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述业务数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (11)

1.一种业务数据处理方法，其特征在于，包括：

根据消费进程对待处理业务数据进行业务处理；

确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。

2.根据权利要求1所述的方法，其特征在于，所述根据消费进程对待处理业务数据进行业务处理，包括：

控制所述消费进程启动，获取数据待处理队列中的待处理业务数据；

确定所述待处理业务数据未被处理时，控制所述消费进程处理所述待处理业务数据。

3.根据权利要求2所述的方法，其特征在于，所述数据待处理队列为流处理集群队列。

4.根据权利要求2所述的方法，其特征在于，所述确定所述待处理业务数据未被处理时，控制所述消费进程处理所述待处理业务数据，包括：

将所述待处理业务数据的记录序号与数据缓存中的已处理业务数据的记录序号进行对比；

若所述待处理业务数据的记录序号大于所述已处理业务数据的记录序号，控制所述消费进程对所述待处理业务数据进行业务处理。

5.根据权利要求4所述的方法，其特征在于，所述数据缓存包括分布式集群缓存。

6.根据权利要求1或2所述的方法，其特征在于，所述确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理，包括：

基于所述守护进程监测所述消费进程的运行参数；

确定所述运行参数异常时，重新启动新的消费进程以处理所述待处理业务数据。

7.根据权利要求1所述的方法，其特征在于，还包括：

确定所述待处理业务数据的数量超过告警阈值时，发出处理性能下降告警。

8.根据权利要求7所述的方法，其特征在于，所述确定所述待处理业务数据的数量超过告警阈值时，发出处理性能下降告警，包括：

获取数据待处理队列中的待处理数据的数量；

若所述数量大于所述告警阈值，则生成处理性下降告警并根据所述处理效降告警进行警报。

9.一种业务数据处理装置，其特征在于，包括：

业务处理模块，用于根据消费进程对待处理业务数据进行业务处理；

异常处理模块，用于确定所述消费进程异常时，根据守护进程对所述消费进程进行异常处理。

10.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的业务数据处理方法。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8中任一所述的业务数据处理方法。

Images