CN114168430A - 前端异常告警配置方法、系统、设备及存储介质 - Google Patents
前端异常告警配置方法、系统、设备及存储介质 Download PDFInfo
- Publication number
- CN114168430A CN114168430A CN202210012707.9A CN202210012707A CN114168430A CN 114168430 A CN114168430 A CN 114168430A CN 202210012707 A CN202210012707 A CN 202210012707A CN 114168430 A CN114168430 A CN 114168430A
- Authority
- CN
- China
- Prior art keywords
- alarm
- target data
- database
- data
- abnormal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000000007 visual effect Effects 0.000 claims abstract description 29
- 238000004458 analytical method Methods 0.000 claims abstract description 23
- 238000012800 visualization Methods 0.000 claims abstract description 13
- 230000006399 behavior Effects 0.000 claims description 35
- 238000009933 burial Methods 0.000 claims description 31
- 238000012544 monitoring process Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 21
- 230000014759 maintenance of location Effects 0.000 claims description 17
- 238000011161 development Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 230000015556 catabolic process Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 230000005856 abnormality Effects 0.000 claims description 2
- 238000012827 research and development Methods 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 6
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013499 data model Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241001417519 Priacanthidae Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000013467 fragmentation Methods 0.000 description 1
- 238000006062 fragmentation reaction Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 229910002804 graphite Inorganic materials 0.000 description 1
- 239000010439 graphite Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013215 result calculation Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/302—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system component is a software system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Debugging And Monitoring (AREA)
Abstract
本申请实施例中提供前端异常告警配置方法、系统、设备及存储介质,通过所配置的多维度的前端关注类型的埋点,从前端的用户行为数据中提取前端目标数据并存储;其中,前端目标数据供被分析以生成可视化图表并显示;配置与各前端关注类型相关的至少一个告警规则;其中,告警规则供被利用以根据目标数据监控出现的异常事件并通过可视化图表进行告警。通过前端异常告警配置系统实现多维度埋点数据的采集,从而能获得更贴近关注需求的前端目标数据以进行异常分析,且前端异常告警配置系统还用于配置告警规则以用于分析的异常事件的告警,自动实现从埋点采集的前端目标数据分析到告警的流程,提升效率降低研发人员配置、时间成本。
Description
技术领域
本申请涉及异常行为监控技术领域,尤其涉及前端异常告警配置方法、系统、设备及存储介质。
背景技术
当前,在为用户服务的网络平台中,前端研发人员只能在发布的阶段对线上的故障及报错进行人为有限的监控,并做不到实时监控告警,导致有的生产故障并不能及时发现,可能会对用户体验以及业务收益造成影响。
目前的针对于前端的告警仅限于应用级的报错,这对于前端研发并不是最关心,而是关心来自用户客户端的行为数据相关异常事件,这就牵涉到了用户行为数据的大数据处理。因此,行业亟需基于大数据处理的前端告警的系统。
发明消息
鉴于以上相关技术的缺点,本申请的目的在于提供前端异常告警配置方法、系统、设备及存储介质,解决相关技术的问题。
本申请第一方面提供一种基于大数据处理的前端异常告警配置方法,包括:通过所配置的多维度的前端关注类型的埋点,从前端的用户行为数据中提取前端目标数据并存储;其中,所述前端目标数据供被分析以生成可视化图表并显示;配置与待监控的前端目标数据的前端关注类型相关的至少一个告警规则;其中,所述告警规则供被利用以根据所述目标数据监控出现的异常事件并通过所述可视化图表进行告警。
在一些实施例中,所述多维度的前端关注类型的埋点包括:开发埋点、业务埋点、页面访问量/独立访客数埋点、指标埋点、浏览器埋点、错误/崩溃埋点及曝光埋点中的任意多种。
在一些实施例中,所述监控的对象包括以下至少一种:页面访问量/独立访客数监控;错误/崩溃增长监控;主流程关键节点分段监控;页面转化率流量监控;模块曝光监控。
在一些实施例中,每种埋点具有配置信息,所述配置信息包括配置模板;所述配置模板用于符合对应的前端关注类型的前端目标数据的提取。
在一些实施例中,所述配置模板包含用于所述前端目标数据提取的数据库命令集合。
在一些实施例中,所述用户行为数据存储于一第一数据库,所述前端目标数据存储于一第二数据库,所述第一数据库的数据保留时间短于所述第二数据库的数据保留时间。
在一些实施例中,所述第一数据库的保留时间为若干天,所述第二数据库的保留时间为1年。
在一些实施例中,所述第一数据库向一消息队列系统通过订阅方式获得对应发布的所述用户行为数据。
本申请第二方面提供一种基于大数据处理的前端异常告警装置,包括:埋点配置模块,用于通过所配置的多维度的前端关注类型的埋点,从前端的用户行为数据中提取前端目标数据并存储;其中,所述前端目标数据供被分析以生成可视化图表并显示;告警配置模块,用于配置与待监控的前端目标数据的前端关注类型相关的至少一个告警规则;其中,所述告警规则供被利用以根据所述目标数据监控出现的异常事件并通过所述可视化图表进行告警。
本申请第三方面提供一种基于大数据处理的前端异常告警系统,包括:消息队列系统,用于从前端获取用户行为数据;第一数据库,用于向所述消息队列系统订阅并获得发布的用户行为数据并存储;前端异常告警配置系统,用于通过所配置的多维度的前端关注类型的埋点,从第一数据库中的用户行为数据中提取前端目标数据,并存入至第二数据库;且用于配置与待监控的前端目标数据的前端关注类型相关的至少一个告警规则;可视化分析告警系统,用于根据所述前端目标数据分析生成可视化图表并显示;且利用由所述配置的至少一个告警规则,以根据所述目标数据监控出现的异常事件并告警。
在一些实施例中,所述的前端异常告警系统,还包括以下至少一种:1)第三数据库,与所述前端异常告警配置系统连接,用于存储所述告警规则;2)服务端系统,连接所述可视化分析告警系统,用于获取所述告警并展示。
如上所述,本申请实施例中提供前端异常告警配置方法、系统、设备及存储介质,通过所配置的多维度的前端关注类型的埋点,从前端的用户行为数据中提取前端目标数据并存储;其中,前端目标数据供被分析以生成可视化图表并显示;配置与各前端关注类型相关的至少一个告警规则;其中,告警规则供被利用以根据目标数据监控出现的异常事件并通过可视化图表进行告警。通过前端异常告警配置系统实现多维度埋点数据的采集,从而能获得更贴近关注需求的前端目标数据以进行异常分析,且前端异常告警配置系统还用于配置告警规则以用于分析的异常事件的告警,自动实现从埋点采集的前端目标数据分析到告警的流程,提升效率降低研发人员配置、时间成本,缩短了线上报错的感知时间和修复时间,提升了系统的线上质量,保证了系统更好的用户体验和业务服务。
附图说明
图1展示本申请一种实施例中的前端异常告警系统的结构示意图。
图2A展示本申请一种应用示例中的埋点配置的界面示意图。
图2B展示本申请一种应用示例中已配置的各个埋点的界面示意图。
图2C展示本申请一种应用示例中可视化图表的界面示意图。
图3展示本申请一种应用示例中的前端异常告警配置系统的功能模块示意图。
图4展示本申请一种实施例中的前端异常告警配置方法的流程示意图。
图5展示本申请一种实施例中的前端异常告警配置系统的模块示意图。
图6展示本申请一种实施例中计算机设备的结构示意图。
具体实施方式
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本申请所揭露的消息轻易地了解本申请的其他优点与功效。本申请还可以通过另外不同的具体实施方式加以实施或应用系统,本申请中的各项细节也可以根据不同观点与应用系统,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
下面以附图为参考,针对本申请的实施例进行详细说明,以便本申请所属技术领域的技术人员能够容易地实施。本申请可以以多种不同形态体现,并不限定于此处说明的实施例。
在本申请的表示中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的表示意指结合该实施例或示例表示的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且,表示的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本申请中表示的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于表示目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的表示中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
为了明确说明本申请,省略与说明无关的器件,对于通篇说明书中相同或类似的构成要素,赋予了相同的参照符号。
在通篇说明书中,当说某器件与另一器件“连接”时,这不仅包括“直接连接”的情形,也包括在其中间把其它元件置于其间而“间接连接”的情形。另外,当说某种器件“包括”某种构成要素时,只要没有特别相反的记载,则并非将其它构成要素排除在外,而是意味着可以还包括其它构成要素。
虽然在一些实例中术语第一、第二等在本文中用来表示各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一接口及第二接口等表示。再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、模块、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、模块、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“A、B或C”或者“A、B和/或C”意味着“以下任一个:A;B;C;A和B;A和C;B和C;A、B和C”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
此处使用的专业术语只用于言及特定实施例,并非意在限定本申请。此处使用的单数形态,只要语句未明确表示出与之相反的意义,那么还包括复数形态。在说明书中使用的“包括”的意义是把特定特性、区域、整数、步骤、作业、要素及/或成份具体化,并非排除其它特性、区域、整数、步骤、作业、要素及/或成份的存在或附加。
表示“下”、“上”等相对空间的术语可以为了更容易地说明在附图中图示的一器件相对于另一器件的关系而使用。这种术语是指,不仅是在附图中所指的意义,还包括使用中的装置的其它意义或作业。例如,如果翻转附图中的装置,曾说明为在其它器件“下”的某器件则说明为在其它器件“上”。因此,所谓“下”的示例性术语,全部包括上与下方。装置可以旋转90°或其它角度,代表相对空间的术语也据此来解释。
虽然未不同地定义,但包括此处使用的技术术语及科学术语,所有术语均具有与本申请所属技术领域的技术人员一般理解的意义相同的意义。普通使用的字典中定义的术语追加解释为具有与相关技术文献和当前提示的消息相符的意义,只要未进行定义,不得过度解释为理想的或非常公式性的意义。
目前,在网络平台,例如电商平台、旅游订票平台中,会提供给用户用于交互的网站,网站包含了前端部分,例如展示给用户浏览的网页。用户通过在网页的输入及反馈,达成所需功能,例如购物、订票等。前端的研发人员需要监控前端的异常情况并及时解决,但是目前研发人员只能在网站发布阶段对线上的故障及报错进行人为有限的监控,做不到实时监控告警,导致有的生产故障并不能被及时发现。而且,监控所需要分析的用户数据巨大,很多比较容易修复的故障实际上都不是研发人员所重点关注的,例如应用级的报错,而关注的是JavaScript error以及业务展示告警等与用户行为非常相关的故障,而其中又涉及到用户行为数据的大数据分析,以及通过用户客户端的埋点采集与关注的故障相关的用户行为数据等,故需要一个基于大数据处理的告警平台来达成这些需求,解决上述痛点问题。
鉴于此,本申请实施例中可以提供前端异常告警配置方法、系统及所应用的前端异常告警系统,通过前端异常告警配置方法、系统配置对应多维度的前端关注类型的埋点,以采集所需要的前端目标数据,并进一步通过配置告警规则,以利用可视化分析告警发现符合告警规则的异常并告警。从而,打通从埋点到告警的通路,高效地完成所关注的异常事件、故障的告警,解决相关技术的问题。
如图1所示,展示本申请实施例中基于大数据处理的前端异常告警系统的结构示意图。
如图1所示例,所述基于大数据处理的前端异常告警系统包括:消息队列系统101、第一数据库102、前端异常告警配置系统103、及可视化分析告警系统104等部分。
在一些实施例中,消息队列系统101、第一数据库102、前端异常告警配置系统103、及可视化分析告警系统104中的每个可以是由各自服务器或服务器组实现;或者,在另一些实施例中,消息队列系统101、第一数据库102、前端异常告警配置系统103、及可视化分析告警系统104中的多个可以集成在同一服务器或服务器组实现。
所述消息队列系统101,用于从前端获取用户行为数据。在可能的示例中,所述消息队列系统101可以由例如Apache Kafka实现。其中,消息系统是负责将数据从一个应用程序传输到另外一个应用程序,使得应用程序可以专注于处理逻辑,而不用过多的考虑如何将消息共享出去。类似于Kafka的分布式消息系统,是基于可靠消息队列的方式,消息在应用程序和消息系统之间异步排队。实际上,消息系统有两种消息传递模式:一种是点对点,另外一种是基于发布-订阅(publish-subscribe)的消息系统。Kafka专为分布式高吞吐量系统而设计,其他消息传递系统相比,Kafka具有更好的吞吐量,内置分区,复制和固有的容错能力,这使得它非常适合大规模消息处理应用程序。所述消息队列系统101可以用于排入用户行为(UserBehaviorTracking,UBT)数据,并可根据订阅来发布数据。
所述第一数据库102,用于向所述消息队列系统101订阅并获得发布的用户行为数据并存储。在一些实施例中,所述第一数据库102可以由例如ClickHouse实现,ClickHouse是一个面向联机分析处理(OLAP)的开源的面向列式存储的DBMS,简称CK,与Hadoop,Spark相比,ClickHouse很轻量级,支持线性扩展,简单方便,高可靠性、容错好,且支持数据统计分析各种场景,支持类SQL查询,异地复制部署。
所述前端异常告警配置系统103,用于通过所配置的多维度的前端关注类型的埋点,从第一数据库102中的用户行为数据中提取前端目标数据,并存入至第二数据库105。在一些实施例中,所述多维度的前端关注类型的埋点包括:开发埋点、业务埋点、页面访问量/独立访客数(PV/UV)埋点、指标(Matric)埋点、浏览器(Browser)埋点、错误/崩溃(Error/Crash)埋点及曝光埋点中的任意多种。其中,这些埋点在名称的概念上可能存在重叠,但是它们各自对应的数据之间并不重叠,例如所述业务埋点是用于业务中需要关注的类型的数据的采集,而页面访问量/独立访客数(PV/UV)埋点是与业务相关的,而由于其可以作为特别需要关注的类型而独立设置埋点。其它,浏览器埋点、曝光埋点等也可以是相似的。由此,可以理解的是,以上给出的埋点类型只是示例,可以根据关注的优先级需求加以变化,并非以此为限。
在一些实施例中,所述前端异常告警配置系统103可以通过建立、配置各种类型的埋点,并可通过配置埋点所预先关联的配置模板,以用于从所述用户行为数据中提取匹配的前端目标数据。在可能的实现示例中,所述配置模板可以包含多个数据库查询命令(如SQL查询命令)等,以用于查询匹配的前端目标数据。
举例来说,可以参考图2A所示,展示本申请一应用示例中配置埋点的界面示意图。在此示例中,配置为“APP国内列表页PV”,表示用于采集“APP国内列表页”的PV数据,配置埋点类型为“PV埋点”,数据源选择为“APM-FLT”,间隔时间为“60s”,选择“确认”之后即完成埋点配置。之后,如图2B所示,展示一应用示例中已建立的各个埋点的界面示意图。在图2B中,可以看到在图2A中建立的“APP国内列表页PV”埋点的一条配置项,且在该示例中“hickwallsql模板”列还展示了此埋点的模板,显示为“PV模板”,表示与PV埋点关联的用于提取相应前端目标数据的配置模板,包含相应sql命令语句。
所述第二数据库105可以将存储的前端目标数据提供给所述可视化分析告警系统104,以供生成可视化图表。在一些实施例中,由于第一数据库102中的数据相比第二数据库105中的数据量更广泛而关键度较低,且第一数据库102中的用户行为数据的数量较大,故而可选的,所述第一数据库102的数据保留时间短于所述第二数据库105的数据保留时间,以节省第一数据库102的资源。在一些实施例中所述第一数据库102的数据保留时间可以是若干天,例如2天;而所述第二数据库105的保留时间可以为1年。在可能的实现示例中,所述第二数据库105可以通过例如InfluxDB实现。InfluxDB是一种时序数据库,着力于高性能地查询与存储时序型数据。InfluxDB被广泛应用于存储系统的监控数据,IoT行业的实时数据等场景。可以根据统计的数据,利用图形化界面(例如配合Grafana)制作内存使用情况的可视化图表。
所述前端异常告警配置系统103还可以用于设置告警规则,例如配置与待监控的前端目标数据的前端关注类型相关的至少一个告警规则,所述告警规则可以被所述可视化分析告警系统104使用。在一些实施例中,所述前端异常告警配置系统103可以连接有第三数据库106,用于存储所述告警规则。在可能示例中,所述第三数据库106可以例如为MongoDB。MongoDB是一款为web应用程序和互联网基础设施设计的数据库管理系统。MongoDB是接近于SQL类型数据库的非SQL类型的数据库。MongoDB提出的是文档、集合的概念,使用BSON(类JSON)作为其数据模型结构,其结构是面向对象的而不是二维表,使用这样的数据模型,使得MongoDB能在生产环境中提供高读写的能力,吞吐量较于mysql等SQL数据库大大增强,即具有较好的吞吐量。并且,MongoDB易伸缩及具有自动故障转移能力。易伸缩指的是MongoDB提供了分片能力,能对数据集进行分片,数据的存储压力分摊给多台服务器。自动故障转移是副本集的概念,MongoDB能检测主节点是否存活,当失活时能自动提升从节点为主节点,达到故障转移,即具有较好的可靠性。而且,由于MongoDB数据模型因为是面向对象的,所以可以表示丰富的、有层级的数据结构。基于上述特点,MongoDB较为适用于存放告警规则。
所述可视化分析告警系统104用于根据所述前端目标数据分析生成可视化图表并显示;且利用由所述配置的至少一个告警规则,以根据所述目标数据监控出现的异常事件并告警。在一些实施例中,可以配合第二数据库105为InfluxDB,所述可视化分析告警系统104集成有Grafana,主要用于大规模指标数据的可视化展现,是网络架构和应用分析中最流行的时序数据展示工具。Grafana支持许多不同的数据源。每个数据源都有一个特定的查询编辑器,该编辑器定制的特性和功能是公开的特定数据来源。Grafana可以支持以下数据源:Graphite,Elasticsearch,InfluxDB,Prometheus,Cloudwatch,MySQL和OpenTSDB等。
所述前端异常告警配置系统103可以将对应于前端目标数据的前端目标类型的告警规则配置到所述可视化分析告警系统104设置,从而形成对相应的用户行为相应的异常事件的监控和报警。举例来说,可以参考图2C所示,通过图2B中关联于“APP国内列表页PV”埋点的“PV模板”,将所述“PV模板”复制到可视化分析告警系统104中,则根据相应的前端目标数据(即在APP国内列表页的PV据)分析形成图2C所示的可视化图表的界面,并且在该界面中还提供接口,以供配置“APP国内列表页PV”相关的异常事件的告警规则,即如A、B所分别展示的告警规则1和告警规则2。
进一步的,当根据监控的“APP国内列表页PV”埋点采集的前端目标数据分析出匹配与所述告警规则的异常事件时,则可视化分析告警系统104可进行告警,例如通过所述可视化图表进行告警信息的展示。可选的,如图1所示,所述可视化分析告警系统104还可以连接服务端系统107,所述服务端系统107可以配置例如Bigeyes等监控展示程序,以用于获取可视化分析告警系统104的所述告警并展示给后台的研发人员查看。
结合上述示例,可以理解的是,通过前端异常告警配置系统103一方面通过关注的多维度的埋点来采集研发人员所关注异常相关的数据源,以得到前端目标数据;另一方面实现将前端目标数据推给可视化分析告警系统104,并配置相应告警程序,以形成对关注异常事件的告警。也即是说,通过前端异常告警配置系统103的配置,打通了“前端埋点-异常告警”的自动化处理流程,有效提升研发人员监控所关注的关键前端数据的目的,从而提升对故障的察觉及修复的速度、效率,提升用户体验。
再如图3所示,展示本申请一应用示例中所述前端异常告警配置系统的功能模块示意图。
所述前端异常告警配置系统可以包括多个功能模块。其中,多个功能模块可以包括埋点配置信息模块,用于配置各个埋点,包括但不限于例如开发埋点配置、业务埋点配置、PV/UV埋点配置、Metric埋点配置、Browser埋点配置、Error/Crash埋点配置、曝光(Exposure)埋点配置等中的一种或多种。多个功能模块还可以包括配置信息管理,例如埋点关联的配置模板,告警规则等。可选的,所述多个功能模块可以包括数据统计信息模块,用于基于前端目标数据或用户行为数据进行一些统计结果的计算,例如对前端目标数据按用户进行聚类以用于后续的图表生成。可选的,所述多个功能模块还可以包括成员管理模块,用于识别各个用户身份(可以通过用户ID表示)。
需特别说明的是,图3实施例中的各个功能模块,只是一种示例性地表示,可以根据实际需求加以变化,并非以此为限。
如图4所示,展示本申请一实施例中前端异常告警配置方法的流程示意图。
所述前端异常告警配置方法可以应用于例如图1或图3所示的实施例中的前端异常告警配置系统。
所述前端异常告警配置方法的流程可以包括:
步骤S401:通过所配置的多维度的前端关注类型的埋点,从前端的用户行为数据中提取前端目标数据并存储。
其中,所述前端目标数据供被分析以生成可视化图表并显示。在例如图1的实施例中,所述用户行为数据存储被从消息队列系统获取,并存储在相对保留时间较短的第一数据库中;利用埋点提取出所需的前端目标数据并存放在保留时间较长的第二数据库中,以待分析形成可视化图表。
步骤S402:配置与待监控的前端目标数据的前端关注类型相关的至少一个告警规则。
其中,所述告警规则供被利用以根据所述目标数据监控出现的异常事件并通过所述可视化图表进行告警。可选的,告警信息可以传送到服务端系统,以供例如研发人员处理告警相关的故障等。
如图5所示,展示本申请一实施例中前端异常告警配置系统的流程示意图。需说明的是,所述前端异常告警配置系统可实现于之前实施例中的前端异常告警配置系统,所述前端异常告警配置装置的实现可以参考之前实施例中的前端异常告警配置方法,故此处不对相同技术内容作重复赘述。
所述前端异常告警配置系统500包括:
埋点配置模块501,用于通过所配置的多维度的前端关注类型的埋点,从前端的用户行为数据中提取前端目标数据并存储;其中,所述前端目标数据供被分析以生成可视化图表并显示;
告警配置模块502,用于配置与待监控的前端目标数据的前端关注类型相关的至少一个告警规则;其中,所述告警规则供被利用以根据所述目标数据监控出现的异常事件并通过所述可视化图表进行告警。
在一些实施例中,所述多维度的前端关注类型的埋点包括:开发埋点、业务埋点、页面访问量/独立访客数埋点、指标埋点、浏览器埋点、错误/崩溃埋点及曝光埋点中的任意多种。
在一些实施例中,所述监控的对象包括以下至少一种:页面访问量/独立访客数监控;错误/崩溃增长监控;主流程关键节点分段监控;页面转化率流量监控;模块曝光监控。
在一些实施例中,每种埋点具有配置信息,所述配置信息包括配置模板;所述配置模板用于符合对应的前端关注类型的前端目标数据的提取。
在一些实施例中,所述配置模板包含用于所述前端目标数据提取的数据库命令集合。
在一些实施例中,所述用户行为数据存储于一第一数据库,所述前端目标数据存储于一第二数据库,所述第一数据库的数据保留时间短于所述第二数据库的数据保留时间。
在一些实施例中,所述第一数据库的保留时间为若干天,所述第二数据库的保留时间为1年。
在一些实施例中,所述第一数据库向一消息队列系统通过订阅方式获得对应发布的所述用户行为数据。
需特别说明的是,在图3、图5实施例中的各个功能模块,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以程序指令产品的形式实现。程序指令产品包括一个或多个程序指令。在计算机上加载和执行程序指令指令时,全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。程序指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
并且,图3、图5实施例所揭露的装置,可通过其它的模块划分方式实现。以上所表示的装置实施例仅仅是示意性的,例如所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或模块可以结合或者可以动态到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接于可以是通过一些接口,装置或模块的间接耦合或通信连接于,可以是电性或其它的形式。
另外,图3、图5实施例中的各功能模块及子模块可以动态在一个处理部件中,也可以是各个模块单独物理存在,也可以两个或两个以上模块动态在一个部件中。上述动态的部件既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。上述动态的部件如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器,磁盘或光盘等。
本申请实施例中还可以提供一种计算机可读存储介质,存储有程序指令,所述程序指令被运行时执行之前方法实施例(例如图4等)中的流程步骤。
上述实施例中的方法步骤被实现为可存储在记录介质(诸如CD ROM、RAM、软盘、硬盘或磁光盘)中的软件或计算机代码,或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码,从而在此表示的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如ASIC或FPGA)的记录介质上的这样的软件处理。
需特别说明的是,本申请上述实施例的流程图表示的流程或方法表示可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能。
例如,图4实施例中的各个步骤的顺序可能可以在具体场景中加以变化,并非以上述表示为限。
如图6所示,展示本申请实施例中计算机设备的结构示意图。
在一些实施例中,所述计算机设备可以实现为服务器等。
图6展示的计算机设备600仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图6所示,计算机设备600以通用计算设备的形式表现。计算机设备600的组件可以包括但不限于:上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元610执行,使得计算机设备本公开上述实施例中描述的前端异常告警配置系统,并执行前述实施例中的方法步骤。例如,所述处理单元610可以执行例如图4实施例中的前端异常告警配置方法中所示的步骤。
在一些实施例中,存储单元620可以包括易失性存储单元,例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202,还可以进一步包括只读存储单元(ROM)6203。
在一些实施例中,存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204,这样的程序模块6205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
在一些实施例中,总线630可以包括数据总线、地址总线和控制总线。
在一些实施例中,计算机设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信,这种通信可以通过输入/输出(I/O)接口650进行。可选的,计算机设备600还包括显式单元640,其连接到输入/输出(I/O)接口650,用于进行显式。并且,计算机设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器660通过总线630与计算机设备600的其它模块通信。应当明白,尽管图中未示出,可以结合计算机设备600使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
综上,本申请实施例中提供前端异常告警配置方法、系统、设备及存储介质,通过所配置的多维度的前端关注类型的埋点,从前端的用户行为数据中提取前端目标数据并存储;其中,前端目标数据供被分析以生成可视化图表并显示;配置与各前端关注类型相关的至少一个告警规则;其中,告警规则供被利用以根据目标数据监控出现的异常事件并通过可视化图表进行告警。通过前端异常告警配置系统实现多维度埋点数据的采集,从而能获得更贴近关注需求的前端目标数据以进行异常分析,且前端异常告警配置系统还用于配置告警规则以用于分析的异常事件的告警,自动实现从埋点采集的前端目标数据分析到告警的流程,提升效率降低研发人员配置、时间成本,缩短了线上报错的感知时间和修复时间,提升了系统的线上质量,保证了系统更好的用户体验和业务服务。
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
Claims (13)
1.一种基于大数据处理的前端异常告警配置方法,其特征在于,包括:
通过所配置的多维度的前端关注类型的埋点,从前端的用户行为数据中提取前端目标数据并存储;其中,所述前端目标数据供被分析以生成可视化图表并显示;
配置与待监控的前端目标数据的前端关注类型相关的至少一个告警规则;其中,所述告警规则供被利用以根据所述目标数据监控出现的异常事件并通过所述可视化图表进行告警。
2.根据权利要求1所述的前端异常告警配置方法,其特征在于,所述多维度的前端关注类型的埋点包括:开发埋点、业务埋点、页面访问量/独立访客数埋点、指标埋点、浏览器埋点、错误/崩溃埋点及曝光埋点中的任意多种。
3.根据权利要求1或2所述的前端异常告警配置方法,其特征在于,所述监控的对象包括以下至少一种:页面访问量/独立访客数监控;错误/崩溃增长监控;主流程关键节点分段监控;页面转化率流量监控;模块曝光监控。
4.根据权利要求1所述的前端异常告警配置方法,其特征在于,每种埋点具有配置信息,所述配置信息包括配置模板;所述配置模板用于符合对应的前端关注类型的前端目标数据的提取。
5.根据权利要求4所述的前端异常告警配置方法,其特征在于,所述配置模板包含用于所述前端目标数据提取的数据库命令集合。
6.根据权利要求1所述的前端异常告警配置方法,其特征在于,所述用户行为数据存储于一第一数据库,所述前端目标数据存储于一第二数据库,所述第一数据库的数据保留时间短于所述第二数据库的数据保留时间。
7.根据权利要求6所述的前端异常告警配置方法,其特征在于,所述第一数据库的保留时间为若干天,所述第二数据库的保留时间为1年。
8.根据权利要求6所述的前端异常告警配置方法,其特征在于,所述第一数据库向一消息队列系统通过订阅方式获得对应发布的所述用户行为数据。
9.一种基于大数据处理的前端异常告警配置系统,其特征在于,包括:
埋点配置模块,用于通过所配置的多维度的前端关注类型的埋点,从前端的用户行为数据中提取前端目标数据并存储;其中,所述前端目标数据供被分析以生成可视化图表并显示;
告警配置模块,用于配置与待监控的前端目标数据的前端关注类型相关的至少一个告警规则;其中,所述告警规则供被利用以根据所述目标数据监控出现的异常事件并通过所述可视化图表进行告警。
10.一种基于大数据处理的前端异常告警系统,其特征在于,包括:
消息队列系统,用于从前端获取用户行为数据;
第一数据库,用于向所述消息队列系统订阅并获得发布的用户行为数据并存储;
前端异常告警配置系统,用于通过所配置的多维度的前端关注类型的埋点,从第一数据库中的用户行为数据中提取前端目标数据,并存入至第二数据库;且用于配置与待监控的前端目标数据的前端关注类型相关的至少一个告警规则;
可视化分析告警系统,用于根据所述前端目标数据分析生成可视化图表并显示;且利用由所述配置的至少一个告警规则,以根据所述目标数据监控出现的异常事件并告警。
11.根据权利要求10所述的前端异常告警系统,其特征在于,还包括以下至少一种:
1)第三数据库,与所述前端异常告警配置系统连接,用于存储所述告警规则;
2)服务端系统,连接所述可视化分析告警系统,用于获取所述告警并展示。
12.一种计算机设备,其特征在于,包括:通信器、存储器及处理器;所述通信器用于与外部通信;所述存储器存储有程序指令;所述处理器用于运行所述程序指令以执行如权利要求1至8中任一项所述的前端异常告警配置方法。
13.一种计算机可读存储介质,其特征在于,存储有程序指令,所述程序指令被运行以执行如权利要求1至8中任一项所述的前端异常告警配置方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210012707.9A CN114168430A (zh) | 2022-01-06 | 2022-01-06 | 前端异常告警配置方法、系统、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210012707.9A CN114168430A (zh) | 2022-01-06 | 2022-01-06 | 前端异常告警配置方法、系统、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114168430A true CN114168430A (zh) | 2022-03-11 |
Family
ID=80489174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210012707.9A Pending CN114168430A (zh) | 2022-01-06 | 2022-01-06 | 前端异常告警配置方法、系统、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114168430A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115150782A (zh) * | 2022-06-29 | 2022-10-04 | 中国第一汽车股份有限公司 | 车联网云服务的服务质量监控方法、装置、监控平台、服务器和存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107688530A (zh) * | 2017-04-06 | 2018-02-13 | 平安科技(深圳)有限公司 | 软件测试方法及装置 |
CN110471945A (zh) * | 2019-07-05 | 2019-11-19 | 中国平安人寿保险股份有限公司 | 活跃数据的处理方法、系统、计算机设备和存储介质 |
CN110825731A (zh) * | 2019-09-18 | 2020-02-21 | 平安科技(深圳)有限公司 | 数据存储方法、装置、电子设备及存储介质 |
CN110909063A (zh) * | 2019-11-28 | 2020-03-24 | 蜂助手股份有限公司 | 一种用户行为的分析方法、装置、应用服务器及存储介质 |
CN111488261A (zh) * | 2020-03-11 | 2020-08-04 | 北京健康之家科技有限公司 | 用户行为分析系统、方法、存储介质及计算设备 |
CN112799957A (zh) * | 2021-02-20 | 2021-05-14 | 携程旅游网络技术(上海)有限公司 | 基于用户行为的故障处理方法、系统、设备和介质 |
-
2022
- 2022-01-06 CN CN202210012707.9A patent/CN114168430A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107688530A (zh) * | 2017-04-06 | 2018-02-13 | 平安科技(深圳)有限公司 | 软件测试方法及装置 |
CN110471945A (zh) * | 2019-07-05 | 2019-11-19 | 中国平安人寿保险股份有限公司 | 活跃数据的处理方法、系统、计算机设备和存储介质 |
CN110825731A (zh) * | 2019-09-18 | 2020-02-21 | 平安科技(深圳)有限公司 | 数据存储方法、装置、电子设备及存储介质 |
CN110909063A (zh) * | 2019-11-28 | 2020-03-24 | 蜂助手股份有限公司 | 一种用户行为的分析方法、装置、应用服务器及存储介质 |
CN111488261A (zh) * | 2020-03-11 | 2020-08-04 | 北京健康之家科技有限公司 | 用户行为分析系统、方法、存储介质及计算设备 |
CN112799957A (zh) * | 2021-02-20 | 2021-05-14 | 携程旅游网络技术(上海)有限公司 | 基于用户行为的故障处理方法、系统、设备和介质 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115150782A (zh) * | 2022-06-29 | 2022-10-04 | 中国第一汽车股份有限公司 | 车联网云服务的服务质量监控方法、装置、监控平台、服务器和存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10691728B1 (en) | Transforming a data stream into structured data | |
US20210263973A1 (en) | Resource dependency system and graphical user interface | |
US10922493B1 (en) | Determining a relationship recommendation for a natural language request | |
US11366842B1 (en) | IT service monitoring by ingested machine data with KPI prediction and impactor determination | |
JP6538980B2 (ja) | 異種混成ログストリームにおける自動化された異常検出サービス | |
US11461320B2 (en) | Determining a user-specific approach for disambiguation based on an interaction recommendation machine learning model | |
US10394802B1 (en) | Interactive location queries for raw machine data | |
US10885026B2 (en) | Translating a natural language request to a domain-specific language request using templates | |
US8533193B2 (en) | Managing log entries | |
US11475053B1 (en) | Providing completion recommendations for a partial natural language request received by a natural language processing system | |
US11159397B2 (en) | Lower-tier application deployment for higher-tier system data monitoring | |
US12189644B1 (en) | Creating dashboards for viewing data in a data storage system based on natural language requests | |
US20190095508A1 (en) | Metrics analysis workflow | |
US11676345B1 (en) | Automated adaptive workflows in an extended reality environment | |
US20160094431A1 (en) | Service Analyzer Interface | |
US20150032743A1 (en) | Analyzing files using big data tools | |
US10901811B2 (en) | Creating alerts associated with a data storage system based on natural language requests | |
US10810226B2 (en) | Shared comments for visualized data | |
CN112182025A (zh) | 日志分析方法、装置、设备与计算机可读存储介质 | |
CN113297139A (zh) | 元数据查询方法、系统及电子设备 | |
CN114168430A (zh) | 前端异常告警配置方法、系统、设备及存储介质 | |
Subha et al. | Apache Spark based analysis on word count application in Big Data | |
Yuan et al. | Design and implementation of accelerator control monitoring system | |
US20150134660A1 (en) | Data clustering system and method | |
US20240265208A1 (en) | Method for analyzing data including a large number of individual messages, computer program product, and computer system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |