CN111984844B - 一种基于大数据自动补图的方法及系统 - Google Patents
一种基于大数据自动补图的方法及系统 Download PDFInfo
- Publication number
- CN111984844B CN111984844B CN202010733767.0A CN202010733767A CN111984844B CN 111984844 B CN111984844 B CN 111984844B CN 202010733767 A CN202010733767 A CN 202010733767A CN 111984844 B CN111984844 B CN 111984844B
- Authority
- CN
- China
- Prior art keywords
- picture
- complement
- log
- logs
- full
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000000295 complement effect Effects 0.000 claims abstract description 63
- 230000002159 abnormal effect Effects 0.000 claims abstract description 49
- 230000001502 supplementing effect Effects 0.000 abstract description 4
- 230000002776 aggregation Effects 0.000 description 7
- 238000004220 aggregation Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009960 carding Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/1734—Details of monitoring file system events, e.g. by the use of hooks, filter drivers, logs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
- G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Transfer Between Computers (AREA)
Abstract
一种基于大数据自动补图的方法及系统，方法包括：获取目标服务器中图片的全量日志，将所述全量日志存储到分布式存储器的消息队列中；每隔第一设定时间段，从所述消息列队中提取全量日志，根据所述全量日志的状态字段信息将提取的全量日志中的每一条日志进行聚类；每隔第二设定时间段获取聚类后状态字段信息为异常丢失图片的日志类别中满足设定条件的日志；根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图。本发明提高了补图的效率，使用程序快速的检测异常丢失图片和程序补图，降低了人工成本。
Description
技术领域
本发明涉及大数据自动补图的技术领域，尤其涉及一种基于大数据自动补图的方法及系统。
背景技术
现有技术获取异常丢失图片的地址和针对异常丢失图片补图，均是通过手工的方式进行补图和人员反馈沟通方式获取异常丢失图片地址。
通过人员沟通反馈方式获取异常丢失图片方法，是网民访问到异常丢失图片地址或编辑人员从库中获取图片地址加入文章后发现该图片出现异常丢失，至此将异常丢失图片地址已邮件方式提供给相关人员。相关人员获取到邮件后通过手动方式将异常丢失图片地址逐步进行操作补图，并检测是否正常。
综上所述，现有技术中的补图程序是如有人反馈异常丢失图片调用失败，然后进行手动补丢失的图片，其缺点如下：
手动补图效率低下，如遇到批量的异常丢失图片地址进行手动补图，导致时间消耗成本变高，工作量大，且工作繁杂；
异常丢失图片地址获取被动，获取异常丢失图片地址均是第三方人员反馈，然后进行补图导致补图处于被动状态和异常丢失图片处理不及时。
发明内容
为实现上述目的，本发明实施例提供一种基于大数据自动补图的方法及系统，本发明通过采取全新的技术思考与全新的方案设计，本发明具备简单逻辑的方法来快速取得异常的图片地址和自动补图之间的关联，避免通过现有的方式造成效率低下和复杂性，同时，提高了业务的效果质量。
一方面，本发明实施例提供一种基于大数据自动补图的方法，所述方法包括：
获取目标服务器中图片的全量日志，将所述全量日志存储到分布式存储器的消息队列中；
每隔第一设定时间段，从所述消息列队中提取全量日志，根据所述全量日志的状态字段信息将提取的全量日志中的每一条日志进行聚类；
每隔第二设定时间段获取聚类后状态字段信息为异常丢失图片的日志类别中满足设定条件的日志；
根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图。
另一方面，本发明实施例还提供一种基于大数据自动补图的系统，所述系统包括：
日志存储单元，用于获取目标服务器中图片的全量日志，将所述全量日志存储到分布式存储器的消息队列中；
聚类单元，用于每隔第一设定时间段，从所述消息列队中提取全量日志，根据所述全量日志的状态字段信息将提取的全量日志中的每一条日志进行聚类；
目标日志获取单元，用于每隔第二设定时间段获取聚类后状态字段信息为异常丢失图片的日志类别中满足设定条件的日志；
补图单元，用于根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图。
上述技术方案具有如下有益效果：通过本发明的技术手段减少被动获取异常丢失图片地址，减少了人员沟通成本；提高了补图的效率，使用程序快速的检测异常丢失图片和程序补图，降低了人工成本；从获取异常丢失图片地址和快速补图，整体缩短异常丢失图片对外暴露的时间，提高了服务质量；本发明基于互联网开源软件，其内容固定。开发成本低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例的一种基于大数据自动补图的方法的流程图；
图2是本发明一具体实施例的程序流程图；
图3是本发明一具体实施例程序逻辑架构图；
图4是本发明实施例的一种基于大数据自动补图的系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，为本发明实施例的一种基于大数据自动补图的方法的流程图，所述方法包括：
S101:获取目标服务器中图片的全量日志，将所述全量日志存储到分布式存储器的消息队列中。所述全量日志的状态字段信息中记录的日志类别包括正常图片或异常丢失图片。
S102:每隔第一设定时间段，从所述消息列队中提取全量日志，根据所述全量日志的状态字段信息将提取的全量日志中的每一条日志进行聚类。
S103:每隔第二设定时间段获取聚类后状态字段信息为异常丢失图片的日志类别中满足设定条件的日志。
优选地，所述设定条件为：在第二设定时间段内，根据日志中的统一资源标识符URI进行排查，按照URI出现异常码的次数从多到少进行排序，获取位于前N条的日志，N为正整数，N例如取值为10。
S104:根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图。
优选地，所述根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图，包括：
针对任一满足设定条件的日志对应的图片，若图片属于裁图业务，根据统一资源标识符URI判断裁图的图片数据是否存在，若裁图的图片数据存在，则调用异常数据修补模块对图片进行补图；若裁图的图片数据不存在，则判定为裁图的图片地址有误，并调用报警接口发送图片地址有误报警；
若图片属于文件业务，根据统一资源标识符URI进行判断，若统一资源标识符URI为异常丢失图片地址，则调用异常数据修补模块对图片进行补图；若统一资源标识符URI为正常图片地址，则调用报警接口发送图片地址正常通知。
进一步优选地，根据统一资源标识符URI判断需要补图的图片是编辑人员上传还是抓站程序上传；
若是编辑人员上传，则通过下载CDN边缘节点上图片的原始数据，然后调用上传程序接口进行补图，并进一步判断是否补图成功，若失败则使用默认图片进行补图，并调用报警接口发送补图失败报警；
若是抓站程序上传，则通过抓站历史库查询图片的原始地址，根据原始地址下载图片后调用上传程序接口进行补图，并进一步判断是否补图成功，若失败则使用默认图片进行补图，并调用报警接口发送补图失败报警。
根据本技术方案，例举一具体实施方案如下：
如图2、图3所示，本发明的基于大数据自动补图的方法涉及：服务器信息获取、信息的汇聚和存储、异常数据的探测和修补及报警。
1.服务器信息获取
我们将在获取信息的服务器上安装rsyslog，并通过rsyslog程序的omkafka模块将本机服务器程序所打印的日志，进行流式方式将数据推送至我们对应的kafka消息队列中，其中的全量日志包括正常和异常丢失图片请求地址以及相关的硬件信息。存入kafka消息队列中如连接kafka消息队列失败或者存入失败，则将推送的数据优先存入内存队列中，在此进行实时的探测写入kafka消息队列，如推送数据超过10分钟将进行丢弃。
2.信息的汇聚和存储
此阶段通过python自写程序调用pyspark模块从kafka消息队列中获取30秒的日志信息，并通过调用spark内置函数将程序日志中的domain、uri、status字段进行过滤出并对status字段的键值分类，再将根据status字段键值分类的结果将domain、uri、status的键值进行聚合操作，聚合操作完毕的结果通过调用elasticsearch-py模块将数据存入elasticsearch存储集群中，如存入数据失败则进行将数据缓冲到服务器内存中，实时进行探测存入数据。如聚合操作后的数据在内存中超过5分钟则进行丢弃聚合操作后的数据。
3.异常数据的探测和修补及报警
异常数据的探测方法：通过crontab定时任务每个1分钟，通过python自写程序调用elasticsearch-py模块中DSL语句，过滤出裁图业务和文件业务日志中status字段键值为404异常丢失图片地址的top10uri字段：
A、如是裁图业务通过for循环将top10的404异常丢失图片uri地址，按照规则取出原图的地址。再次判断原图是否存在，如判断原图数据存在则认为是裁图地址有误导致，则调用报警接口进行报警通知。如判断是原图数据不存在则调用异常数据修补模块梳理。
B、如是文件业务通过for循环将top10的404异常丢失图片uri地址，再次确认是否为异常丢失图片地址，如判断为正常图片地址则进行报警通知为正常图片，如判断为异常丢失图片地址则进行调用异常数据修补模块处理。
异常数据的修补及报警方式：接到异常丢失图片地址后通过python自写程序判断异常丢失图片地址是否为编辑人员上传还是抓站程序上传图片，
A、如是编辑人员上传则通过下载CDN边缘节点上的图片数据，然后调用上传程序接口进行补图。在此进行判断是否上传成功，如失败则补默认图。然后调用报警接口进行报警通知。
B、如是抓站程序上传则通过调用抓站历史库找出异常丢失图片地址的原始地址进行从新下载图片然后调用上传程序接口进行补图。在此判断是否上传成功，如失败则调用补默认图片，然后调用报警接口进行报警通知。
通过本发明的技术手段，减少被动获取异常丢失图片地址，减少了人员沟通成本；提高了补图的效率，使用程序快速的检测异常丢失图片和程序补图，降低了人工成本；本发明从获取异常丢失图片地址和快速补图，整体缩短异常丢失图片对外暴露的时间，提高了服务质量；本发明基于互联网开源软件，其内容固定。开发成本低。
本发明中信息的汇聚和存储时，通过kakfa消息队列获取数据进行按照多维度进行聚合方法；异常数据检测和修补时，通过从elasticsearch存储中如何实时探测、判定异常丢失图片的依据和修补异常丢失图片逻辑。
对应于上述方法，如图4所示，为本发明实施例的一种基于大数据自动补图的系统的示意图，所述系统包括：
日志存储单元21，用于获取目标服务器中图片的全量日志，将所述全量日志存储到分布式存储器的消息队列中；
聚类单元22，用于每隔第一设定时间段从所述消息列队中提取全量日志，根据所述全量日志的状态字段信息将提取的全量日志中的每一条日志进行聚类；
目标日志获取单元23，用于每隔第二设定时间段获取聚类后状态字段信息为异常丢失图片的日志类别中满足设定条件的日志；
补图单元24用于根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图。
优选地，所述全量日志的状态字段信息中记录的日志类别包括正常图片或异常丢失图片。
优选地，所述设定条件为：在第二设定时间段内，根据日志中的统一资源标识符URI进行排查，按照URI出现异常码的次数从多到少进行排序，获取位于前N条的日志，N为正整数。
优选地，所述补图单元24具体用于：
针对任一满足设定条件的日志对应的图片，若图片属于裁图业务，根据统一资源标识符URI判断裁图的图片数据是否存在，若裁图的图片数据存在，则调用异常数据修补模块对图片进行补图；若裁图的图片数据不存在，则判定为裁图的图片地址有误，并调用报警接口发送图片地址有误报警；
若图片属于文件业务，根据统一资源标识符URI判定，若统一资源标识符URI为异常丢失图片地址，则调用异常数据修补模块对图片进行补图；若统一资源标识符URI为正常图片地址，则调用报警接口发送图片地址正常通知。
优选地，所述补图单元24具体还用于：
根据统一资源标识符URI判断需要补图的图片是编辑人员上传还是抓站程序上传；
若是编辑人员上传，则通过下载CDN边缘节点上图片的原始数据，然后调用上传程序接口进行补图，并进一步判断是否补图成功，若失败则使用默认图片进行补图，并调用报警接口发送补图失败报警；
若是抓站程序上传，则通过抓站历史库查询图片的原始地址，根据原始地址下载图片后调用上传程序接口进行补图，并进一步判断是否补图成功，若失败则使用默认图片进行补图，并调用报警接口发送补图失败报警。
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于大数据自动补图的方法，其特征在于，所述方法包括：
获取目标服务器中图片的全量日志，将所述全量日志存储到分布式存储器的消息队列中；
每隔第一设定时间段，从所述消息列队中提取全量日志，根据所述全量日志的状态字段信息将提取的全量日志中的每一条日志进行聚类；
每隔第二设定时间段获取聚类后状态字段信息为异常丢失图片的日志类别中满足设定条件的日志；
根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图，包括：
针对任一满足设定条件的日志对应的图片，若图片属于裁图业务，根据统一资源标识符URI判断裁图的图片数据是否存在，若裁图的图片数据存在，则调用异常数据修补模块对图片进行补图；若裁图的图片数据不存在，则判定为裁图的图片地址有误，并调用报警接口发送图片地址有误报警；
若图片属于文件业务，根据统一资源标识符URI进行判断，若统一资源标识符URI为异常丢失图片地址，则调用异常数据修补模块对图片进行补图；若统一资源标识符URI为正常图片地址，则调用报警接口发送图片地址正常通知；
所述调用异常数据修补模块对图片进行补图，包括：
根据统一资源标识符URI判断需要补图的图片是编辑人员上传还是抓站程序上传；
若是编辑人员上传，则通过下载CDN边缘节点上图片的原始数据，然后调用上传程序接口进行补图，并进一步判断是否补图成功，若失败则使用默认图片进行补图，并调用报警接口发送补图失败报警；
若是抓站程序上传，则通过抓站历史库查询图片的原始地址，根据原始地址下载图片后调用上传程序接口进行补图，并进一步判断是否补图成功，若失败则使用默认图片进行补图，并调用报警接口发送补图失败报警。
2.如权利要求1所述的基于大数据自动补图的方法，其特征在于，所述全量日志的状态字段信息中记录的日志类别包括正常图片或异常丢失图片。
3.如权利要求2所述的基于大数据自动补图的方法，其特征在于，所述设定条件为：在第二设定时间段内，根据日志中的统一资源标识符URI进行排查，按照URI出现异常码的次数从多到少进行排序，获取位于前N条的日志，N为正整数。
4.一种基于大数据自动补图的系统，其特征在于，所述系统包括：
日志存储单元，用于获取目标服务器中图片的全量日志，将所述全量日志存储到分布式存储器的消息队列中；
聚类单元，用于每隔第一设定时间段，从所述消息列队中提取全量日志，根据所述全量日志的状态字段信息将提取的全量日志中的每一条日志进行聚类；
目标日志获取单元，用于每隔第二设定时间段获取聚类后状态字段信息为异常丢失图片的日志类别中满足设定条件的日志；
补图单元，用于根据满足设定条件的日志中的统一资源标识符URI、以及满足设定条件的日志对应的图片所属的业务类型，对满足设定条件的日志对应的图片进行补图；
所述补图单元具体用于：
针对任一满足设定条件的日志对应的图片，若图片属于裁图业务，根据统一资源标识符URI判断裁图的图片数据是否存在，若裁图的图片数据存在，则调用异常数据修补模块对图片进行补图；若裁图的图片数据不存在，则判定为裁图的图片地址有误，并调用报警接口发送图片地址有误报警；
若图片属于文件业务，根据统一资源标识符URI进行判断，若统一资源标识符URI为异常丢失图片地址，则调用异常数据修补模块对图片进行补图；若统一资源标识符URI为正常图片地址，则调用报警接口发送图片地址正常通知；
所述补图单元具体用于：
根据统一资源标识符URI判断需要补图的图片是编辑人员上传还是抓站程序上传；
若是编辑人员上传，则通过下载CDN边缘节点上图片的原始数据，然后调用上传程序接口进行补图，并进一步判断是否补图成功，若失败则使用默认图片进行补图，并调用报警接口发送补图失败报警；
若是抓站程序上传，则通过抓站历史库查询图片的原始地址，根据原始地址下载图片后调用上传程序接口进行补图，并进一步判断是否补图成功，若失败则使用默认图片进行补图，并调用报警接口发送补图失败报警。
5.如权利要求4所述的基于大数据自动补图的系统，其特征在于，所述全量日志的状态字段信息中记录的日志类别包括正常图片或异常丢失图片。
6.如权利要求5所述的基于大数据自动补图的系统，其特征在于，所述设定条件为：在第二设定时间段内，根据日志中的统一资源标识符URI进行排查，按照URI出现异常码的次数从多到少进行排序，获取位于前N条的日志，N为正整数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010733767.0A CN111984844B (zh) | 2020-07-27 | 2020-07-27 | 一种基于大数据自动补图的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010733767.0A CN111984844B (zh) | 2020-07-27 | 2020-07-27 | 一种基于大数据自动补图的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111984844A CN111984844A (zh) | 2020-11-24 |
| CN111984844B true CN111984844B (zh) | 2024-05-28 |
Family
ID=73444410
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010733767.0A Active CN111984844B (zh) | 2020-07-27 | 2020-07-27 | 一种基于大数据自动补图的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111984844B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113220543B (zh) * | 2021-04-15 | 2024-02-23 | 新浪技术（中国）有限公司 | 一种业务自动报警方法及装置 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0929180A (ja) * | 1995-07-24 | 1997-02-04 | Toshiba Corp | コーディングシステム及び郵便物処理システム |
| CN1725194A (zh) * | 2004-07-20 | 2006-01-25 | 上海乐金广电电子有限公司 | 嵌入式系统 |
| CN102035965A (zh) * | 2009-10-02 | 2011-04-27 | 富士施乐株式会社 | 图像通信装置 |
| CN103793509A (zh) * | 2014-01-27 | 2014-05-14 | 北京奇虎科技有限公司 | 组图抓取方法与装置 |
| CN107051893A (zh) * | 2017-04-13 | 2017-08-18 | 中科微至智能制造科技江苏有限公司 | 一种补码方法、补码装置及分拣系统 |
| CN108304723A (zh) * | 2018-01-17 | 2018-07-20 | 链家网（北京）科技有限公司 | 一种异常行为检测方法及装置 |
| CN109472833A (zh) * | 2018-10-16 | 2019-03-15 | 深圳壹账通智能科技有限公司 | 一种从日志文件中提取图片的方法、存储介质和服务器 |
| KR101964412B1 (ko) * | 2018-12-12 | 2019-04-01 | 주식회사 모비젠 | 이동통신데이터 처리시스템의 이상로그 발생을 진단하는 방법 및 그 시스템 |
| CN110888791A (zh) * | 2019-12-06 | 2020-03-17 | 北京锐安科技有限公司 | 一种日志处理方法、装置、设备和存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10721256B2 (en) * | 2018-05-21 | 2020-07-21 | Oracle International Corporation | Anomaly detection based on events composed through unsupervised clustering of log messages |
-
2020
- 2020-07-27 CN CN202010733767.0A patent/CN111984844B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0929180A (ja) * | 1995-07-24 | 1997-02-04 | Toshiba Corp | コーディングシステム及び郵便物処理システム |
| CN1725194A (zh) * | 2004-07-20 | 2006-01-25 | 上海乐金广电电子有限公司 | 嵌入式系统 |
| CN102035965A (zh) * | 2009-10-02 | 2011-04-27 | 富士施乐株式会社 | 图像通信装置 |
| CN103793509A (zh) * | 2014-01-27 | 2014-05-14 | 北京奇虎科技有限公司 | 组图抓取方法与装置 |
| CN107051893A (zh) * | 2017-04-13 | 2017-08-18 | 中科微至智能制造科技江苏有限公司 | 一种补码方法、补码装置及分拣系统 |
| CN108304723A (zh) * | 2018-01-17 | 2018-07-20 | 链家网（北京）科技有限公司 | 一种异常行为检测方法及装置 |
| CN109472833A (zh) * | 2018-10-16 | 2019-03-15 | 深圳壹账通智能科技有限公司 | 一种从日志文件中提取图片的方法、存储介质和服务器 |
| KR101964412B1 (ko) * | 2018-12-12 | 2019-04-01 | 주식회사 모비젠 | 이동통신데이터 처리시스템의 이상로그 발생을 진단하는 방법 및 그 시스템 |
| CN110888791A (zh) * | 2019-12-06 | 2020-03-17 | 北京锐安科技有限公司 | 一种日志处理方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111984844A (zh) | 2020-11-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107832196B (zh) | 一种用于实时日志异常内容的监测装置及监测方法 | |
| CN109995643B (zh) | 业务邮件推送方法及装置 | |
| CN112631913A (zh) | 应用程序的运行故障监控方法、装置、设备和存储介质 | |
| CN110088744A (zh) | 一种数据库维护方法及其系统 | |
| CN110502318A (zh) | 事件处理方法、事件处理服务器、存储介质及装置 | |
| CN110650164B (zh) | 文件的上传方法、装置、终端以及计算机存储介质 | |
| CN108197222B (zh) | 一种异常流数据的修复方法、系统及相关装置 | |
| WO2021139322A1 (zh) | 网络设备数据处理方法、装置、计算机设备和存储介质 | |
| CN111984844B (zh) | 一种基于大数据自动补图的方法及系统 | |
| WO2015187001A2 (en) | System and method for managing resources failure using fast cause and effect analysis in a cloud computing system | |
| CN111309696A (zh) | 日志处理方法及装置、电子设备、可读介质 | |
| CN114528350A (zh) | 集群脑裂的处理方法、装置、设备及可读存储介质 | |
| CN105025179A (zh) | 呼叫中心座席的监控方法及系统 | |
| CN111385157B (zh) | 一种服务器异常检测方法及装置 | |
| CN107229554A (zh) | 移动终端稳定性测试方法及装置 | |
| CN113676356A (zh) | 报警信息处理方法、装置、电子设备及可读存储介质 | |
| CN114090369A (zh) | 服务实例监控方法、装置与存储介质 | |
| CN115705259A (zh) | 故障处理方法、相关设备及存储介质 | |
| CN113285855B (zh) | 服务器监控方法及系统 | |
| CN116894111B (zh) | 一种监控方法、系统、电子设备和可读存储介质 | |
| CN114862401B (zh) | 一种支付异常的处理方法、装置、设备及介质 | |
| CN111061609A (zh) | 一种日志监控方法及系统 | |
| CN113420032B (zh) | 一种日志的分类存储方法及装置 | |
| CN112363983A (zh) | 一种集群主机的文件核查方法和系统 | |
| CN110430093B (zh) | 一种数据处理方法、装置及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20230417 Address after: Room 501-502, 5/F, Sina Headquarters Scientific Research Building, Block N-1 and N-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193 Applicant after: Sina Technology (China) Co.,Ltd. Address before: 100193 7th floor, scientific research building, Sina headquarters, plot n-1, n-2, Zhongguancun Software Park, Dongbei Wangxi Road, Haidian District, Beijing, 100193 Applicant before: Sina.com Technology (China) Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |