CN106161074A - 一种云终端日志处理方法、装置及系统 - Google Patents
一种云终端日志处理方法、装置及系统 Download PDFInfo
- Publication number
- CN106161074A CN106161074A CN201510189031.0A CN201510189031A CN106161074A CN 106161074 A CN106161074 A CN 106161074A CN 201510189031 A CN201510189031 A CN 201510189031A CN 106161074 A CN106161074 A CN 106161074A
- Authority
- CN
- China
- Prior art keywords
- log
- module
- cloud terminal
- information
- configuration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000013507 mapping Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 230000009191 jumping Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000003780 insertion Methods 0.000 description 2
- 230000037431 insertion Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000002054 transplantation Methods 0.000 description 2
- 239000002253 acid Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种云终端日志处理方法、装置及系统。所述云终端日志处理方法,应用于服务器端,包括:接收与云终端上的模块相连接的客户端上传的日志信息;获取预先设定的日志保存配置参数;根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中。上述方案,通过将云终端上的日志依据日志保存配置参数存储到嵌入式数据库中,方便了对云终端上模块日志的管理,节省了资源开销,同时方便了云终端日志处理系统的移植。
Description
技术领域
本发明涉及云终端日志处理技术领域,特别涉及一种云终端日志处理方法、装置及系统。
背景技术
日志系统是协助云终端开发及故障分析调试的必不可少的工具和手段。在目前的云终端系统中,操作系统包括了andriod、linux、windows等各型操作系统,从开发角度上日志系统需要易于移植;由于云终端一般配置较低,日志系统必须占用磁盘、内存、CPU资源;由于云终端功能模块复杂,日志必须方便定位和分析问题。
已有的日志系统往往不能顾及到所有的方面,存在着可移植性差、资源占用高或者分析效率低等一个或者几个问题。
发明内容
本发明要解决的技术问题是提供一种云终端日志处理方法、装置及系统,用以解决现有的云终端日志系统存在着可移植性差、资源占用高或者分析效率低等问题。
为了解决上述技术问题,本发明实施例提供一种云终端日志处理方法,应用于服务器端,包括:
接收与云终端上的模块相连接的客户端上传的日志信息;
获取预先设定的日志保存配置参数;
根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中。
进一步地,所述获取预先设定的日志保存配置参数的步骤具体为:
获取与所述客户端共用的共享内存中的日志保存配置参数,所述日志保存配置参数由配置文件映射到所述共享内存中。
进一步地,所述根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中的步骤包括:
将所述日志信息存入缓存队列;
在满足预设条件时,按照所述日志保存配置参数,将所述缓存队列中的日志信息存储至嵌入式数据库中。
进一步地,在满足预设条件时,按照所述日志保存配置参数,将所述缓存队列中的日志信息存储至嵌入式数据库中的步骤具体为:
当所述缓存队列中缓存的日志信息的条数达到预设值或缓存时间周期到达,且嵌入式数据库处于未存满的状态时,按照所述日志保存配置参数中预设的日志存入速率,将所述缓存队列中的日志信息存储至嵌入式数据库中。
进一步地,所述云终端日志处理方法,还包括:
获取外部配置命令,所述外部配置命令包含对日志保存配置参数的配置信息;
将所述外部配置命令中包含的所述配置信息存入配置文件;
将所述配置文件映射到与所述客户端共用的共享内存中。
进一步地,所述云终端日志处理方法,还包括:
获取外部操作命令,所述外部操作命令包括对所述嵌入式数据库中的日志信息进行读取和/或删除的命令;
获取配置文件中的日志保存配置参数,并依据所述日志保存配置参数对所述嵌入式数据库中的日志信息进行读取和/或删除操作。
本发明实施例提供一种云终端日志处理装置,应用于服务器端,包括:
接收模块,用于接收与云终端上的模块相连接的客户端上传的日志信息;
参数获取模块,用于获取预先设定的日志保存配置参数;
存储模块,用于根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中。
进一步地,所述存储模块包括:
缓存单元,用于将所述日志信息存入缓存队列;
存储单元,用于在满足预设条件时,按照所述日志保存配置参数,将所述缓存队列中的日志信息存储至嵌入式数据库中。
进一步地,所述云终端日志处理装置,还包括:
配置命令获取模块,用于获取外部配置命令,所述外部配置命令包含对日志保存配置参数的配置信息;
保存模块,用于将所述外部配置命令中包含的所述配置信息存入配置文件;
映射模块,用于将所述配置文件映射到与所述客户端共用的共享内存中。
进一步地,所述云终端日志处理装置,还包括:
操作命令获取模块,用于获取外部操作命令,所述外部操作命令包括对所述嵌入式数据库中的日志信息进行读取和/或删除的命令;
操作模块,用于获取配置文件中的日志保存配置参数,并依据所述日志保存配置参数对所述嵌入式数据库中的日志信息进行读取和/或删除操作。
本发明实施例提供一种云终端日志处理方法,应用于客户端,包括:
建立与云终端上模块的连接关系;
获取所述模块的日志内容;
根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息;
将所述日志信息上传给服务器端,使得所述服务器端将所述日志信息存储至嵌入式数据库中。
进一步地,所述建立与云终端上模块的连接关系的步骤具体为:
通过调用日志客户进程接口,建立与所述云终端上模块的连接关系。
进一步地,所述根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息的步骤包括:
获取与所述服务器端共用的共享内存中的日志保存配置参数;
根据所述日志保存配置参数中的模块级别信息,将需要保存的所述日志内容生成对应的日志信息。
进一步地,所述根据所述日志保存配置参数中的模块级别信息,将需要保存的所述日志内容生成对应的日志信息的步骤包括:
若所述模块级别信息表明所述模块生成的日志内容需要保存,则将预设长度的所述日志内容生成标准格式的日志信息。
进一步地,所述标准格式的日志信息中包含:日志级别、日志生成时间、所述日志信息对应的模块名以及生成的所述日志内容。
本发明实施例提供一种云终端日志处理装置,应用于客户端,包括:
连接模块,用于建立与云终端上模块的连接关系;
日志获取模块,用于获取所述模块的日志内容;
生成模块,用于根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息;
上传模块,用于将所述日志信息上传给服务器端,使得所述服务器端将所述日志信息存储至嵌入式数据库中。
进一步地,所述生成模块包括:
第一获取单元,用于获取与所述服务器端共用的共享内存中的日志保存配置参数;
生成单元,用于根据所述日志保存配置参数中的模块级别信息,将需要保存的所述日志内容生成对应的日志信息。
本发明实施例提供一种云终端日志处理系统,包括:
云终端第一日志处理装置和云终端第二日志处理装置;其中,
所述云终端第一日志处理装置包括:
连接模块,用于建立与云终端上模块的连接关系;
日志获取模块,用于获取所述模块的日志内容;
生成模块,用于根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息;
上传模块,用于将所述日志信息上传给所述云终端第二日志处理装置,使得所述云终端第二日志处理装置将所述日志信息存储至嵌入式数据库中;
所述云终端第二日志处理装置包括:
接收模块,用于接收与云终端上的模块相连接的所述云终端第一日志处理装置上传的日志信息;
参数获取模块,用于获取预先设定的日志保存配置参数;
存储模块,用于根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中。
进一步地,所述云终端第二日志处理装置还包括:
配置命令获取模块,用于获取外部配置命令,所述外部配置命令包含对日志保存配置参数的配置信息;
保存模块,用于将所述外部配置命令中包含的所述配置信息存入配置文件;
映射模块,用于将所述配置文件映射到与所述云终端第一日志处理装置共用的共享内存中。
进一步地,所述云终端第二日志处理装置还包括:
操作命令获取模块,用于获取外部操作命令,所述外部操作命令包括对所述嵌入式数据库中的日志信息进行读取和/或删除的命令;
操作模块,用于获取配置文件中的日志保存配置参数,并依据所述日志保存配置参数对所述嵌入式数据库中的日志信息进行读取和/或删除操作。
本发明的有益效果是:
上述方案,通过将云终端上的日志依据预设的日志保存配置参数存储到嵌入式数据库中,方便了对云终端上模块日志的管理,节省了资源开销,同时方便了云终端日志处理系统的移植。
附图说明
图1表示本发明实施例的应用于服务器端的所述云终端日志处理方法的总体流程图;
图2表示本发明实施例的应用于服务器端的所述云终端日志处理装置的模块示意图;
图3表示本发明实施例的应用于客户端的所述云终端日志处理方法的总体流程图;
图4表示本发明实施例的应用于客户端的所述云终端日志处理装置的模块示意图;
图5表示本发明实施例的所述云终端日志处理系统的静态图;
图6表示本发明实施例的所述日志客户端的主要实现流程图;
图7表示本发明实施例的所述日志服务器端的主要实现流程图;
图8表示本发明实施例的所述配置程序的主要处理流程。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明进行详细描述。
本发明针对现有的云终端日志系统存在着可移植性差、资源占用高或者分析效率低的问题,提供一种云终端日志处理方法、装置及系统。
如图1所示,本发明实施例提供一种云终端日志处理方法,应用于服务器端,包括:
步骤11,接收与云终端上的模块相连接的客户端上传的日志信息;
步骤12,获取预先设定的日志保存配置参数;
步骤13,根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中。
上述方案,通过将云终端上的模块在运行时生成的日志信息保存到嵌入式数据库中,方便了对模块日志的管理,在云终端出现问题时,能根据嵌入式数据库中的日志信息,快速定位问题、分析问题与解决问题。
这里应当说明的是,因数据库天然具有按关键字查询分析的特征,能满足复杂的分析需要,且操作简单,本发明中使用嵌入式数据库来记录日志信息,方便了对日志信息的查找与定位;本发明中优选地使用SQLite3数据库(SQLite,是一款轻型的数据库,是遵守ACID的关系型数据库管理系统,所述ACID即Atomicity:原子性、Consistency:一致性、Isolation:隔离性、Durability:持久性),SQLite3数据库是一种完全免费、开放的、支持多平台的嵌入式数据库,不存在版权和法律风险;本系统可移植性相当好,对于各平台的移植,只需要更换SQLite3库文件;系统资源占用低,分析效率高,可以提高研发和维护的效率,这样的话,使得产品相对于目前行业上的其它产品具有独特的优势。
本发明实施例的所述步骤12具体为:
获取与所述客户端共用的共享内存中的日志保存配置参数,所述日志保存配置参数由配置文件映射到所述共享内存中。
应当说明的是,所述日志保存配置参数存储在配置文件中,通过将配置文件中的信息映射到共享内存中,直接在内存中进行数据的读取,提高了数据的读取速率。
本发明实施例的所述步骤13包括:
步骤131,将所述日志信息存入缓存队列;
步骤132,在满足预设条件时,按照所述日志保存配置参数,将所述缓存队列中的日志信息存储至嵌入式数据库中。
应当说明的是,本发明中,所述服务器端接收的日志信息为客户端预先生成的预设格式的日志信息,所述日志信息可以直接存储到嵌入式数据库中,本发明实施例的所述预设格式的日志信息,包括:日志级别、日志生成时间、所述日志信息对应的模块名以及生成的所述日志内容;例如,所述日志信息格式为:debug 2012-11-29 19:40:40.792362proc1:this is test log。
应当说明的是,所述日志级别为日志的保存等级(即模块对应的日志的保存等级,也可以认为是模块的级别),本发明中,所述日志级别可以定义为以下四个等级:
nothing表示为不保存任何信息;debug表示为调试信息;info表示为一般提示信息;error表示为错误日志。
本发明中定义的配置文件的基本格式包括:
日志的保存等级以及日志的数据库性能参数设置,如日志写入数据库的速率、数据库的容量等。
具体地,本发明中提供的所述步骤132的一种实现方式为:
当所述缓存队列中缓存的日志信息的条数达到预设值或缓存时间周期到达,且嵌入式数据库处于未存满的状态时,按照所述日志保存配置参数中预设的日志存入速率(即日志写入数据库的速率),将所述缓存队列中的日志信息存储至嵌入式数据库中。
对上述实现方式举例说明如下:
服务器端在接收到多条日志信息时,首先按照日志信息的接收顺序,将日志信息暂存到缓存队列中,缓存队列边进行存储边对日志信息的条数进行统计,在进行存储时,可以将当所述缓存队列中的日志信息的条数大于或等于预设的日志存入速率作为进行存储的依据,这里应当说明的是,所述日志存入速率以日志信息的条数为单位进行存储,举例说明为:预设的日志写入数据库的速率为200条每秒,当检测到缓存队列中的日志条数达到200条时,便将缓存队列中的日志信息存储到嵌入式数据库中;或者是在进行存储时,可以将缓存队列的时间周期作为进行存储的依据,当所述缓存队列的时间周期到达时,便需要将缓存队列中的日志信息存储到嵌入式数据库中,例如:预设的缓存队列的时间周期为100毫秒,在100毫秒的时间周期到达时,即表明需将缓存队列中的日志信息存入嵌入式数据库中;在进行写入时,所述日志信息的写入数据库的速率不应超过预设的日志存入速率,假设预设的日志存入速率为200条每秒,当需要进行日志写入时,所述缓存队列中的日志信息条数为210条,所述日志的存入速率为200条每秒;而当需要进行日志写入时,所述缓存队列中的日志信息条数为180条,所述日志的存入速率为180条每秒;这里还需要说明的是,在进行日志信息写入时,首先要判断数据库是否未存满,若数据库的存储容量已经达到预设容量值,则不进行日志信息的写入,直接将日志信息丢弃。
应当说明的是,本发明中还实现了对配置文件的修改与配置,因此,本发明实施例中,所述云终端日志处理方法,还包括:
获取外部配置命令,所述外部配置命令包含对日志保存配置参数的配置信息;
将所述外部配置命令中包含的所述配置信息存入配置文件;
将所述配置文件映射到与所述客户端共用的共享内存中。
应当说明的是,所述外部配置命令主要包含对日志等级的配置命令,对数据库容量的配置命令和对日志存入速率的配置命令。
在进行配置文件的使用时,可以直接将配置文件中的信息写入到共享内存,等待其他程序的调用,也可以在用到所述配置文件中的信息时,在将配置文件中的信息写入到共享内存。
本发明中还提供了数据库中日志信息操作的方法,即所述云终端日志处理方法,还包括:
获取外部操作命令,所述外部操作命令包括对所述嵌入式数据库中的日志信息进行读取和/或删除的命令;
获取配置文件中的日志保存配置参数,并依据所述日志保存配置参数对所述嵌入式数据库中的日志信息进行读取和/或删除操作。
需要说明的是,本发明中提供了数据库中日志信息的读取和删除操作,当需要读取日志信息时,首先需要设定要读取的日志信息的读取规则,如按级别读取、按模块读取等,然后将所述规则与配置文件中的日志保存配置参数进行比对,如:所述读取规则为按日志关键字读取,而所述日志保存配置参数中未记录所述日志的关键字信息,则无法实现对日志信息的读取。
本发明上述方案,通过将客户端获取的日志信息存入嵌入式数据库,方便了对日志信息的管理,且使用移植性良好的嵌入式数据库,使得上述方案,具有良好的通用性。
对应于上述云终端日志处理方法,如图2所示,本发明实施例提供一种云终端日志处理装置,应用于服务器端,包括:
接收模块110,用于接收与云终端上的模块相连接的客户端上传的日志信息;
参数获取模块120,用于获取预先设定的日志保存配置参数;
存储模块130,用于根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中。
具体的,所述参数获取模块120主要为获取与所述客户端共用的共享内存中的日志保存配置参数,所述日志保存配置参数由配置文件映射到所述共享内存中。
可选地,所述存储模块130包括:
缓存单元,用于将所述日志信息存入缓存队列;
存储单元,用于在满足预设条件时,按照所述日志保存配置参数,将所述缓存队列中的日志信息存储至嵌入式数据库中。
所述存储单元的具体应用为:当所述缓存队列中缓存的日志信息的条数达到预设值或缓存时间周期到达,且嵌入式数据库处于未存满的状态时,按照所述日志保存配置参数中预设的日志存入速率,将所述缓存队列中的日志信息存储至嵌入式数据库中。
可选地,所述云终端日志处理装置,还包括:
配置命令获取模块,用于获取外部配置命令,所述外部配置命令包含对日志保存配置参数的配置信息;
保存模块,用于将所述外部配置命令中包含的所述配置信息存入配置文件;
映射模块,用于将所述配置文件映射到与所述客户端共用的共享内存中。
可选地,所述云终端日志处理装置,还包括:
操作命令获取模块,用于获取外部操作命令,所述外部操作命令包括对所述嵌入式数据库中的日志信息进行读取和/或删除的命令;
操作模块,用于获取配置文件中的日志保存配置参数,并依据所述日志保存配置参数对所述嵌入式数据库中的日志信息进行读取和/或删除操作。
对应于上述服务器端,如图3所示,本发明实施例提供一种云终端日志处理方法,应用于客户端,包括:
步骤21,建立与云终端上模块的连接关系;
步骤22,获取所述模块的日志内容;
步骤23,根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息;
步骤24,将所述日志信息上传给服务器端,使得所述服务器端将所述日志信息存储至嵌入式数据库中。
可选地,所述步骤21具体为:
通过调用日志客户进程接口,建立与所述云终端上模块的连接关系。
本发明实施例的所述步骤23包括:
步骤231,获取与所述服务器端共用的共享内存中的日志保存配置参数;
步骤232,根据所述日志保存配置参数中的模块级别信息,将需要保存的所述日志内容生成对应的日志信息。
具体地,所述步骤232具体为:
若所述模块级别信息表明所述模块生成的日志内容需要保存,则将预设长度的所述日志内容生成标准格式的日志信息。
应当说明的是,当客户端与云终端上的模块建立连接关系后,便开始获取云终端上模块在运行时生成的日志内容,同时客户端会读取共享内存中的模块级别信息,若所述模块级别信息表明所述日志内容需要进行保存,则在获取的所述日志内容中,依次截取预设长度的日志内容,然后将所述预设长度的日志内容封装成标准格式,形成日志信息,本发明实施例中,所述标准格式的日志信息中包含:日志级别、日志生成时间、所述日志信息对应的模块名以及生成的所述日志内容。
在将日志信息上传给服务器端时,主要通过socket(套接字)方式实现与服务器端的通讯。
对应于上述方法,如图4所示,本发明实施例提供一种云终端日志处理装置,应用于客户端,包括:
连接模块210,用于建立与云终端上模块的连接关系;
日志获取模块220,用于获取所述模块的日志内容;
生成模块230,用于根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息;
上传模块240,用于将所述日志信息上传给服务器端,使得所述服务器端将所述日志信息存储至嵌入式数据库中。
具体地,所述连接模块210通过调用日志客户进程接口,建立与所述云终端上模块的连接关系。
具体地,所述生成模块230包括:
第一获取单元231,用于获取与所述服务器端共用的共享内存中的日志保存配置参数;
生成单元232,用于根据所述日志保存配置参数中的模块级别信息,将需要保存的所述日志内容生成对应的日志信息。
生成单元232具体为:若所述模块级别信息表明所述模块生成的日志内容需要保存,则将预设长度的所述日志内容生成标准格式的日志信息。
对应于客户端装置和服务器端装置,本发明实施例提供一种云终端日志处理系统,包括:
云终端第一日志处理装置和云终端第二日志处理装置;其中,
所述云终端第一日志处理装置包括:
连接模块,用于建立与云终端上模块的连接关系;
日志获取模块,用于获取所述模块的日志内容;
生成模块,用于根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息;
上传模块,用于将所述日志信息上传给所述云终端第二日志处理装置,使得所述云终端第二日志处理装置将所述日志信息存储至嵌入式数据库中;
所述云终端第二日志处理装置包括:
接收模块,用于接收与云终端上的模块相连接的所述云终端第一日志处理装置上传的日志信息;
参数获取模块,用于获取预先设定的日志保存配置参数;
存储模块,用于根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中。
进一步地,所述云终端第二日志处理装置还包括:
配置命令获取模块,用于获取外部配置命令,所述外部配置命令包含对日志保存配置参数的配置信息;
保存模块,用于将所述外部配置命令中包含的所述配置信息存入配置文件;
映射模块,用于将所述配置文件映射到与所述云终端第一日志处理装置共用的共享内存中。
进一步地,所述云终端第二日志处理装置还包括:
操作命令获取模块,用于获取外部操作命令,所述外部操作命令包括对所述嵌入式数据库中的日志信息进行读取和/或删除的命令;
操作模块,用于获取配置文件中的日志保存配置参数,并依据所述日志保存配置参数对所述嵌入式数据库中的日志信息进行读取和/或删除操作。
应当说明的是,所述配置命令获取模块、所述保存模块、所述映射模块、操作命令获取模块以及操作模块构成所述云终端日志处理系统的配置模块,所述配置模块,主要实现按日志等级、日期、模块名对数据库中的日志信息进行读取、删除操作,以及对数据库的容量、日志写入速率的配置,所述配置模块可以与云终端第二日志处理装置设置为一体,也可以独立于所述云终端第二日志处理装置,构成单独的模块。
如图5所示,以配置模块单独设置为例,本发明所述云终端日志处理系统包括:日志客户端(对应于上述云终端第一日志处理装置)和日志服务器端(对应于上述云终端第二日志处理装置),所述日志客户端调用日志客户端接口,通过使用多个日志客户进程对云终端模块的日志进行采集,即一个日志客户进程对应一个云终端模块,在得到云终端模块的需保存的日志信息后,通过socket向日志服务器发送日志信息,日志服务端在通过收包线程得到所述日志信息后,先将日志信息按先后顺序挂在缓冲区链表上,然后在预设条件下,通过数据库插入线程,调用sql接口事务插入将日志信息插入到SQLite3数据库中;通过日志配置程序实现对SQLite3数据库中的日志信息的读取和删除操作,同时日志配置程序(即上述的配置模块)将对日志保存的配置信息写入到共享内存,供日志客户端和日志服务器端调用。
如图6所示,所述日志客户端的主要实现流程为:
步骤S11,客户进程调用日志接口建立与云终端上模块的连接关系;
步骤S12,读取共享内存中本模块的级别信息;
步骤S13,根据所述级别信息判定所述模块对应的日志是否要保存;如果不需要保存则执行步骤S15,丢弃该日志;如果需要保存,则执行步骤S14,添加日志的时间、模块名信息组装成sql标准格式;
步骤S16,将日志信息从socket发送到日志服务器端。
如图7所示,所述日志服务器端的主要实现流程为:
步骤S21,服务进程启动;
步骤S22,将配置文件读取到共享内存;
步骤S23,检查socket收包;
步骤S24,判断socket是否接收到日志信息;若没有收到日志信息,则跳转到步骤S23,若收到日志信息,则执行步骤S25,将日志信息保存到缓存列表;
步骤S26,判断缓存节点个数是否大于或等于预设值或者时间周期是否到达;若缓存节点个数未达到预设值或者时间周期未到达,则跳转到步骤S23;若缓存节点个数达到预设值或者时间周期到达,则进行步骤S27,判断数据库是否存满,若数据库未存满,则进行步骤S28,将所述日志信息按预设速率插入数据库,然后跳转到步骤S24;若数据库存满,则执行步骤S29,丢弃该缓存节点,跳转到步骤S23。
如图8所示,配置程序的主要处理流程为:
步骤S31,调用配置程序;
步骤S32,将配置文件读取到共享内存;
步骤S33,进行参数选择的判定,若为参数设置,则进行步骤S34,设置模块的等级、数据库容量值或日志写入速率值;若为日志读取,则进行步骤S35,按模块、等级、时间从数据库读取日志;若为日志删除,则进行步骤S36,按模块、等级、时间从数据库删除日志。
应当说明的是,所述云终端日志处理系统实现了对云终端上的模块的日志的存储,通过嵌入式数据库保存预设格式的日志信息,方便了对日志信息的读写,同时也方便了查询分析;通过使用共享内存的方式对配置文件进行读写,由于是内存操作,既可以实时向所有进程传递配置信息,又不影响各模块的执行效率,提高了云终端日志处理系统的效率,通过将日志信息存入嵌入式数据库,跨平台兼容性较好,在进行系统移植时只需更换库文件即可;综上所述,所述云终端日志处理系统操作方便、易于移植、低资源占用、分析高效,为云终端的日志处理提供了便利。
以上所述的是本发明的优选实施方式,应当指出对于本技术领域的普通人员来说,在不脱离本发明所述的原理前提下还可以作出若干改进和润饰,这些改进和润饰也在本发明的保护范围内。
Claims (20)
1.一种云终端日志处理方法,应用于服务器端,其特征在于,包括:
接收与云终端上的模块相连接的客户端上传的日志信息;
获取预先设定的日志保存配置参数;
根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中。
2.根据权利要求1所述的云终端日志处理方法,其特征在于,所述获取预先设定的日志保存配置参数的步骤具体为:
获取与所述客户端共用的共享内存中的日志保存配置参数,所述日志保存配置参数由配置文件映射到所述共享内存中。
3.根据权利要求1所述的云终端日志处理方法,其特征在于,所述根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中的步骤包括:
将所述日志信息存入缓存队列;
在满足预设条件时,按照所述日志保存配置参数,将所述缓存队列中的日志信息存储至嵌入式数据库中。
4.根据权利要求3所述的云终端日志处理方法,其特征在于,在满足预设条件时,按照所述日志保存配置参数,将所述缓存队列中的日志信息存储至嵌入式数据库中的步骤具体为:
当所述缓存队列中缓存的日志信息的条数达到预设值或缓存时间周期到达,且嵌入式数据库处于未存满的状态时,按照所述日志保存配置参数中预设的日志存入速率,将所述缓存队列中的日志信息存储至嵌入式数据库中。
5.根据权利要求1所述的云终端日志处理方法,其特征在于,所述云终端日志处理方法,还包括:
获取外部配置命令,所述外部配置命令包含对日志保存配置参数的配置信息;
将所述外部配置命令中包含的所述配置信息存入配置文件;
将所述配置文件映射到与所述客户端共用的共享内存中。
6.根据权利要求5所述的云终端日志处理方法,其特征在于,所述云终端日志处理方法,还包括:
获取外部操作命令,所述外部操作命令包括对所述嵌入式数据库中的日志信息进行读取和/或删除的命令;
获取配置文件中的日志保存配置参数,并依据所述日志保存配置参数对所述嵌入式数据库中的日志信息进行读取和/或删除操作。
7.一种云终端日志处理装置,应用于服务器端,其特征在于,包括:
接收模块,用于接收与云终端上的模块相连接的客户端上传的日志信息;
参数获取模块,用于获取预先设定的日志保存配置参数;
存储模块,用于根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中。
8.根据权利要求7所述的云终端日志处理装置,其特征在于,所述存储模块包括:
缓存单元,用于将所述日志信息存入缓存队列;
存储单元,用于在满足预设条件时,按照所述日志保存配置参数,将所述缓存队列中的日志信息存储至嵌入式数据库中。
9.根据权利要求7所述的云终端日志处理装置,其特征在于,所述云终端日志处理装置,还包括:
配置命令获取模块,用于获取外部配置命令,所述外部配置命令包含对日志保存配置参数的配置信息;
保存模块,用于将所述外部配置命令中包含的所述配置信息存入配置文件;
映射模块,用于将所述配置文件映射到与所述客户端共用的共享内存中。
10.根据权利要求9所述的云终端日志处理装置,其特征在于,所述云终端日志处理装置,还包括:
操作命令获取模块,用于获取外部操作命令,所述外部操作命令包括对所述嵌入式数据库中的日志信息进行读取和/或删除的命令;
操作模块,用于获取配置文件中的日志保存配置参数,并依据所述日志保存配置参数对所述嵌入式数据库中的日志信息进行读取和/或删除操作。
11.一种云终端日志处理方法,应用于客户端,其特征在于,包括:
建立与云终端上模块的连接关系;
获取所述模块的日志内容;
根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息;
将所述日志信息上传给服务器端,使得所述服务器端将所述日志信息存储至嵌入式数据库中。
12.根据权利要求11所述的云终端日志处理方法,其特征在于,所述建立与云终端上模块的连接关系的步骤具体为:
通过调用日志客户进程接口,建立与所述云终端上模块的连接关系。
13.根据权利要求11所述的云终端日志处理方法,其特征在于,所述根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息的步骤包括:
获取与所述服务器端共用的共享内存中的日志保存配置参数;
根据所述日志保存配置参数中的模块级别信息,将需要保存的所述日志内容生成对应的日志信息。
14.根据权利要求13所述的云终端日志处理方法,其特征在于,所述根据所述日志保存配置参数中的模块级别信息,将需要保存的所述日志内容生成对应的日志信息的步骤包括:
若所述模块级别信息表明所述模块生成的日志内容需要保存,则将预设长度的所述日志内容生成标准格式的日志信息。
15.根据权利要求14所述的云终端日志处理方法,其特征在于,所述标准格式的日志信息中包含:日志级别、日志生成时间、所述日志信息对应的模块名以及生成的所述日志内容。
16.一种云终端日志处理装置,应用于客户端,其特征在于,包括:
连接模块,用于建立与云终端上模块的连接关系;
日志获取模块,用于获取所述模块的日志内容;
生成模块,用于根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息;
上传模块,用于将所述日志信息上传给服务器端,使得所述服务器端将所述日志信息存储至嵌入式数据库中。
17.根据权利要求16所述的云终端日志处理装置,其特征在于,所述生成模块包括:
第一获取单元,用于获取与所述服务器端共用的共享内存中的日志保存配置参数;
生成单元,用于根据所述日志保存配置参数中的模块级别信息,将需要保存的所述日志内容生成对应的日志信息。
18.一种云终端日志处理系统,其特征在于,包括:
云终端第一日志处理装置和云终端第二日志处理装置;其中,
所述云终端第一日志处理装置包括:
连接模块,用于建立与云终端上模块的连接关系;
日志获取模块,用于获取所述模块的日志内容;
生成模块,用于根据预先设定的日志保存配置参数,将需要保存的所述日志内容生成对应的日志信息;
上传模块,用于将所述日志信息上传给所述云终端第二日志处理装置,使得所述云终端第二日志处理装置将所述日志信息存储至嵌入式数据库中;
所述云终端第二日志处理装置包括:
接收模块,用于接收与云终端上的模块相连接的所述云终端第一日志处理装置上传的日志信息;
参数获取模块,用于获取预先设定的日志保存配置参数;
存储模块,用于根据所述日志保存配置参数,将所述日志信息存储至嵌入式数据库中。
19.根据权利要求18所述的云终端日志处理系统,其特征在于,所述云终端第二日志处理装置还包括:
配置命令获取模块,用于获取外部配置命令,所述外部配置命令包含对日志保存配置参数的配置信息;
保存模块,用于将所述外部配置命令中包含的所述配置信息存入配置文件;
映射模块,用于将所述配置文件映射到与所述云终端第一日志处理装置共用的共享内存中。
20.根据权利要求19所述的云终端日志处理系统,其特征在于,所述云终端第二日志处理装置还包括:
操作命令获取模块,用于获取外部操作命令,所述外部操作命令包括对所述嵌入式数据库中的日志信息进行读取和/或删除的命令;
操作模块,用于获取配置文件中的日志保存配置参数,并依据所述日志保存配置参数对所述嵌入式数据库中的日志信息进行读取和/或删除操作。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510189031.0A CN106161074A (zh) | 2015-04-21 | 2015-04-21 | 一种云终端日志处理方法、装置及系统 |
PCT/CN2015/085461 WO2016169145A1 (zh) | 2015-04-21 | 2015-07-29 | 一种云终端日志处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510189031.0A CN106161074A (zh) | 2015-04-21 | 2015-04-21 | 一种云终端日志处理方法、装置及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106161074A true CN106161074A (zh) | 2016-11-23 |
Family
ID=57143505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510189031.0A Pending CN106161074A (zh) | 2015-04-21 | 2015-04-21 | 一种云终端日志处理方法、装置及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN106161074A (zh) |
WO (1) | WO2016169145A1 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108170585A (zh) * | 2017-12-26 | 2018-06-15 | 广东欧珀移动通信有限公司 | 日志处理方法、装置、终端设备及存储介质 |
CN108170576A (zh) * | 2017-12-26 | 2018-06-15 | 广东欧珀移动通信有限公司 | 日志处理方法、装置、终端设备及存储介质 |
CN108255884A (zh) * | 2016-12-29 | 2018-07-06 | 大唐移动通信设备有限公司 | 一种omc的日志信息的数据处理方法和装置 |
CN109981652A (zh) * | 2019-03-28 | 2019-07-05 | 北京中安兴坤科技有限公司 | 计算机安全检查系统以及方法 |
CN111143218A (zh) * | 2019-12-27 | 2020-05-12 | 深圳市共进电子股份有限公司 | 适用于5G嵌入式设备的log调试方法、装置和可读存储介质 |
US11455292B2 (en) | 2018-09-21 | 2022-09-27 | Microsoft Technology Licensing, Llc | Brokering persisted and unpersisted log records |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109885496B (zh) * | 2019-02-20 | 2022-06-07 | 北京百佑科技有限公司 | 测试日志管理方法及系统 |
CN111835562B (zh) * | 2020-07-01 | 2023-10-17 | 北京爱笔科技有限公司 | 日志上传方法、日志查询方法、系统 |
CN114625595B (zh) * | 2020-12-14 | 2024-07-09 | 网联清算有限公司 | 一种业务系统动态配置信息的复核方法、装置和系统 |
CN112764961A (zh) * | 2021-01-28 | 2021-05-07 | 西安超越申泰信息科技有限公司 | 云终端在线运维管理方法和装置 |
CN114780353B (zh) * | 2022-06-15 | 2022-09-27 | 统信软件技术有限公司 | 一种文件日志监控方法、系统及计算设备 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100449543C (zh) * | 2005-09-16 | 2009-01-07 | 腾讯科技(深圳)有限公司 | 一种日志保存方法及装置 |
JP2007299284A (ja) * | 2006-05-01 | 2007-11-15 | Hitachi Software Eng Co Ltd | ログ収集システム、クライアント装置、及びログ収集エージェント装置 |
CN101465765B (zh) * | 2008-12-31 | 2011-04-13 | 东信和平智能卡股份有限公司 | 日志系统及其使用方法 |
JP6043682B2 (ja) * | 2013-05-22 | 2016-12-14 | 日本電信電話株式会社 | 端末操作履歴収集システム及び端末操作履歴収集方法 |
CN103532754B (zh) * | 2013-10-12 | 2016-08-17 | 北京首信科技股份有限公司 | 一种通过高速内存、分布式处理海量日志的系统及方法 |
CN103944973A (zh) * | 2014-04-02 | 2014-07-23 | 北京中交兴路车联网科技有限公司 | 一种日志采集方法及装置 |
-
2015
- 2015-04-21 CN CN201510189031.0A patent/CN106161074A/zh active Pending
- 2015-07-29 WO PCT/CN2015/085461 patent/WO2016169145A1/zh active Application Filing
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108255884A (zh) * | 2016-12-29 | 2018-07-06 | 大唐移动通信设备有限公司 | 一种omc的日志信息的数据处理方法和装置 |
CN108170585A (zh) * | 2017-12-26 | 2018-06-15 | 广东欧珀移动通信有限公司 | 日志处理方法、装置、终端设备及存储介质 |
CN108170576A (zh) * | 2017-12-26 | 2018-06-15 | 广东欧珀移动通信有限公司 | 日志处理方法、装置、终端设备及存储介质 |
CN108170576B (zh) * | 2017-12-26 | 2021-12-07 | Oppo广东移动通信有限公司 | 日志处理方法、装置、终端设备及存储介质 |
US11455292B2 (en) | 2018-09-21 | 2022-09-27 | Microsoft Technology Licensing, Llc | Brokering persisted and unpersisted log records |
CN109981652A (zh) * | 2019-03-28 | 2019-07-05 | 北京中安兴坤科技有限公司 | 计算机安全检查系统以及方法 |
CN111143218A (zh) * | 2019-12-27 | 2020-05-12 | 深圳市共进电子股份有限公司 | 适用于5G嵌入式设备的log调试方法、装置和可读存储介质 |
CN111143218B (zh) * | 2019-12-27 | 2024-03-26 | 深圳市共进电子股份有限公司 | 适用于5G嵌入式设备的log调试方法、装置和可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2016169145A1 (zh) | 2016-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106161074A (zh) | 一种云终端日志处理方法、装置及系统 | |
CN109302522B (zh) | 测试方法、装置以及计算机系统和介质 | |
WO2019085079A1 (zh) | 接口测试方法、装置、计算机设备和存储介质 | |
CN107957940B (zh) | 一种测试日志处理方法、系统及终端 | |
CN101488085A (zh) | 软件接口测试方法和装置 | |
CN103793432A (zh) | 一种数据库读写分离方法及装置 | |
CN111008246A (zh) | 数据库日志同步方法、装置、计算机设备及可读存储介质 | |
CN114465937A (zh) | 网卡测试方法、装置、服务器、介质和计算机程序产品 | |
CN109189687A (zh) | 一种获取Android日志的方法和装置 | |
CN111352851A (zh) | 一种程序测试方法、装置、计算机设备及存储介质 | |
CN102291274A (zh) | 一种实现网络测试仪表自动适配的系统及方法 | |
CN111209188A (zh) | 一种分布式存储系统的测试方法和装置 | |
CN104765792B (zh) | 一种维度数据存储的方法、装置及系统 | |
CN105005572A (zh) | 一种数据库映射方法及装置 | |
CN110262978A (zh) | 一种基于长流程自动化测试的接口重试方法及数据流 | |
WO2019148657A1 (zh) | 关联环境测试方法、电子装置及计算机可读存储介质 | |
CN114598687B (zh) | 一种https数据包的抓取方法、系统及终端 | |
CN116647490A (zh) | 一种航空afdx网络数据检测系统 | |
CN108829577A (zh) | 一种应用程序性能的自动化测试方法 | |
CN112527577B (zh) | 一种服务器能耗自动化测试和采集方法、系统及介质 | |
CN106648912B (zh) | 数据采集平台中数据处理的模块化方法及装置 | |
CN116089545B (zh) | 一种采集存储介质变更数据入数据仓库的方法 | |
CN111177100A (zh) | 一种训练数据处理方法、装置及存储介质 | |
CN117271584A (zh) | 数据处理方法及装置、计算机可读存储介质和电子设备 | |
CN109241388A (zh) | 一种应用程序接口行为分析方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20161123 |
|
WD01 | Invention patent application deemed withdrawn after publication |