Nothing Special   »   [go: up one dir, main page]

CN114679602A - 一种数据处理方法、装置、电子设备及存储介质 - Google Patents

一种数据处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114679602A
CN114679602A CN202210326940.4A CN202210326940A CN114679602A CN 114679602 A CN114679602 A CN 114679602A CN 202210326940 A CN202210326940 A CN 202210326940A CN 114679602 A CN114679602 A CN 114679602A
Authority
CN
China
Prior art keywords
data
target
signaling data
signaling
historical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210326940.4A
Other languages
English (en)
Inventor
李�学
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202210326940.4A priority Critical patent/CN114679602A/zh
Publication of CN114679602A publication Critical patent/CN114679602A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21Server components or server architectures
    • H04N21/218Source of audio or video content, e.g. local disk arrays
    • H04N21/2187Live feed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36Creation of semantic tools, e.g. ontology or thesauri
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开关于一种数据处理方法、装置、电子设备及存储介质,涉及网络技术领域,能够提高电子设备对消息数据处理的效率,降低数据占用存储空间、数据传输带宽、数据传输耗时。包括:获取当前待传输的目标信令数据,并确定目标信令数据对应的目标数据类型;根据目标数据类型和多个预先训练好的数据字典,确定目标信令数据对应的目标数据字典;目标数据字典用于指示目标数据类型与目标压缩算法的对应关系,目标数据字典所指示的目标压缩算法为目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法;通过目标数据字典所指示的目标压缩算法对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,并将压缩处理后的目标信令数据进行传输。

Description

一种数据处理方法、装置、电子设备及存储介质
技术领域
本公开涉及网络技术领域,尤其涉及一种数据处理方法、装置、电子设备及存储介质。
背景技术
当前,用户对象在通过直播类应用程序观看直播视频时,用户对象(即直播间的观众对象)能够收到主播对象和其他观众对象发送的消息(比如评论消息、点赞消息等)。具体的,这些消息数据是通过一个TCP长连接传递给用户对象的,直播视频对应的服务端需要对这些消息数据进行加工处理,以使得这些消息数据在不同的服务之间进行传递,因此需要在存储介质中存储这些消息数据。
然而上述方法中,传递、存储的消息数据为原始数据,在消息数据的数据量较大的情况下,需要使用数据压缩工具对消息数据进行压缩处理。随着直播视频对应的业务量增长,消息数据的种类数量也在增长,因此这种消息数据的传递所引起的存储、带宽成本越来越高。从而处理消息数据的效率较差,存在数据占用存储空间多、数据传输带宽大、数据传输耗时高的问题。
发明内容
本公开提供一种数据处理方法、装置、电子设备及存储介质,能够提高电子设备对消息数据处理的效率,降低数据占用存储空间、数据传输带宽、数据传输耗时。本公开的技术方案如下:
根据本公开的第一方面,提供一种数据处理方法,该方法包括:获取当前待传输的目标信令数据,并确定目标信令数据对应的目标数据类型;根据目标数据类型和多个预先训练好的数据字典,确定目标信令数据对应的目标数据字典;目标数据字典用于指示目标数据类型与目标压缩算法的对应关系,目标数据字典所指示的目标压缩算法为目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法;通过目标数据字典所指示的目标压缩算法对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,并将压缩处理后的目标信令数据进行传输。
由上可知,在需要传输目标信令数据时,可以获取当前待传输的目标信令数据,并确定目标信令数据对应的目标数据类型;进一步的,再根据目标信令数据对应的目标数据类型和多个预先训练好的数据字典,确定目标信令数据对应的目标数据字典,以根据目标信令数据对应的目标数据字典确定目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法;并通过目标数据字典所指示的目标压缩算法对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,从而将压缩处理后的目标信令数据进行传输。通过这种实现方式,电子设备可以预先确定当前待传输的目标信令数据对应的目标数据类型,从而通过目标信令数据对应的目标数据字典所指示的压缩比最高的压缩算法,对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据。而无需直接传递、存储原始数据,从而可以在业务量增长,消息数据的种类数量增长的情况下,提高处理消息数据的效率,降低数据占用存储空间、数据传输带宽、数据传输耗时。
可选地,在上述“获取当前待传输的目标信令数据,并确定目标信令数据对应的目标数据类型”的方法之前,具体还包括:获取多个历史信令数据,并分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据;分别通过多种压缩算法对多种数据类型的历史信令数据进行压缩处理,得到多个数据字典;每个数据字典用于指示一种数据类型与一种压缩算法的对应关系,数据字典所指示的一种压缩算法为一种数据类型所对应的多种压缩算法中压缩比最高的压缩算法。
由上可知,可以预先获取多个历史信令数据,并分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据;进一步的,可以通过多种压缩算法对多种数据类型的历史信令数据进行压缩处理,以得到多个数据字典,从而可以通过每个数据字典指示一种数据类型与该数据类型所对应的多种压缩算法中压缩比最高的压缩算法的对应关系。从而可以在后续传输信令数据时,根据该多个数据字典确定每个信令数据所对应的数据字典,以确定每个信令数据所对应的压缩比最高的压缩算法。
可选地,上述“分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据”的方法具体包括:分别将多个历史信令数据存储至数据训练器中;数据训练器用于对多个历史信令数据按照数据类型进行分类;根据多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据。
由上可知,在获取到多个历史信令数据之后,可以分别将多个历史信令数据存储至用于对多个历史信令数据按照数据类型进行分类的数据训练器中;从而根据多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据,从而快速、准确的根据多个历史信令数据,得到多种数据类型的历史信令数据。
可选地,上述“分别通过多种压缩算法对多种数据类型的历史信令数据进行压缩处理,得到多个数据字典”的方法具体包括:在多种数据类型的历史信令数据中的任一种数据类型的历史信令数据中包括的数据量大于或等于目标阈值的情况下,通过多种压缩算法对任一种数据类型的历史信令数据进行压缩处理,确定多个数据字典中任一种数据类型对应的数据字典。
由上可知,可以进一步判断多种数据类型的历史信令数据中,每种数据类型的历史信令数据所包括的数据量,以在多种数据类型的历史信令数据中的任一种数据类型的历史信令数据中包括的数据量大于或等于目标阈值的情况下,再通过多种压缩算法对任一种数据类型的历史信令数据进行压缩处理,从而可以在任一种数据类型的历史信令数据中包括的数据量满足条件时,准确的确定多个数据字典中任一种数据类型对应的数据字典。
可选地,在上述“获取多个历史信令数据,并分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据”的方法之前,具体还包括:配置数据传输接口;数据传输接口用于在接收信令数据时,确定每个信令数据的数据类型。
由上可知,还可以预先配置数据传输接口,从而在通过数据传输接口传输信令数据时,快速、准确的确定每个信令数据的数据类型。
可选地,在上述“分别通过多种压缩算法对多种数据类型的历史信令数据进行压缩处理,得到多个数据字典”的方法之后,具体还包括:每间隔预设时长获取预设时长内所传输的多个第一信令数据;通过多种压缩算法对多个第一信令数据中包括的多种数据类型的第一信令数据进行压缩处理,得到多个压缩处理结果;多个压缩处理结果中一个压缩处理结果对应一个压缩比;对比多个压缩处理结果和多个数据字典,确定多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法;根据多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法,重新确定多种数据类型对应的多个数据字典。
由上可知,在根据多种数据类型的历史信令数据,得到多个数据字典之后,还可以进一步的每间隔预设时长获取预设时长内所传输的多个第一信令数据,从而通过多种压缩算法对多个第一信令数据中包括的多种数据类型的第一信令数据进行压缩处理,得到多个压缩处理结果;并对比多个压缩处理结果和多个数据字典,重新确定多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法;从而可以根据多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法,重新确定多种数据类型对应的多个数据字典。通过这种实现方式,可以实时的更新多种数据类型中每种数据类型所对应的数据字典,提高处理消息数据的效率。
可选地,当前待传输的目标信令数据为目标虚拟空间中,用户账户通过客户端发送的信令数据;上述“将压缩处理后的目标信令数据进行传输”的方法具体包括:将压缩处理后的目标信令数据传输给目标虚拟空间对应的用户账户。
由上可知,在当前待传输的目标信令数据为目标虚拟空间中,用户账户通过客户端发送的信令数据时,可以将压缩处理后的目标信令数据传输给目标虚拟空间对应的用户账户,从而提高处理消息数据的效率,和传输消息数据的效率。
根据本公开的第二方面,提供一种数据处理装置,该数据处理装置包括:获取单元、确定单元和处理单元;获取单元,被配置为执行获取当前待传输的目标信令数据;确定单元,被配置为执行确定目标信令数据对应的目标数据类型;确定单元,还被配置为执行根据目标数据类型和多个预先训练好的数据字典,确定目标信令数据对应的目标数据字典;目标数据字典用于指示目标数据类型与目标压缩算法的对应关系,目标数据字典所指示的目标压缩算法为目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法;处理单元,被配置为执行通过目标数据字典所指示的目标压缩算法对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,并将压缩处理后的目标信令数据进行传输。
可选地,获取单元,被配置为执行获取多个历史信令数据;确定单元,被配置为执行分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据;处理单元,被配置为执行分别通过多种压缩算法对多种数据类型的历史信令数据进行压缩处理,得到多个数据字典;每个数据字典用于指示一种数据类型与一种压缩算法的对应关系,数据字典所指示的一种压缩算法为一种数据类型所对应的多种压缩算法中压缩比最高的压缩算法。
可选地,处理单元,被配置为执行分别将多个历史信令数据存储至数据训练器中;数据训练器用于对多个历史信令数据按照数据类型进行分类;确定单元,被配置为执行根据多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据。
可选地,处理单元,被配置为执行在多种数据类型的历史信令数据中的任一种数据类型的历史信令数据中包括的数据量大于或等于目标阈值的情况下,通过多种压缩算法对任一种数据类型的历史信令数据进行压缩处理,确定多个数据字典中任一种数据类型对应的数据字典。
可选地,处理单元,被配置为执行配置数据传输接口;数据传输接口用于在接收信令数据时,确定每个信令数据的数据类型。
可选地,获取单元,被配置为执行每间隔预设时长获取预设时长内所传输的多个第一信令数据;处理单元,被配置为执行通过多种压缩算法对多个第一信令数据中包括的多种数据类型的第一信令数据进行压缩处理,得到多个压缩处理结果;多个压缩处理结果中一个压缩处理结果对应一个压缩比;确定单元,被配置为执行对比多个压缩处理结果和多个数据字典,确定多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法;确定单元,被配置为执行根据多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法,重新确定多种数据类型对应的多个数据字典。
可选地,当前待传输的目标信令数据为目标虚拟空间中,用户账户通过客户端发送的信令数据;处理单元,被配置为执行将压缩处理后的目标信令数据传输给目标虚拟空间对应的用户账户。
根据本公开的第三方面,提供一种电子设备,电子设备包括:
处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令,以实现上述第一方面中任一种可选地数据处理方法。
根据本公开的第四方面,提供一种计算机可读存储介质,计算机可读存储介质上存储有指令,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述第一方面中任一种可选地数据处理方法。
根据本公开的第五方面,提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述第一方面中任一种可选地数据处理方法。
根据本公开的第六方面,本公开提供一种芯片,芯片包括处理器和通信接口,通信接口和处理器耦合,处理器用于运行计算机程序或指令,以实现如第一方面中任一种可选地数据处理方法。
本公开提供的技术方案至少带来以下有益效果:
基于上述任一方面,本公开中,在需要传输目标信令数据时,可以获取当前待传输的目标信令数据,并确定目标信令数据对应的目标数据类型;进一步的,再根据目标信令数据对应的目标数据类型和多个预先训练好的数据字典,确定目标信令数据对应的目标数据字典,以根据目标信令数据对应的目标数据字典确定目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法;并通过目标数据字典所指示的目标压缩算法对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,从而将压缩处理后的目标信令数据进行传输。通过这种实现方式,电子设备可以预先确定当前待传输的目标信令数据对应的目标数据类型,从而通过目标信令数据对应的目标数据字典所指示的压缩比最高的压缩算法,对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据。而无需直接传递、存储原始数据,从而可以在业务量增长,消息数据的种类数量增长的情况下,提高处理消息数据的效率,降低数据占用存储空间、数据传输带宽、数据传输耗时。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
图1是根据本公开实施例示出的一种数据处理系统示意图;
图2是根据本公开实施例示出的一种数据处理方法的流程示意图;
图3是根据本公开实施例示出的另一种数据处理方法的流程示意图;
图4是根据本公开实施例示出的又一种数据处理方法的流程示意图;
图5是根据本公开实施例示出的又一种数据处理方法的流程示意图;
图6是根据本公开实施例示出的又一种数据处理方法的流程示意图;
图7是根据本公开实施例示出的又一种数据处理方法的流程示意图;
图8是根据本公开实施例示出的又一种数据处理方法的流程示意图;
图9是根据本公开实施例示出的又一种数据处理方法的流程示意图;
图10是根据本公开实施例示出的一种数据处理装置的结构示意图;
图11是根据本公开实施例示出的另一种数据处理装置的结构示意图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息、用户行为信息等)和数据,均为经用户授权或者经过各方充分授权的信息和数据。
首先,对本公开实施例的应用场景进行介绍。在现有的技术方案中,直播间的观众用户能够接收到主播用户和直播间其他观众用户所发送的消息,比如评论消息、点赞消息等。这种消息是通过一个TCP长连接传递给每个用户(观众用户和主播用户)的。服务端需要对这些数据消息做加工处理,需要在不同的服务之间进行传播,因此需要在存储介质中存储这些数据消息。随着业务量的增长,消息种类数量也在增长,伴随着这种数据消息传递时所引起的存储、带宽成本越来越高。目前方案中,传递、存储的消息对象是原始的数据消息,只有在数据量较大的情况下会使用Gzip工具对数据消息进行压缩处理后再进行传递、存储。这个方案不能利用数据消息的特征,对数据消息进行压缩处理的效果不佳。存在占用存储空间多、传输带宽大、传输耗时高的问题。
为了解决上述问题,本公开实施例提供一种数据处理方法,在需要传输目标信令数据时,可以获取当前待传输的目标信令数据,并确定目标信令数据对应的目标数据类型;进一步的,再根据目标信令数据对应的目标数据类型和多个预先训练好的数据字典,确定目标信令数据对应的目标数据字典,以根据目标信令数据对应的目标数据字典确定目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法;并通过目标数据字典所指示的目标压缩算法对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,从而将压缩处理后的目标信令数据进行传输。通过这种实现方式,电子设备可以预先确定当前待传输的目标信令数据对应的目标数据类型,从而通过目标信令数据对应的目标数据字典所指示的压缩比最高的压缩算法,对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据。而无需直接传递、存储原始数据,从而可以在业务量增长,消息数据的种类数量增长的情况下,提高处理消息数据的效率,降低数据占用存储空间、数据传输带宽、数据传输耗时。
以下结合附图对本公开实施例提供的内容显示方法进行示例性说明:
图1是本公开实施例提供的一种数据处理系统示意图,如图1所示,该数据处理系统可以包括服务器11和客户端12(图1中仅示例性的给出一个客户端12,在具体实施时可以有更多的客户端)。其中,服务器11和客户端12之间可以建立通信连接。服务器11和客户端12之间可以采用有线方式连接,也可以采用无线方式连接,本公开实施例对此不作限定。
服务器11,用于与客户端12进行数据交互,并可以对接收到的客户端12发送的信令数据进行压缩处理。
客户端12,用于与服务器11进行数据交互,向服务器11发送信令数据,或接收服务器11发送的信令数据。
在一种可实施的方式中,服务器11可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。服务器11可以包括处理器、存储器以及网络接口等。
在一种可实施的方式中,客户端12用于向用户提供语音和/或数据连通性服务。客户端12可以有不同的名称,例如UE端、终端单元、终端站、移动站、移动台、远方站、远程终端、移动设备、无线通信设备、车辆用户设备、终端代理或终端装置等。
可选的,客户端12可以为各种具有通信功能的手持设备、车载设备、可穿戴设备、计算机,本公开实施例对此不作任何限定。例如,手持设备可以是智能手机。车载设备可以是车载导航系统。可穿戴设备可以是智能手环。计算机可以是个人数字助理(personaldigital assistant,PDA)电脑、平板型电脑以及膝上型电脑(laptop computer)。
本公开实施例提供的数据处理方法可以应用于前述图1所示的数据处理系统中的服务器11和客户端12。本公开涉及的电子设备可以是该服务器11或客户端12。以本公开的数据处理方法应用在执行业务的过程中的服务器上为例,对本公开实施例提供的数据处理方法进行详细介绍。
在介绍了本公开实施例的应用场景和数据处理系统之后,下面结合图1所示的数据处理系统,对本公开实施例提供的数据处理方法进行详细介绍。
如图2所示,根据一示例性实施例示出的一种数据处理方法的流程图,应用于电子设备。该数据处理方法可以包括S201-S203。
S201、获取当前待传输的目标信令数据,并确定目标信令数据对应的目标数据类型。
其中,目标数据类型通过传输目标信令数据的传输接口确定。
在本公开实施例中,当前待传输的目标信令数据可以为目标虚拟空间(例如直播间)中,用户账户通过客户端发送的信令数据。
需要说明的是,当前待传输的目标信令数据为,服务器所接收到的某个客户端所发送的信令数据,在服务器接收到客户端所发送的该信令数据之后,服务器需要将该信令数据经过压缩处理后,发送至多个其他客户端(例如目标虚拟空间所对应的用户的客户端),因此该信令数据称为待传输的目标信令数据。
可选的,在客户端发送目标信令数据给服务器的过程中,该目标信令数据可以包括数据类型的标识,该数据类型的标识用于指示该目标信令数据为目标数据类型。因此,在服务器通过传输目标信令数据的传输接口接收到目标信令数据时,可以确定目标信令数据的数据类型为目标数据类型。
可选的,上述目标信令数据可以为目标虚拟空间中的观众用户与主播用户之间的互动消息,例如上述目标信令数据可以为以下任一项:目标虚拟空间中的观众用户发送的评论消息、目标虚拟空间中的观众用户发送的点赞消息、目标虚拟空间中的观众用户发送的公告消息等。
S202、根据目标数据类型和多个预先训练好的数据字典,确定目标信令数据对应的目标数据字典。
其中,目标数据字典用于指示目标数据类型与目标压缩算法的对应关系,目标数据字典所指示的目标压缩算法为目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法。
可以理解,多个预先训练好的数据字典为根据多个历史信令数据、每个历史信令数据对应的数据类型以及多种压缩算法训练得到的,一个数据字典用于指示一种数据类型与一种压缩算法的对应关系,数据字典所指示的一种压缩算法为一种数据类型所对应的多种压缩算法中压缩比最高的压缩算法。
可选的,在确定目标信令数据对应的目标数据类型之后,可以从多个预先训练好的数据字典中确定出用于指示目标数据类型的目标数据字典,从而可以根据目标数据字典确定与目标数据类型存在对应关系的一种压缩算法。
S203、通过目标数据字典所指示的目标压缩算法对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,并将压缩处理后的目标信令数据进行传输。
可选的,在根据目标信令数据对应的目标数据类型,从多个预先训练好的数据字典中确定出用于指示目标数据类型的目标数据字典之后,可以根据目标数据字典所指示的与目标数据类型存在对应关系的一种压缩算法,对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据。
进一步的,在得到压缩处理后的目标信令数据之后,服务器可以将压缩处理后的目标信令数据进行传输,以将压缩处理后的目标信令数据发送至目标虚拟空间对应的用户。
在一种可实施的方式中,每种数据类型对应一种业务,或者每种数据类型的信令数据具有同种数据格式。
上述实施例提供的技术方案至少带来以下有益效果:在需要传输目标信令数据时,可以获取当前待传输的目标信令数据,并确定目标信令数据对应的目标数据类型;进一步的,再根据目标信令数据对应的目标数据类型和多个预先训练好的数据字典,确定目标信令数据对应的目标数据字典,以根据目标信令数据对应的目标数据字典确定目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法;并通过目标数据字典所指示的目标压缩算法对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,从而将压缩处理后的目标信令数据进行传输。通过这种实现方式,电子设备可以预先确定当前待传输的目标信令数据对应的目标数据类型,从而通过目标信令数据对应的目标数据字典所指示的压缩比最高的压缩算法,对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据。而无需直接传递、存储原始数据,从而可以在业务量增长,消息数据的种类数量增长的情况下,提高处理消息数据的效率,降低数据占用存储空间、数据传输带宽、数据传输耗时。
在一种可实施的方式中,结合图2,如图3所示,在上述S201中的方法之前,具体还可以包括S301-S302。
S301、获取多个历史信令数据,并分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据。
可选的,本公开实施例需要预先训练得到多个数据字典,从而可以在实时传输信令数据时,可以根据预先训练好的数据字典,确定每个信令数据所对应的一种压缩比最高的压缩算法。
具体的,在获取到多个历史信令数据之后,分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据,即将多个历史信令数据按照数据类型进行分类。
S302、分别通过多种压缩算法对多种数据类型的历史信令数据进行压缩处理,得到多个数据字典。
其中,每个数据字典用于指示一种数据类型与一种压缩算法的对应关系,数据字典所指示的一种压缩算法为一种数据类型所对应的多种压缩算法中压缩比最高的压缩算法。
可选的,针对多种数据类型中的每一种数据类型所对应的历史信令数据,均需要通过多种压缩算法对每一种数据类型的历史信令数据进行压缩处理,得到每一种数据类型对应的多个压缩处理结果,并进一步的分析每一种数据类型对应的多个压缩处理结果,从中确定出压缩处理效果最好(例如压缩比最高)的一种压缩算法,从而根据确定出的一种压缩算法以及对应的数据类型,构造数据字典。
可选的,针对多种数据类型中的每一种数据类型,通过上述具体步骤均可以确定出与每一种数据类型所对应的压缩处理效果最好一种压缩算法,从而得到多种数据类型中的每一种数据类型对应的一个数据字典。
上述实施例提供的技术方案至少带来以下有益效果:可以预先获取多个历史信令数据,并分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据;进一步的,可以通过多种压缩算法对多种数据类型的历史信令数据进行压缩处理,以得到多个数据字典,从而可以通过每个数据字典指示一种数据类型与该数据类型所对应的多种压缩算法中压缩比最高的压缩算法的对应关系。从而可以在后续传输信令数据时,根据该多个数据字典确定每个信令数据所对应的数据字典,以确定每个信令数据所对应的压缩比最高的压缩算法。
在一种可实施的方式中,结合图3,如图4所示,上述S301中的“分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据”方法,具体可以包括S3011-S3012。
S3011、分别将多个历史信令数据存储至数据训练器中。
其中,数据训练器用于对多个历史信令数据按照数据类型进行分类。
S3012、根据多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据。
可选的,数据训练器为服务器中所包括的一个子模块,在服务器获取到多个历史信令数据之后,可以进一步的将多个历史信令数据存储至数据训练器中,以通过数据训练器对多个历史信令数据按照数据类型进行分类处理。
具体的,当业务(即目标虚拟空间)触发一个信令数据的时候,可以通过一个Kafka消息,将信令数据暂存到一个特殊服务器(即数据训练器)上,我们称之为Trainer,它的职责是在本地按照数据类型,累积数据消息。当数据累积到一定数据量,使用Zstd算法训练一次,并将每次训练的结果(数据字典)保存在缓存中。
需要说明的是,Kafka是一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。
上述实施例提供的技术方案至少带来以下有益效果:在获取到多个历史信令数据之后,可以分别将多个历史信令数据存储至用于对多个历史信令数据按照数据类型进行分类的数据训练器中;从而根据多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据,从而快速、准确的根据多个历史信令数据,得到多种数据类型的历史信令数据。
在一种可实施的方式中,结合图3,如图5所示,上述S302中的方法,具体可以包括S3021。
S3021、在多种数据类型的历史信令数据中的任一种数据类型的历史信令数据中包括的数据量大于或等于目标阈值的情况下,通过多种压缩算法对任一种数据类型的历史信令数据进行压缩处理,确定多个数据字典中任一种数据类型对应的数据字典。
可选的,在分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据的过程中,需要累计每种数据类型的历史信令数据的数据量,从而可以通过每种数据类型的历史信令数据的数据量确定是否需要对该种数据类型的历史信令数据进行压缩处理。
具体的,可以预先设置目标阈值,在确定多个历史信令数据中每个历史信令数据对应的数据类型的过程中,判断多种数据类型的历史信令数据中的每种数据类型的历史信令数据中包括的数据量是否大于或等于目标阈值,以在任一种数据类型的历史信令数据中包括的数据量大于或等于目标阈值的情况下,再通过多种压缩算法对任一种数据类型的历史信令数据进行压缩处理,得到多个数据字典。
上述实施例提供的技术方案至少带来以下有益效果:可以进一步判断多种数据类型的历史信令数据中,每种数据类型的历史信令数据所包括的数据量,以在多种数据类型的历史信令数据中的任一种数据类型的历史信令数据中包括的数据量大于或等于目标阈值的情况下,再通过多种压缩算法对任一种数据类型的历史信令数据进行压缩处理,从而可以在任一种数据类型的历史信令数据中包括的数据量满足条件时,准确的确定多个数据字典中任一种数据类型对应的数据字典。
在一种可实施的方式中,结合图3,如图6所示,在上述S301中的方法之前,具体还可以包括S401。
S401、配置数据传输接口。
其中,数据传输接口用于在接收信令数据时,确定每个信令数据的数据类型。
可选的,在服务器获取多个历史信令数据,训练得到多个数据字典之前,还需要预先配置数据传输接口,以在服务器通过数据传输接口接收信令数据时,可以确定每个信令数据的数据类型。
具体的,通过改造数据传输接口,信令数据的接入是按照子业务维度来组织的,并达到如下限制:不同的子业务一般使用不同格式的数据、相同业务必定只能使用同一种格式。这样一来,同一个类型的数据,就天然具有了某种相同的数据特征。因此可以通过配置数据传输接口,将获取到的多个历史信令数据,按照数据类型进行分类。
上述实施例提供的技术方案至少带来以下有益效果:还可以预先配置数据传输接口,从而在通过数据传输接口传输信令数据时,快速、准确的确定每个信令数据的数据类型。
在一种可实施的方式中,结合图3,如图7所示,在上述S302中的方法之后,具体还可以包括S501-S504。
S501、每间隔预设时长获取预设时长内所传输的多个第一信令数据。
S502、通过多种压缩算法对多个第一信令数据中包括的多种数据类型的第一信令数据进行压缩处理,得到多个压缩处理结果。
其中,多个压缩处理结果中一个压缩处理结果对应一个压缩比。
S503、对比多个压缩处理结果和多个数据字典,确定多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法。
可选的,在分别通过多种压缩算法对多种数据类型的历史信令数据进行压缩处理,得到多个数据字典之后,需要不断的对该多个数据字典进行更新校验;通过每间隔预设时长获取预设时长内所传输的多个第一信令数据,并通过多种压缩算法对多个第一信令数据中包括的多种数据类型的第一信令数据进行压缩处理,得到新的多个压缩处理结果。
具体的,在得到多个数据字典之后,需要对数据字典进行线上试验,通过使用一个定时器,每隔一段时间,扫描该时间段内所有的信令数据,将原始信令数据按照多种压缩算法分别进行压缩处理,并比较多种压缩算法的压缩处理效果,重新确定多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法。
S504、根据多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法,重新确定多种数据类型对应的多个数据字典。
可选的,在重新确定多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法之后,根据重新确定的每种数据类型所对应的压缩比最高的一种压缩算法,更新多个数据字典,得到最新的多个数据字典。
可以理解,在得到最新的多个数据字典之后,再间隔预设时长之后,需要再次重复上述步骤501-步骤504,即再次获取该预设时长内所传输的多个信令数据,并通过多种压缩算法对多个信令数据中包括的多种数据类型的信令数据进行压缩处理,再次得到多个压缩处理结果,并对比多个压缩处理结果和多个数据字典,再次确定多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法。从而再次根据多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法,重新确定多种数据类型对应的多个数据字典。
上述实施例提供的技术方案至少带来以下有益效果:在根据多种数据类型的历史信令数据,得到多个数据字典之后,还可以进一步的每间隔预设时长获取预设时长内所传输的多个第一信令数据,从而通过多种压缩算法对多个第一信令数据中包括的多种数据类型的第一信令数据进行压缩处理,得到多个压缩处理结果;并对比多个压缩处理结果和多个数据字典,重新确定多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法;从而可以根据多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法,重新确定多种数据类型对应的多个数据字典。通过这种实现方式,可以实时的更新多种数据类型中每种数据类型所对应的数据字典,提高处理消息数据的效率。
在一种可实施的方式中,当前待传输的目标信令数据为目标虚拟空间中,用户账户通过客户端发送的信令数据;结合图2,如图8所示,上述S203中的“将压缩处理后的目标信令数据进行传输”方法,具体可以包括S2031。
S2031、将压缩处理后的目标信令数据传输给目标虚拟空间对应的用户账户。
可选的,在通过目标数据字典对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据之后,需要将压缩处理后的目标信令数据传输给目标虚拟空间对应的用户账户,以使得用户账户对应的用户查看到目标信令数据。
上述实施例提供的技术方案至少带来以下有益效果:在当前待传输的目标信令数据为目标虚拟空间中,用户账户通过客户端发送的信令数据时,可以将压缩处理后的目标信令数据传输给目标虚拟空间对应的用户账户,从而提高处理消息数据的效率,和传输消息数据的效率。
在一种可实施的方式中,每种数据类型对应一种业务,或者每种数据类型的信令数据具有同种数据格式。
示例性的,如图9所示,为跟公开实施例提供的一种数据处理方法对应的完整的流程示意图,预先改造数据传输接口,由于信令数据的接入是按照子业务维度来组织的,并达到如下限制:不同的子业务一般使用不同格式的数据、相同业务必定只能使用同一种格式。这样一来,同一个类型的数据,就天然具有了某种相同的特征。需要找到一种针对同一格式有最佳效果的压缩方法,就可以推广到信令数据上。进一步的,RPC获取客户端发送的信令数据,以将获取到的信令数据暂存并训练。当业务触发一个信令数据的时候,通过一个Kafka消息(用于转发信令数据),将信令数据暂存到一个特殊服务器(数据训练器)上,我们称之为Trainer,它的职责是在本地按照数据类型,累积数据消息。当数据累积到一定程度,就使用Zstd算法训练一次。将每次训练的结果保存在缓存中。这个结果我们称之为数据字典。在实时使用的过程中,对数据字典进行线上试验(存储测试,并验证试验效果),通过使用一个定时器,每隔一段时间,扫描该段时间内所有直播间的信令数据,将原始数据按照多种压缩算法压缩处理,并比较多种压缩算法的压缩效果。对压缩效果更好的算法,确定对应的数据字典并保存在配置中心。最终在线上服务时,使用计算出来的数据字典,对数据进行压缩、传输、解压缩、处理等。在实际使用的过程中,通过从多个数据字典中确定出目标数据字典,对信令数据进行处理后,将处理后的信令数据传输至至用户。
结合上述示例可知,本公开设计一种高效的压缩处理方案,可以将对信令数据的压缩比从1.7增加到6.25,存储空间占用减少42%,从而降低数据占用空间的大小,从根本上降低传输成本。通过根据数据特征对信令数据进行分类,并对具有相同数据特征的信令数据进行训练,得到数据字典,进一步的,通过每间隔预设时长对数据字典使用线上流量进行实验,实时更新数据字典,将更高效的数据字典写入配置。
可以理解的是,上述方法可以由数据处理装置实现。数据处理装置为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的模块及算法步骤,本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本公开实施例的范围。
本公开实施例可以根据上述方法示例对上述数据处理装置等进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
图10是根据一示例性实施例示出的一种数据处理装置的结构示意图。参照图10,该数据处理装置100可以包括:获取单元1001、确定单元1002和处理单元1003。
获取单元1001,被配置为执行获取当前待传输的目标信令数据;例如,获取单元1001可以用于执行图2中的步骤201中的步骤。
确定单元1002,被配置为执行确定目标信令数据对应的目标数据类型;例如,确定单元1002可以用于执行图2中的步骤201中的步骤。
确定单元1002,还被配置为执行根据目标数据类型和多个预先训练好的数据字典,确定目标信令数据对应的目标数据字典;目标数据字典用于指示目标数据类型与目标压缩算法的对应关系,目标数据字典所指示的目标压缩算法为目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法;例如,确定单元1002可以用于执行图2中的步骤202中的步骤。
处理单元1003,被配置为执行通过目标数据字典所指示的目标压缩算法对目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,并将压缩处理后的目标信令数据进行传输。例如,处理单元1003可以用于执行图2中的步骤203中的步骤。
可选地,获取单元1001,被配置为执行获取多个历史信令数据。例如,获取单元1001可以用于执行图3中的步骤301中的步骤。
确定单元1002,被配置为执行分别确定多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据;例如,确定单元1002可以用于执行图3中的步骤301中的步骤。
处理单元1003,被配置为执行分别通过多种压缩算法对多种数据类型的历史信令数据进行压缩处理,得到多个数据字典;每个数据字典用于指示一种数据类型与一种压缩算法的对应关系,数据字典所指示的一种压缩算法为一种数据类型所对应的多种压缩算法中压缩比最高的压缩算法。例如,处理单元1003可以用于执行图3中的步骤302中的步骤。
可选地,处理单元1003,被配置为执行分别将多个历史信令数据存储至数据训练器中;数据训练器用于对多个历史信令数据按照数据类型进行分类;例如,处理单元1003可以用于执行图4中的步骤3011中的步骤。
确定单元1002,被配置为执行根据多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据;例如,确定单元1002可以用于执行图4中的步骤3012中的步骤。
可选地,处理单元1003,被配置为执行在多种数据类型的历史信令数据中的任一种数据类型的历史信令数据中包括的数据量大于或等于目标阈值的情况下,通过多种压缩算法对任一种数据类型的历史信令数据进行压缩处理,确定多个数据字典中任一种数据类型对应的数据字典。例如,处理单元1003可以用于执行图5中的步骤3021中的步骤。
可选地,处理单元1003,被配置为执行配置数据传输接口;数据传输接口用于在接收信令数据时,确定每个信令数据的数据类型。例如,处理单元1003可以用于执行图6中的步骤401中的步骤。
可选地,获取单元1001,被配置为执行每间隔预设时长获取预设时长内所传输的多个第一信令数据;例如,获取单元1001可以用于执行图7中的步骤501中的步骤。
处理单元1003,被配置为执行通过多种压缩算法对多个第一信令数据中包括的多种数据类型的第一信令数据进行压缩处理,得到多个压缩处理结果;多个压缩处理结果中一个压缩处理结果对应一个压缩比;例如,处理单元1003可以用于执行图7中的步骤502中的步骤。
确定单元1002,被配置为执行对比多个压缩处理结果和多个数据字典,确定多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法;例如,确定单元1002可以用于执行图7中的步骤503中的步骤。
确定单元1002,被配置为执行根据多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法,重新确定多种数据类型对应的多个数据字典。例如,确定单元1002可以用于执行图7中的步骤504中的步骤。
可选地,当前待传输的目标信令数据为目标虚拟空间中,用户账户通过客户端发送的信令数据;处理单元1003,被配置为执行将压缩处理后的目标信令数据传输给目标虚拟空间对应的用户账户。例如,处理单元1003可以用于执行图8中的步骤2031中的步骤。
可选地,每种数据类型对应一种业务,或者每种数据类型的信令数据具有同种数据格式。
如上,本公开实施例可以根据上述方法示例对电子设备进行功能模块的划分。其中,上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。另外,还需要说明的是,本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。
关于上述实施例中的数据处理装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图11是本公开提供的一种数据处理装置60的结构示意图。如图11,该数据处理装置60可以包括至少一个处理器601以及用于存储处理器601可执行指令的存储器603。其中,处理器601被配置为执行存储器603中的指令,以实现上述实施例中的数据处理方法。
另外,数据处理装置60还可以包括通信总线602以及至少一个通信接口604。
处理器601可以是一个GPU,微处理单元,ASIC,或一个或多个用于控制本公开方案程序执行的集成电路。
通信总线602可包括一通路,在上述组件之间传送信息。
通信接口604,使用任何收发器一类的装置,用于与其他设备或通信网络通信,如以太网,无线接入网(radio access network,RAN),无线局域网(wireless local areanetworks,WLAN)等。
存储器603可以是只读存储器(read-only memory,ROM)或可存储静态信息和指令的其他类型的静态存储设备,随机存取存储器(random access memory,RAM)或者可存储信息和指令的其他类型的动态存储设备,也可以是电可擦可编程只读存储器(electricallyerasable programmable read-only memory,EEPROM)、只读光盘(compact disc read-only memory,CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。存储器可以是独立存在,通过总线与处理单元相连接。存储器也可以和处理单元集成在一起,为GPU中的易失性存储介质。
其中,存储器603用于存储执行本公开方案的指令,并由处理器601来控制执行。处理器601用于执行存储器603中存储的指令,从而实现本公开方法中的功能。
在具体实现中,作为一种实施例,处理器601可以包括一个或多个GPU,例如图11中的GPU0和GPU1。
在具体实现中,作为一种实施例,数据处理装置60可以包括多个处理器,例如图11中的处理器601和处理器607。这些处理器中的每一个可以是一个单核(single-CPU)处理器,也可以是一个多核(multi-GPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
在具体实现中,作为一种实施例,数据处理装置60还可以包括输出设备605和输入设备606。输出设备605和处理器601通信,可以以多种方式来显示信息。例如,输出设备605可以是液晶显示器(liquid crystal display,LCD),发光二级管(light emitting diode,LED)显示设备,阴极射线管(cathode ray tube,CRT)显示设备,或投影仪(projector)等。输入设备606和处理器601通信,可以以多种方式接受用户的输入。例如,输入设备606可以是鼠标、键盘、触摸屏设备或传感设备等。
本领域技术人员可以理解,图11中示出的结构并不构成对数据处理装置60的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
本公开还提供了一种计算机可读存储介质,计算机可读存储介质上存储有指令,当存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述本公开实施例提供的数据处理方法。
本公开实施例还提供了一种包含指令的计算机程序产品,当其在电子设备上运行时,使得电子设备执行上述本公开实施例提供的数据处理方法。
本公开实施例还提供一种通信系统,如图1所示,该系统包括服务器11和客户端12。其中服务器11和客户端12分别用于执行本公开上述实施例中的相应步骤,从而以使该通信系统解决本公开实施例所解决的技术问题,以及实现本公开实施例所实现的技术效果,在此不再赘述。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据处理方法,其特征在于,所述方法包括:
获取当前待传输的目标信令数据,并确定所述目标信令数据对应的目标数据类型;
根据所述目标数据类型和多个预先训练好的数据字典,确定所述目标信令数据对应的目标数据字典;所述目标数据字典用于指示目标数据类型与目标压缩算法的对应关系,所述目标数据字典所指示的目标压缩算法为所述目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法;
通过所述目标数据字典所指示的目标压缩算法对所述目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,并将所述压缩处理后的目标信令数据进行传输。
2.根据权利要求1所述的方法,其特征在于,所述获取当前待传输的目标信令数据,并确定所述目标信令数据对应的目标数据类型之前,所述方法还包括:
获取所述多个历史信令数据,并分别确定所述多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据;
分别通过所述多种压缩算法对所述多种数据类型的历史信令数据进行压缩处理,得到多个数据字典;每个数据字典用于指示一种数据类型与一种压缩算法的对应关系,所述数据字典所指示的一种压缩算法为所述一种数据类型所对应的所述多种压缩算法中压缩比最高的压缩算法。
3.根据权利要求2所述的方法,其特征在于,所述分别确定所述多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据,包括:
分别将所述多个历史信令数据存储至数据训练器中;所述数据训练器用于对所述多个历史信令数据按照数据类型进行分类;
根据所述多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据。
4.根据权利要求2或3所述的方法,其特征在于,所述分别通过所述多种压缩算法对所述多种数据类型的历史信令数据进行压缩处理,得到多个数据字典,包括:
在所述多种数据类型的历史信令数据中的任一种数据类型的历史信令数据中包括的数据量大于或等于目标阈值的情况下,通过所述多种压缩算法对所述任一种数据类型的历史信令数据进行压缩处理,确定所述多个数据字典中所述任一种数据类型对应的数据字典。
5.根据权利要求2或3所述的方法,其特征在于,所述获取所述多个历史信令数据,并分别确定所述多个历史信令数据中每个历史信令数据对应的数据类型,得到多种数据类型的历史信令数据之前,所述方法还包括:
配置数据传输接口;所述数据传输接口用于在接收信令数据时,确定每个信令数据的数据类型。
6.根据权利要求2所述的方法,其特征在于,所述分别通过所述多种压缩算法对所述多种数据类型的历史信令数据进行压缩处理,得到多个数据字典之后,所述方法还包括:
每间隔预设时长获取所述预设时长内所传输的多个第一信令数据;
通过所述多种压缩算法对所述多个第一信令数据中包括的多种数据类型的第一信令数据进行压缩处理,得到多个压缩处理结果;所述多个压缩处理结果中一个压缩处理结果对应一个压缩比;
对比所述多个压缩处理结果和所述多个数据字典,确定所述多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法;
根据所述多种数据类型中每种数据类型所对应的压缩比最高的一种压缩算法,重新确定所述多种数据类型对应的所述多个数据字典。
7.一种数据处理装置,其特征在于,包括:
获取单元,被配置为执行获取当前待传输的目标信令数据;
确定单元,被配置为执行确定所述目标信令数据对应的目标数据类型;
所述确定单元,还被配置为执行根据所述目标数据类型和多个预先训练好的数据字典,确定所述目标信令数据对应的目标数据字典;所述目标数据字典用于指示目标数据类型与目标压缩算法的对应关系,所述目标数据字典所指示的目标压缩算法为所述目标数据类型所对应的多种压缩算法中压缩比最高的压缩算法;
处理单元,被配置为执行通过所述目标数据字典所指示的目标压缩算法对所述目标信令数据进行压缩处理,得到压缩处理后的目标信令数据,并将所述压缩处理后的目标信令数据进行传输。
8.一种电子设备,其特征在于,所述电子设备包括:
处理器;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为执行所述指令,以实现如权利要求1-6中任一项所述的数据处理方法。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有指令,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1-6中任一项所述的数据处理方法。
10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的数据处理方法。
CN202210326940.4A 2022-03-30 2022-03-30 一种数据处理方法、装置、电子设备及存储介质 Pending CN114679602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210326940.4A CN114679602A (zh) 2022-03-30 2022-03-30 一种数据处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210326940.4A CN114679602A (zh) 2022-03-30 2022-03-30 一种数据处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114679602A true CN114679602A (zh) 2022-06-28

Family

ID=82077020

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210326940.4A Pending CN114679602A (zh) 2022-03-30 2022-03-30 一种数据处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114679602A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115696396A (zh) * 2022-09-27 2023-02-03 珠海笛思科技有限公司 数据通信的处理方法及装置、存储介质、终端
CN117971030A (zh) * 2024-01-05 2024-05-03 深圳市腾进达信息技术有限公司 一种可提升穿戴设备操作系统显示性能的方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140351229A1 (en) * 2013-05-22 2014-11-27 Amazon Technologies, Inc. Efficient data compression and analysis as a service
CN106851733A (zh) * 2016-12-29 2017-06-13 安徽网新恒天软件有限公司 一种针对移动网络应用的自适应http消息压缩方法
CN107066401A (zh) * 2016-12-30 2017-08-18 广东欧珀移动通信有限公司 一种基于移动终端架构的数据传输的方法及移动终端
CN108696899A (zh) * 2017-04-07 2018-10-23 北京京东尚科信息技术有限公司 Sip消息传输与接收方法及传输与接收装置
CN110636034A (zh) * 2018-06-25 2019-12-31 优视科技有限公司 应用数据传输方法、客户端、服务器及系统
CN111552669A (zh) * 2020-04-26 2020-08-18 北京达佳互联信息技术有限公司 数据处理方法、装置、计算设备和存储介质
CN111935261A (zh) * 2020-07-30 2020-11-13 北京达佳互联信息技术有限公司 应答消息处理方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140351229A1 (en) * 2013-05-22 2014-11-27 Amazon Technologies, Inc. Efficient data compression and analysis as a service
CN106851733A (zh) * 2016-12-29 2017-06-13 安徽网新恒天软件有限公司 一种针对移动网络应用的自适应http消息压缩方法
CN107066401A (zh) * 2016-12-30 2017-08-18 广东欧珀移动通信有限公司 一种基于移动终端架构的数据传输的方法及移动终端
CN108696899A (zh) * 2017-04-07 2018-10-23 北京京东尚科信息技术有限公司 Sip消息传输与接收方法及传输与接收装置
CN110636034A (zh) * 2018-06-25 2019-12-31 优视科技有限公司 应用数据传输方法、客户端、服务器及系统
CN111552669A (zh) * 2020-04-26 2020-08-18 北京达佳互联信息技术有限公司 数据处理方法、装置、计算设备和存储介质
CN111935261A (zh) * 2020-07-30 2020-11-13 北京达佳互联信息技术有限公司 应答消息处理方法、装置、电子设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115696396A (zh) * 2022-09-27 2023-02-03 珠海笛思科技有限公司 数据通信的处理方法及装置、存储介质、终端
CN115696396B (zh) * 2022-09-27 2023-06-23 珠海笛思科技有限公司 数据通信的处理方法及装置、存储介质、终端
CN117971030A (zh) * 2024-01-05 2024-05-03 深圳市腾进达信息技术有限公司 一种可提升穿戴设备操作系统显示性能的方法及系统

Similar Documents

Publication Publication Date Title
US11758088B2 (en) Method and apparatus for aligning paragraph and video
CN110297944B (zh) 分布式xml数据处理方法及系统
US11743150B2 (en) Automated root cause analysis of underperforming video streams by using language transformers on support ticket systems
CN111611129B (zh) PaaS云平台的性能监控方法及装置
CN114679602A (zh) 一种数据处理方法、装置、电子设备及存储介质
US11070499B1 (en) Analysis of content sharing in a messaging platform
CN110781373A (zh) 榜单更新方法、装置、可读介质和电子设备
CN113971243A (zh) 应用于问卷调查的数据处理方法、系统、设备及存储介质
CN113779054A (zh) 数据更新方法、装置、服务端、存储介质及程序产品
CN112367241A (zh) 消息生成和消息发送方法、装置、设备和计算机可读介质
CN112152879B (zh) 网络质量确定方法、装置、电子设备和可读存储介质
CN113992460A (zh) 消息发送方法、装置、电子设备、存储介质
CN113313623A (zh) 水印信息显示方法、装置、电子设备、计算机可读介质
CN111694932A (zh) 对话方法和装置
CN111641693A (zh) 会话数据处理方法、装置及电子设备
CN108259576B (zh) 一种软硬件实时信息传输系统和方法
CN113242439B (zh) 一种数据处理方法、设备、系统以及存储介质
CN112203103B (zh) 消息处理方法、装置、电子设备及计算机可读存储介质
CN111464599B (zh) 消息推送方法、系统、装置、计算机可读存储介质及设备
CN113947166A (zh) 问卷统计实时处理方法、系统、电子设备及存储介质
CN115632994A (zh) 消息处理方法和装置、电子设备以及计算机可读介质
CN115967695A (zh) 消息处理方法、装置和电子设备
CN114282506A (zh) 证书生成方法、系统、电子设备及存储介质
CN113190745B (zh) 信息发送方法、装置、电子设备和计算机可读介质
CN113766337B (zh) 一种处理信息的方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination