Nothing Special   »   [go: up one dir, main page]

CN113760578B - 跨进程快速传输大数据的方法、装置、设备及计算机程序 - Google Patents

跨进程快速传输大数据的方法、装置、设备及计算机程序 Download PDF

Info

Publication number
CN113760578B
CN113760578B CN202110998847.3A CN202110998847A CN113760578B CN 113760578 B CN113760578 B CN 113760578B CN 202110998847 A CN202110998847 A CN 202110998847A CN 113760578 B CN113760578 B CN 113760578B
Authority
CN
China
Prior art keywords
data
shared memory
label information
waiting task
file descriptor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110998847.3A
Other languages
English (en)
Other versions
CN113760578A (zh
Inventor
邓耀宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Terminus Technology Group Co Ltd
Original Assignee
Terminus Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Terminus Technology Group Co Ltd filed Critical Terminus Technology Group Co Ltd
Priority to CN202110998847.3A priority Critical patent/CN113760578B/zh
Publication of CN113760578A publication Critical patent/CN113760578A/zh
Application granted granted Critical
Publication of CN113760578B publication Critical patent/CN113760578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/543User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/544Buffers; Shared memory; Pipes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种跨进程快速传输大数据的方法、装置、设备及计算机程序,涉及进程间通信及消息传输技术领域,该方法包括按照先进先出原则建立等待任务集;一个或两个以上宿主进程中的每个宿主进程利用共享内存区域写入一组数据,共享内存区域的文件描述符通过binder机制传给一个或两个以上服务进程;获取每个宿主进程对应写入的一组数据的标签信息;根据所有标签信息,利用神经网络进行计算,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息;当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据。本发明具有数据传输效率高、多进程读写智能化程度高的优点。

Description

跨进程快速传输大数据的方法、装置、设备及计算机程序
技术领域
本发明涉及进程间通信及消息传输技术领域,具体涉及一种跨进程快速传输大数据的方法、装置、设备及计算机程序,特别涉及一种基于安卓系统应用跨进程快速传输大数据的方法、装置、设备、存储介质及计算机程序。
背景技术
目前安卓app有部分采用多进程的方式进行交互,层次分明,也可保证宿主进程的稳定性。安卓多进程通信的方式最常用的是binder机制,而传统的socket、管道、消息等方式效率相对较低。Binder传输数据有大小限制(1M),且binder需要拷贝一次数据(从发送进程拷贝到内核空间),效率不是很高。因此binder不适用于快速传输大数据(超过1M)的场景。另外文件共享也能实现跨进程大数据通信,然而这种方式在底层需要拷贝两次数据,效率极低。
为了克服上述缺陷,现有技术中也进行了若干尝试,例如,中国专利CN112802232A中公开了一种视频流数据的传输方法及其相关装置,其视频流数据的传输方法在自动驾驶装置和车机终端之间建立进程间通信连接,基于进程间通信机制注册第三方设备回调,以使得视频流数据可以由第三方设备传输至共享内存中,自动驾驶装置接收车机终端发送的共享文件描述符,根据共享文件描述符获取视频流数据。虽然该方法中通过共享内存来提高数据传输效率,因为进程可以直接读写内存,而不需要任何数据的拷贝。但是,在多个进程使用共享内存通信的时候,会涉及到读写数据的同步和互斥,从而导致了整体通信效率的下降。
发明内容
因此,为了克服上述缺陷,本发明实施例提供一种跨进程快速传输大数据的方法、装置、设备、存储介质及计算机程序,能够提高数据传输效率,还能够提高多进程读写数据的效率。
为此,本发明实施例的一种应用跨进程快速传输大数据的方法,包括以下步骤:
S1、按照先进先出原则建立等待任务集,所述等待任务集中的每个等待任务元素与一个或两个以上服务进程中的一个服务进程相对应;
S2、一个或两个以上宿主进程中的每个宿主进程利用共享内存区域写入一组数据,共享内存区域的文件描述符通过binder机制传给一个或两个以上服务进程;
S3、获取每个宿主进程对应写入的一组数据的标签信息,所述标签信息包括数据类型、数据表示对象、数据采集处位置和数据采集处场景;
S4、根据所有标签信息,利用神经网络进行计算,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息;
S5、当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据。
优选地,所述每个宿主进程利用共享内存区域写入一组数据,共享内存区域的文件描述符通过binder机制传给服务进程的步骤包括:
S21、宿主进程创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符;
S22、宿主进程将所述文件描述符通过binder机制传给服务进程。
优选地,所述宿主进程创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符的步骤包括:
S211、宿主进程通过反射机制获取到创建共享内存区域的系统接口;
S212、宿主进程通过所述系统接口创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符。
优选地,所述根据所有标签信息,利用神经网络进行计算,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息的步骤包括:
S41、获取多组预设数据的标签信息构成样本集,记录等待任务感兴趣的一组或两组以上预设数据对应的标签信息;
S42、将所述样本集作为输入样本,对多层神经网络进行训练、测试,直至输出的标签信息与所述记录的等待任务感兴趣的标签信息相一致,获得训练好的神经网络模型;
S43、将所述所有标签信息作为输入量依次输入所述训练好的神经网络模型,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息。
优选地,所述当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据的步骤包括:
S51-1、当前运行的一个或两个以上等待任务中的每个等待任务对应的服务进程通过binder机制向宿主进程发送数据读取询问消息;
S51-2、所述服务进程在接收到所述宿主进程通过binder机制发送的所述数据读取询问消息的反馈消息时,通过文件描述符创建相应的字节流,从共享内存区域中读取服务进程对应等待任务感兴趣的一组或两组以上数据。
本发明实施例的一种应用跨进程快速传输大数据的装置,包括:
等待任务集创建单元,用于按照先进先出原则建立等待任务集,所述等待任务集中的每个等待任务元素与一个或两个以上服务进程中的一个服务进程相对应;
数据写入单元,用于一个或两个以上宿主进程中的每个宿主进程利用共享内存区域写入一组数据,共享内存区域的文件描述符通过binder机制传给一个或两个以上服务进程;
标签信息获取单元,用于获取每个宿主进程对应写入的一组数据的标签信息,所述标签信息包括数据类型、数据表示对象、数据采集处位置和数据采集处场景等;
神经网络挑选单元,用于根据所有标签信息,利用神经网络进行计算,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息;
数据读取单元,用于当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据。
优选地,所述数据写入单元包括:
文件描述符获得单元,用于宿主进程创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符;
文件描述符传输单元,用于宿主进程将所述文件描述符通过binder机制传给服务进程。
本发明实施例的一种应用跨进程快速传输大数据的设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现上述的应用跨进程快速传输大数据的方法。
本发明实施例的一种存储介质,所述存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现上述的应用跨进程快速传输大数据的方法。
本发明实施例的一种计算机程序,其存储在计算机可读存储介质上,并且适合于在计算机上执行,其特征在于,所述计算机程序包括适于当其在所述计算机上运行时执行上述的应用跨进程快速传输大数据的方法的步骤的指令。
本发明实施例的一种跨进程快速传输大数据的方法、装置、设备、存储介质及计算机程序,具有如下优点:
1.通过将每个共享内存区域写入一个宿主进程的一组数据,为每个宿主进程的每组数据开辟一个共享内存区域,多服务进程读取各组数据时无读写数据的同步和互斥,提高了通信效率,多进程读写数据效率和数据传输效率。
2.通过神经网络进行数据的人工智能挑选,可以从宿主进程输入的多组数据中人工智能挑选出等待任务感兴趣的数据,以使等待任务对应的服务进程进行感兴趣数据的读出,提高了快速大数据传输的智能化程度。
附图说明
为了更清楚地说明本发明具体实施方式中的技术方案,下面将对具体实施方式描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例1中应用跨进程快速传输大数据的方法的一个具体示例的流程图;
图2为本发明实施例1中应用跨进程快速传输大数据的方法的另一个具体示例的流程图;
图3为本发明实施例1中应用跨进程快速传输大数据的方法的又一个具体示例的流程图;
图4为本发明实施例2中应用跨进程快速传输大数据的装置的一个具体示例的原理框图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要说明的是,本文所用的术语仅用于描述特定实施例的目的,而并非旨在限制本发明。除非上下文明确指出,否则如本文中所使用的单数形式“一”、“一个”和“该”等意图也包括复数形式。使用“包括”和/或“包含”等术语时,是意图说明存在该特征、整数、步骤、操作、元素和/或组件,而不排除一个或多个其他特征、整数、步骤、操作、元素、组件、和/或其他组合的存在或增加。术语“和/或”包括一个或多个相关列出项目的任何和所有组合。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本发明中的具体含义。
此外,本说明书中的某些图式是用于例示方法的流程图。应了解,这些流程图中的每一个方块、及这些流程图中方块的组合可通过计算机程序指令来实施。这些计算机程序指令可加载至一计算机或其他可编程的设备上来形成一机器,以使在所述计算机或其他可编程设备上执行的指令形成用于实施在所述流程图方块中所规定功能的结构。这些计算机程序指令也可储存于一计算机可读存储器中,所述计算机可读存储器可指令一计算机或其他可编程设备以一特定方式工作,以使储存于所述计算机可读存储器中的指令形成一包含用于实施在所述流程图方块中所规定功能的指令结构的制品。所述计算机程序指令也可加载至一计算机或其他可编程设备上,以便在所述计算机或其他可编程设备上执行一系列操作步骤来形成一由计算机实施的过程,从而使在所述计算机或其他可编程设备上执行的指令提供用于实施在所述流程图方块中所规定功能的步骤。
相应地,各流程图中的方块支持用于执行所规定功能的结构的组合及用于执行所规定功能的步骤的组合。还应了解,所述流程图中的每一个方块、及所述流程图中方块的组合可由执行所规定功能或步骤的基于专用硬件的计算机系统、或者专用硬件与计算机指令的组合来实施。
此外,下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
实施例1
本实施例提供一种应用跨进程快速传输大数据的方法,例如可应用于安卓系统,当多进程通信时,需要快速传输大数据的场景,例如宿主进程需要将摄像头的预览数据传送给服务进程进行计算(摄像头预览数据一般是1280×720,平均每一帧是30ms左右),如图1所示,包括以下步骤:
S1、按照先进先出原则建立等待任务集,所述等待任务集中的每个等待任务元素与一个或两个以上服务进程中的一个服务进程相对应,即每个服务进程对应于一项等待任务;
S2、一个或两个以上宿主进程中的每个宿主进程利用共享内存区域写入一组数据,共享内存区域的文件描述符通过binder机制传给一个或两个以上服务进程;
S3、获取每个宿主进程对应写入的一组数据的标签信息,所述标签信息包括数据类型、数据表示对象、数据采集处位置和数据采集处场景等;例如宿主进程需要将摄像头的预览数据进行传送,该预览数据的标签信息的数据表示对象即为摄像头照射目标,数据采集处位置即为摄像头所处位置,数据采集处场景即为摄像头所处场景;
S4、根据所有标签信息,利用神经网络进行计算,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息,从而从输入的多组数据中挑选出了等待任务感兴趣的数据;
S5、当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据,实现多进程高效率的大数据传输。
上述应用跨进程快速传输大数据的方法,通过将每个共享内存区域写入一个宿主进程的一组数据,为每个宿主进程的每组数据开辟一个共享内存区域,多服务进程读取各组数据时无读写数据的同步和互斥,提高了通信效率,多进程读写数据效率和数据传输效率。通过神经网络进行数据的人工智能挑选,可以从宿主进程输入的多组数据中人工智能挑选出等待任务感兴趣的数据,以使等待任务对应的服务进程进行感兴趣数据的读出,提高了快速大数据传输的智能化程度。
优选地,如图2所示,S2的每个宿主进程利用共享内存区域写入一组数据,共享内存区域的文件描述符通过binder机制传给服务进程的步骤包括:
S21、宿主进程创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符;优选地,内存共享机制底层采用mmap(内存映射)实现,不需要拷贝数据,速度比binder要快,且不受传输数据的大小限制。
S22、宿主进程将所述文件描述符通过binder机制传给服务进程。
优选地,S21的宿主进程创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符的步骤包括:
S211、宿主进程通过反射机制获取到创建共享内存区域的系统接口;
S212、宿主进程通过所述系统接口创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符。由于应用层的系统接口中并未开放完整的接口来实现内存共享,通过正常的开发手段并不能直接使用,所以需要通过反射机制获取到相关的系统接口,从而实现共享内存区域的创建。
优选地,S4的根据所有标签信息,利用神经网络进行计算,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息的步骤包括:
S41、获取多组预设数据的标签信息构成样本集,记录等待任务感兴趣的一组或两组以上预设数据对应的标签信息;
S42、将所述样本集作为输入样本,对多层神经网络进行训练、测试,直至输出的标签信息与所述记录的等待任务感兴趣的标签信息相一致,获得训练好的神经网络模型;优选地,多层神经网络为三层结构,第一层为输入层,输入量为标签信息,第二层为隐含层,第三层为输出层,输出量为等待任务感兴趣一组或两组以上数据的标签信息。
S43、将所述所有标签信息作为输入量依次输入所述训练好的神经网络模型,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息。
优选地,如图3所示,S5的当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据的步骤包括:
S51-1、当前运行的一个或两个以上等待任务中的每个等待任务对应的服务进程通过binder机制向宿主进程发送数据读取询问消息,用于确认宿主进程是否完成数据的写入;
S51-2、所述服务进程在接收到所述宿主进程通过binder机制发送的所述数据读取询问消息的反馈消息时,即表明宿主进程已完成数据的写入,允许服务进程读取,通过文件描述符创建相应的字节流,从共享内存区域中读取服务进程对应等待任务感兴趣的一组或两组以上数据。
优选地,除了上述S51-1至S51-2的具体步骤以外,S5的当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据的步骤还可以采用以下具体步骤:
S52-1、当前运行的一个或两个以上等待任务中的每个等待任务对应的服务进程开启死循环进行通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据,服务进程和宿主进程双方约定一个标识(例如序列号等),通过标识的改变来判断共享内存区域的数据是否发生变化。
实施例2
对应于实施例1,本实施例提供一种应用跨进程快速传输大数据的装置,如图4所示,包括:
等待任务集创建单元1,用于按照先进先出原则建立等待任务集,所述等待任务集中的每个等待任务元素与一个或两个以上服务进程中的一个服务进程相对应;
数据写入单元2,用于一个或两个以上宿主进程中的每个宿主进程利用共享内存区域写入一组数据,共享内存区域的文件描述符通过binder机制传给一个或两个以上服务进程;
标签信息获取单元3,用于获取每个宿主进程对应写入的一组数据的标签信息,所述标签信息包括数据类型、数据表示对象、数据采集处位置和数据采集处场景等;
神经网络挑选单元4,用于根据所有标签信息,利用神经网络进行计算,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息;
数据读取单元5,用于当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据。
上述应用跨进程快速传输大数据的装置,通过将每个共享内存区域写入一个宿主进程的一组数据,为每个宿主进程的每组数据开辟一个共享内存区域,多服务进程读取各组数据时无读写数据的同步和互斥,提高了通信效率,多进程读写数据效率和数据传输效率。通过神经网络进行数据的人工智能挑选,可以从宿主进程输入的多组数据中人工智能挑选出等待任务感兴趣的数据,以使等待任务对应的服务进程进行感兴趣数据的读出,提高了快速大数据传输的智能化程度。
优选地,数据写入单元包括:
文件描述符获得单元,用于宿主进程创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符;
文件描述符传输单元,用于宿主进程将所述文件描述符通过binder机制传给服务进程。
优选地,文件描述符获得单元包括:
系统接口获得单元,用于宿主进程通过反射机制获取到创建共享内存区域的系统接口;
文件描述符获得子单元,用于宿主进程通过所述系统接口创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符。
优选地,神经网络挑选单元包括:
样本集构建单元,用于获取多组预设数据的标签信息构成样本集,记录等待任务感兴趣的一组或两组以上预设数据对应的标签信息;
训练单元,用于将所述样本集作为输入样本,对多层神经网络进行训练、测试,直至输出的标签信息与所述记录的等待任务感兴趣的标签信息相一致,获得训练好的神经网络模型;
感兴趣标签信息获得单元,用于将所述所有标签信息作为输入量依次输入所述训练好的神经网络模型,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息。
优选地,数据读取单元包括:
询问单元,用于当前运行的一个或两个以上等待任务中的每个等待任务对应的服务进程通过binder机制向宿主进程发送数据读取询问消息;
确认反馈单元,用于所述服务进程在接收到所述宿主进程通过binder机制发送的所述数据读取询问消息的反馈消息时,通过文件描述符创建相应的字节流,从共享内存区域中读取服务进程对应等待任务感兴趣的一组或两组以上数据。
或者数据读取单元包括:
死循环读取单元,用于当前运行的一个或两个以上等待任务中的每个等待任务对应的服务进程开启死循环进行通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据,服务进程和宿主进程双方约定一个标识(例如序列号等),通过标识的改变来判断共享内存区域的数据是否发生变化。
实施例3
本实施例提供一种应用跨进程快速传输大数据的设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现实施例1中的应用跨进程快速传输大数据的方法。
实施例4
本实施例提供一种存储介质,所述存储介质上存储有指令,所述指令被处理器执行时实现实施例1中的应用跨进程快速传输大数据的方法。
实施例5
本实施例提供一种计算机程序,其存储在计算机可读存储介质上,并且适合于在计算机上执行,所述计算机程序包括适于当其在所述计算机上运行时执行实施例1的应用跨进程快速传输大数据的方法的步骤的指令。
显然,上述实施例仅仅是为清楚地说明所作的举例,而并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (8)

1.一种应用跨进程快速传输大数据的方法,其特征在于,包括以下步骤:
S1、按照先进先出原则建立等待任务集,所述等待任务集中的每个等待任务元素与一个或两个以上服务进程中的一个服务进程相对应;
S2、一个或两个以上宿主进程中的每个宿主进程利用共享内存区域写入一组数据,共享内存区域的文件描述符通过binder机制传给一个或两个以上服务进程;
S3、获取每个宿主进程对应写入的一组数据的标签信息,所述标签信息包括数据类型、数据表示对象、数据采集处位置和数据采集处场景;
S4、根据所有标签信息,利用神经网络进行计算,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息;
S5、当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据;
所述根据所有标签信息,利用神经网络进行计算,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息的步骤包括:
S41、获取多组预设数据的标签信息构成样本集,记录等待任务感兴趣的一组或两组以上预设数据对应的标签信息;
S42、将所述样本集作为输入样本,对多层神经网络进行训练、测试,直至输出的标签信息与所述记录的等待任务感兴趣的标签信息相一致,获得训练好的神经网络模型;
S43、将所述所有标签信息作为输入量依次输入所述训练好的神经网络模型,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息。
2.根据权利要求1所述的方法,其特征在于,所述每个宿主进程利用共享内存区域写入一组数据,共享内存区域的文件描述符通过binder机制传给服务进程的步骤包括:
S21、宿主进程创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符;
S22、宿主进程将所述文件描述符通过binder机制传给服务进程。
3.根据权利要求2所述的方法,其特征在于,所述宿主进程创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符的步骤包括:
S211、宿主进程通过反射机制获取到创建共享内存区域的系统接口;
S212、宿主进程通过所述系统接口创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符。
4.根据权利要求1所述的方法,其特征在于,所述当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据的步骤包括:
S51-1、当前运行的一个或两个以上等待任务中的每个等待任务对应的服务进程通过binder机制向宿主进程发送数据读取询问消息;
S51-2、所述服务进程在接收到所述宿主进程通过binder机制发送的所述数据读取询问消息的反馈消息时,通过文件描述符创建相应的字节流,从共享内存区域中读取服务进程对应等待任务感兴趣的一组或两组以上数据。
5.一种应用跨进程快速传输大数据的装置,其特征在于,包括:
等待任务集创建单元,用于按照先进先出原则建立等待任务集,所述等待任务集中的每个等待任务元素与一个或两个以上服务进程中的一个服务进程相对应;
数据写入单元,用于一个或两个以上宿主进程中的每个宿主进程利用共享内存区域写入一组数据,共享内存区域的文件描述符通过binder机制传给一个或两个以上服务进程;
标签信息获取单元,用于获取每个宿主进程对应写入的一组数据的标签信息,所述标签信息包括数据类型、数据表示对象、数据采集处位置和数据采集处场景等;
神经网络挑选单元,用于根据所有标签信息,利用神经网络进行计算,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息;
数据读取单元,用于当前运行的一个或两个以上等待任务对应的每个服务进程通过文件描述符从共享内存区域中读取其感兴趣的一组或两组以上数据;
所述神经网络挑选单元包括:
样本集构建单元,用于获取多组预设数据的标签信息构成样本集,记录等待任务感兴趣的一组或两组以上预设数据对应的标签信息;
训练单元,用于将所述样本集作为输入样本,对多层神经网络进行训练、测试,直至输出的标签信息与所述记录的等待任务感兴趣的标签信息相一致,获得训练好的神经网络模型;
感兴趣标签信息获得单元,用于将所述所有标签信息作为输入量依次输入所述训练好的神经网络模型,获得每个服务进程对应等待任务的感兴趣的一组或两组以上数据的标签信息。
6.根据权利要求5所述的装置,其特征在于,所述数据写入单元包括:
文件描述符获得单元,用于宿主进程创建固定大小的共享内存区域,获得所述共享内存区域的文件描述符;
文件描述符传输单元,用于宿主进程将所述文件描述符通过binder机制传给服务进程。
7.一种应用跨进程快速传输大数据的设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-4中任一所述的应用跨进程快速传输大数据的方法。
8.一种存储介质,所述存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现如权利要求1-4中任一所述的应用跨进程快速传输大数据的方法。
CN202110998847.3A 2021-08-28 2021-08-28 跨进程快速传输大数据的方法、装置、设备及计算机程序 Active CN113760578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110998847.3A CN113760578B (zh) 2021-08-28 2021-08-28 跨进程快速传输大数据的方法、装置、设备及计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110998847.3A CN113760578B (zh) 2021-08-28 2021-08-28 跨进程快速传输大数据的方法、装置、设备及计算机程序

Publications (2)

Publication Number Publication Date
CN113760578A CN113760578A (zh) 2021-12-07
CN113760578B true CN113760578B (zh) 2022-04-19

Family

ID=78791597

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110998847.3A Active CN113760578B (zh) 2021-08-28 2021-08-28 跨进程快速传输大数据的方法、装置、设备及计算机程序

Country Status (1)

Country Link
CN (1) CN113760578B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114401265A (zh) * 2021-12-15 2022-04-26 中孚安全技术有限公司 一种基于远程桌面协议的tcp透明代理实现方法、系统及装置
CN115016957B (zh) * 2022-05-26 2024-03-22 湖南三一智能控制设备有限公司 一种跨进程内存共享的方法、装置、终端及车辆
CN115357410B (zh) * 2022-08-24 2024-03-29 锐仕方达人才科技集团有限公司 一种基于大数据的数据跨进程压缩存储方法及系统
CN116709609B (zh) * 2022-09-30 2024-05-14 荣耀终端有限公司 消息传递方法、电子设备及存储介质

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004675A (zh) * 2010-11-11 2011-04-06 福建星网锐捷网络有限公司 跨进程数据传输方法、装置及网络设备
CN109213611A (zh) * 2018-08-01 2019-01-15 天津字节跳动科技有限公司 跨进程通讯方法、装置、终端及存储介质
CN109508246A (zh) * 2018-06-25 2019-03-22 广州多益网络股份有限公司 日志记录方法、系统和计算机可读存储介质
CN109669784A (zh) * 2017-10-13 2019-04-23 华为技术有限公司 一种进程间通信的方法及系统
US10474512B1 (en) * 2016-09-29 2019-11-12 Amazon Technologies, Inc. Inter-process intra-application communications
CN111506436A (zh) * 2020-03-25 2020-08-07 炬星科技(深圳)有限公司 实现内存共享的方法、电子设备和共享内存数据管理库
CN111651286A (zh) * 2020-05-27 2020-09-11 泰康保险集团股份有限公司 数据通信方法、装置及计算设备、存储介质
CN111897666A (zh) * 2020-08-05 2020-11-06 北京图森未来科技有限公司 用于多进程之间通信的方法、设备及系统
CN111984430A (zh) * 2019-05-22 2020-11-24 厦门雅迅网络股份有限公司 多对多的进程通信方法及计算机可读存储介质
CN112506684A (zh) * 2021-02-05 2021-03-16 全时云商务服务股份有限公司 一种跨进程快速传送大数据的方法、系统及存储介质
CN112749023A (zh) * 2019-10-30 2021-05-04 阿里巴巴集团控股有限公司 一种信息的处理方法、装置、设备及系统
CN112802232A (zh) * 2021-03-22 2021-05-14 智道网联科技(北京)有限公司 视频流数据的传输方法及其相关装置
CN112906075A (zh) * 2021-03-15 2021-06-04 北京字节跳动网络技术有限公司 一种内存共享的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200364100A1 (en) * 2019-05-14 2020-11-19 Microsoft Technology Licensing, Llc Memory abstraction for lock-free inter-process communication

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102004675A (zh) * 2010-11-11 2011-04-06 福建星网锐捷网络有限公司 跨进程数据传输方法、装置及网络设备
US10474512B1 (en) * 2016-09-29 2019-11-12 Amazon Technologies, Inc. Inter-process intra-application communications
CN109669784A (zh) * 2017-10-13 2019-04-23 华为技术有限公司 一种进程间通信的方法及系统
CN109508246A (zh) * 2018-06-25 2019-03-22 广州多益网络股份有限公司 日志记录方法、系统和计算机可读存储介质
CN109213611A (zh) * 2018-08-01 2019-01-15 天津字节跳动科技有限公司 跨进程通讯方法、装置、终端及存储介质
CN111984430A (zh) * 2019-05-22 2020-11-24 厦门雅迅网络股份有限公司 多对多的进程通信方法及计算机可读存储介质
CN112749023A (zh) * 2019-10-30 2021-05-04 阿里巴巴集团控股有限公司 一种信息的处理方法、装置、设备及系统
CN111506436A (zh) * 2020-03-25 2020-08-07 炬星科技(深圳)有限公司 实现内存共享的方法、电子设备和共享内存数据管理库
CN111651286A (zh) * 2020-05-27 2020-09-11 泰康保险集团股份有限公司 数据通信方法、装置及计算设备、存储介质
CN111897666A (zh) * 2020-08-05 2020-11-06 北京图森未来科技有限公司 用于多进程之间通信的方法、设备及系统
CN112506684A (zh) * 2021-02-05 2021-03-16 全时云商务服务股份有限公司 一种跨进程快速传送大数据的方法、系统及存储介质
CN112906075A (zh) * 2021-03-15 2021-06-04 北京字节跳动网络技术有限公司 一种内存共享的方法及装置
CN112802232A (zh) * 2021-03-22 2021-05-14 智道网联科技(北京)有限公司 视频流数据的传输方法及其相关装置

Also Published As

Publication number Publication date
CN113760578A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113760578B (zh) 跨进程快速传输大数据的方法、装置、设备及计算机程序
KR100894520B1 (ko) 전자 회의 시스템, 전자 회의 지원 방법, 전자 회의 제어장치, 휴대형 기억 기기
KR20180023326A (ko) 전자 장치 및 이미지 센서로부터 획득된 이미지를 어플리케이션으로 전달하기 위한 방법
US20100220098A1 (en) Converting 3D Data to Hogel Data
CN108881227B (zh) 远程白板系统的操作控制方法和装置、远程白板系统
CN105227850B (zh) 使能元数据存储子系统
CN103414904A (zh) 医学大容量dicom动态影像数据压缩存储方法
US10942771B2 (en) Method, apparatus and system for multi-module scheduling
JP2023519405A (ja) ハードウェアアクセラレータをスケジューリングするための方法およびタスクスケジューラ
CN111615692A (zh) 数据搬运方法、计算处理装置、设备及存储介质
CN101997900A (zh) 一种跨终端的拷贝粘贴系统、装置及方法
CN110415318B (zh) 图像处理方法和装置
CN107741965B (zh) 数据库同步处理方法、装置、计算设备及计算机存储介质
CN111400213B (zh) 传输数据的方法、装置及系统
CN109960571A (zh) 一种多模块调度方法、装置及系统
CN116166582A (zh) 一种数据的读写方法、系统、设备及存储介质
CN118036776A (zh) 一种模型训练方法及相关装置
CN115714839A (zh) 图像处理电路、装置、方法、芯片及电子设备
CN205050186U (zh) 一种实时自动订房系统
WO2019037073A1 (zh) 一种数据同步的方法、装置及服务器
CN102984599B (zh) 基于RapidIO协议网络的视频采集传输装置及方法
CN105184379A (zh) 一种利用机器人实现实时自动订房的方法
CN111400598A (zh) 信息推送方法、服务器、多端口转发器和存储介质
US20050256979A1 (en) [direct memory access method for card reader and a method for programming controller of card reader]
CN118796116A (zh) 数据处理方法、装置、相关设备、存储介质及计算机程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant