Nothing Special   »   [go: up one dir, main page]

CN111787418B - 基于人工智能ai的音视频流的对接处理方法及相关设备 - Google Patents

基于人工智能ai的音视频流的对接处理方法及相关设备 Download PDF

Info

Publication number
CN111787418B
CN111787418B CN202010585004.6A CN202010585004A CN111787418B CN 111787418 B CN111787418 B CN 111787418B CN 202010585004 A CN202010585004 A CN 202010585004A CN 111787418 B CN111787418 B CN 111787418B
Authority
CN
China
Prior art keywords
audio
video
control platform
interception
frequency
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010585004.6A
Other languages
English (en)
Other versions
CN111787418A (zh
Inventor
余强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lian Intellectual Property Service Center
Shenzhen Siyou Technology Co ltd
Original Assignee
Shenzhen Siyou Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Siyou Technology Co ltd filed Critical Shenzhen Siyou Technology Co ltd
Priority to CN202010585004.6A priority Critical patent/CN111787418B/zh
Publication of CN111787418A publication Critical patent/CN111787418A/zh
Application granted granted Critical
Publication of CN111787418B publication Critical patent/CN111787418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • H04L67/141—Setup of application sessions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明涉及人工智能技术领域，提供一种基于人工智能AI的音视频流的对接处理方法，包括：接收控制平台发送的地址获取请求；调用负载均衡接口，从音视频处理平台对应的多个服务器中确定当前处于空闲状态的目标服务器的地址；向控制平台发送地址；接收控制平台发送的RTMP流的URL地址；向控制平台发送截图截流指令，截图截流指令用于指示控制平台对URL地址的所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取，并将截取到的目标图片以及目标音视频文件发送给目标服务器。本发明还涉及区块链技术，可以由控制平台将目标图片以及目标音视频文件上传至区块链。本发明可应用于智慧政务/智慧社区场景中，从而推动智慧城市的建设。

Description

基于人工智能AI的音视频流的对接处理方法及相关设备
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于人工智能AI的音视频流的对接处理方法及相关设备。
背景技术
在人工智能(Artificial Intelligence，AI)视频面审中，基于风控要求，需要对客户做多种AI技术，包括人脸检测，背景检测，声纹识别，活体检测等。而所有的这些AI技术应用，都要先实现一个前提：获取到客户侧的音视频流，而AI视频面审中，会有多个视频呼入，客户侧的音视频流会有大量的高并发交互，在实时交互中可能会出现中断。
因此，在AI视频面审中，如何与客户侧的音视频流进行对接以确保实时交互的稳定性是一个亟待解决的技术问题。
发明内容
鉴于以上内容，有必要提供一种基于人工智能AI的音视频流的对接处理方法及相关设备，能够与客户侧的音视频流进行对接，同时，确保实时交互的稳定性。
本发明的第一方面提供一种基于人工智能AI的音视频流的对接处理方法，应用于音视频处理平台，所述基于人工智能AI的音视频流的对接处理方法包括：
接收控制平台发送的地址获取请求；
调用负载均衡接口，从所述音视频处理平台对应的多个服务器中确定当前处于空闲状态的目标服务器的地址；
向所述控制平台发送所述地址，以使所述控制平台根据所述地址，与所述目标服务器建立超文本传输协议HTTP连接；
接收所述控制平台发送的实时消息传输协议RTMP流的统一资源定位符URL地址；
向所述控制平台发送截图截流指令，所述截图截流指令用于指示所述控制平台对所述URL地址的所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取，并将截取到的目标图片以及目标音视频文件发送给所述目标服务器，其中，图片截取的频率和音视频文件截取的频率是根据所述控制平台的最低支持截流频率分别设置的不同的频率。
在一种可能的实现方式中，所述调用负载均衡接口，从所述音视频处理平台对应的多个服务器中确定当前处于空闲状态的目标服务器的地址包括：
获取所述音视频处理平台对应的多个服务器当前的指标参数，所述指标参数包括当前接入视频数量、内存以及中央处理器CPU占用率；
根据预设的负载均衡算法，对每个所述服务器当前的指标参数进行加权计算，获得加权值；
根据所述加权值，从多个所述服务器中确定当前处于空闲状态的目标服务器，并获取所述目标服务器的地址。
在一种可能的实现方式中，所述基于人工智能AI的音视频流的对接处理方法还包括：
获取所述控制平台的最低支持截流频率；
根据所述最低支持截流频率，设置正常截流频率以及异常截流频率；
所述向所述控制平台发送截图截流指令包括:
向所述控制平台发送携带有所述正常截流频率以及所述异常截流频率的截图截流指令，以使所述控制平台根据所述正常截流频率对有人脸的实时RTMP流进行截流操作以及根据所述异常截流频率对没有人脸的实时RTMP流进行截流操作。
在一种可能的实现方式中，所述基于人工智能AI的音视频流的对接处理方法还包括：
接收所述控制平台发送的HTTP的DELETE请求，所述DELETE请求中携带有RTMP流标识；
向所述控制平台发送关闭指令，所述关闭指令用于指示所述控制平台关闭与所述RTMP流标识对应的音视频的截图截流操作。
本发明的第二方面提供一种基于人工智能AI的音视频流的对接处理方法，应用于控制平台，所述基于人工智能AI的音视频流的对接处理方法包括：
在检测到用户呼入后，向音视频处理平台发送地址获取请求；
接收所述音视频处理平台返回的服务器地址，向所述服务器地址对应的目标服务器发送连接请求，并与所述目标服务器建立超文本传输协议HTTP连接，其中，所述连接请求携带有实时消息传输协议RTMP流的统一资源定位符URL地址；
当接收到所述音视频处理平台发送的截图截流指令时，响应所述截图截流指令，对所述URL地址所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取；
将截取到的目标图片以及目标音视频文件发送给所述目标服务器。
在一种可能的实现方式中，所述基于人工智能AI的音视频流的对接处理方法还包括：
获取所述控制平台与所述音视频处理平台的音视频流的交互时长；
判断所述交互时长是否大于预设时长；
若所述交互时长大于预设时长，在所述控制平台内部建立新组件，所述新组件用于将音视频流接收功能和截图截流功能分开；
按照接收到的正常截流频率以及异常截流频率进行截流操作，其中，所述正常截流频率以及所述异常截流频率均是按照所述控制平台的最低支持截流频率被设置的。
本发明的第三方面提供一种音视频处理平台，所述音视频处理平台包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的基于人工智能AI的音视频流的对接处理方法。
本发明的第四方面提供一种控制平台，所述控制平台包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现所述的基于人工智能AI的音视频流的对接处理方法。
本发明的第五方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述的基于人工智能AI的音视频流的对接处理方法。
在上述技术方案中，通过HTTP+RTMP流方式，实现了控制平台和音视频处理平台之间的音视频流对接，音视频处理平台能够获取到客户侧的音视频相关图片和文件，满足了灵活处理业务中的各种截图截流需求，同时，还能够按照不同频率从客户侧的音视频流中获取图片、声音以及视频文件，既确保了控制平台的稳定性，同时，也较好地支持业务的高并发以及高可用性。
附图说明
图1是本发明公开的一种基于人工智能AI的音视频流的对接处理方法的较佳实施例的流程图。
图2是本发明公开的另一种基于人工智能AI的音视频流的对接处理方法的较佳实施例的流程图。
图3是本发明公开的一种对接处理装置的较佳实施例的功能模块图。
图4是本发明公开的另一种对接处理装置的较佳实施例的功能模块图。
图5是本发明实现基于人工智能AI的音视频流的对接处理方法的较佳实施例的音视频处理平台的结构示意图。
图6是本发明实现基于人工智能AI的音视频流的对接处理方法的较佳实施例的控制平台的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请的说明书和权利要求书中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
请参见图1，图1是本发明公开的一种基于人工智能AI的音视频流的对接处理方法的较佳实施例的流程图。其中，该基于人工智能AI的音视频流的对接处理方法应用于音视频处理平台，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S11、接收控制平台发送的地址获取请求。
S12、调用负载均衡接口，从所述音视频处理平台对应的多个服务器中确定当前处于空闲状态的目标服务器的地址。
其中，因为音视频流的特性是点对点方案，需要保证视频呼入期间只能在2台上下游服务器之间交互。即一旦客户侧音视频流到达控制平台中的A1服务器，传递到音视频处理平台的B1服务器。这一通视频就不能在控制平台的A2服务器与音视频处理平台的B2服务器之间交互。因此，需要采用负载均衡方案来平衡音视频处理平台对应的多个服务器。
具体的，所述调用负载均衡接口，从所述音视频处理平台对应的多个服务器中确定当前处于空闲状态的目标服务器的地址包括：
获取所述音视频处理平台对应的多个服务器当前的指标参数，所述指标参数包括当前接入视频数量、内存以及中央处理器CPU占用率；
根据预设的负载均衡算法，对每个所述服务器当前的指标参数进行加权计算，获得加权值；
根据所述加权值，从多个所述服务器中确定当前处于空闲状态的目标服务器，并获取所述目标服务器的地址。
其中，通过负载均衡方案，可以保证所述音视频处理平台的各个服务器接入的视频呼入大致相同。
S13、向所述控制平台发送所述地址，以使所述控制平台根据所述地址，与所述目标服务器建立超文本传输协议HTTP连接。
S14、接收所述控制平台发送的实时消息传输协议RTMP流的统一资源定位符URL地址。
其中，RTMP(Real Time Messaging Protocol，实时消息传输协议)是一种设计用来进行实时数据通信的网络协议，主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。URL(Uniform Resource Locator,统一资源定位符)，即网络地址，它是WWW的统一资源定位标志。
S15、向所述控制平台发送截图截流指令，所述截图截流指令用于指示所述控制平台对所述URL地址的所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取，并将截取到的目标图片以及目标音视频文件发送给所述目标服务器，其中，图片截取的频率和音视频文件截取的频率是根据所述控制平台的最低支持截流频率分别设置的不同的频率。
其中，可以通过开源的FFmpeg技术，使用FFmpeg技术的librtmp库以及编解码库来执行截图和截视频操作，具体的，可以调用FFmpeg的librtmp库以及编解码库，针对一个实时RTMP流进行截图和截视频，生成jpg/mp4的文件保存至目标服务器。
其中，根据所述控制平台的最低支持截流频率设置截图截流频率，可以确保控制平台的稳定性。此外，采用不同的频率来进行图片截取和音视频文件截取，可以较好地支持业务的高并发以及高可用性，确保音视频流实时交互的稳定性。
其中，音视频处理平台，需要存储大量的图片、视频和音频文件。基于响应时效微妙级别，多存少读业务场景，大量文件大小必须小于500k的场景，本案采用了共享NAS存储方案，并且做到读写分离。目标服务器接收到目标图片和目标音视频文件后，就可以把目标图片和目标音视频文件发送给NAS集群中的服务器进行存储。通过这种存储方式，可以保证文件的安全性。
其中，截图截流指令还会携带有操作属性信息，比如：在N秒内，每秒截M张图片，共截N*M张图片，截取N秒的视频文件(包含声音)。
其中，本案可以将截取的图片和音视频文件直接用于AI人脸检测，而不需要截取音视频流，图片/音视频文件相对于音视频流来说，截取的效率更高，同时，还可以节省存储空间。
所述基于人工智能AI的音视频流的对接处理方法还包括：
获取所述控制平台的最低支持截流频率；
根据所述最低支持截流频率，设置正常截流频率以及异常截流频率；
所述向所述控制平台发送截图截流指令包括:
向所述控制平台发送携带有所述正常截流频率以及所述异常截流频率的截图截流指令，以使所述控制平台根据所述正常截流频率对有人脸的实时RTMP流进行截流操作以及根据所述异常截流频率对没有人脸的实时RTMP流进行截流操作。
其中，在AI人脸检测场景中，需要每秒进行一次AI人脸检测，这就要求每秒都获取一通视频的图片，视频，声音文件。同时，多个视频呼入，会有大量的高并发交互，需要保证稳定性。
其中，AI人脸检测如果正常，需要使用一个固定频率获取图片，AI人脸检测如果异常就需要加快获取图片，提高频率，比如达到1000ms一次。测试过程中发现，一旦加快频率，会造成控制平台宕机。
因为控制平台不能良好支持检测频率的变更，需要确保控制平台在交互时的稳定性，需要根据控制平台的最低支持截流频率，设置正常截流频率以及异常截流频率，具体的，可以设置正常截流频率以及异常截流频率为最低支持截流频率的倍数。比如最低支持每2000ms检测一次，那么正常检测频率是4000ms，异常检测频率是2000ms。
在该实施方式中，按照不同频率从客户侧的音视频流中获取图片、声音以及视频文件，既确保了控制平台的稳定性，同时，也较好地支持业务的高并发以及高可用性。
所述基于人工智能AI的音视频流的对接处理方法还包括：
接收所述控制平台发送的携带有RTMP流标识的转人工请求；
响应所述转人工请求，向所述控制平台发送针对所述RTMP流标识对应的实时RTMP流的截图截流结束指令，以使所述控制平台停止截图截流操作。
其中，控制平台获取到转人工事件后，会在客户转人工成功后，通过HTTP请求告知音视频处理平台。具体的，控制平台把转人工的RTMP流标识和时间戳发给音视频处理平台。方便音视频处理平台记录转人工时间，并指示控制平台结束该视频的截图截流。需要说明的是，此时，仍然会占用控制平台的资源，只是当前控制平台与音视频处理平台不交互。
所述基于人工智能AI的音视频流的对接处理方法还包括：
接收所述控制平台发送的HTTP的DELETE请求，所述DELETE请求中携带有RTMP流标识；
向所述控制平台发送关闭指令，所述关闭指令用于指示所述控制平台关闭与所述RTMP流标识对应的音视频的截图截流操作。
其中，一轮截图截流结束，控制平台向音视频处理平台发起HTTP的DELETE请求，传递RTMP流标识，控制平台接收到关闭指令，将这通视频关闭，此时，这通视频的截图截流操作被关闭。
在图1所描述的方法流程中，采用HTTP+RTMP方式实现了音视频流的对接，同时，设置负载均衡接口、根据控制平台最低支持截流频率设置不同的截图频率和音视频截取频率，不仅可以均衡所述音视频处理平台的各个服务器的负载，还可以较好地支持业务的高并发以及高可用性，确保音视频流实时交互的稳定性。此外，本案不是截取音视频流，而是截取图片/音视频文件，图片/音视频文件相对于音视频流来说，截取的效率更高，同时，还可以节省存储空间。
请参见图2，图2是本发明公开的另一种基于人工智能AI的音视频流的对接处理方法的较佳实施例的流程图。其中，该基于人工智能AI的音视频流的对接处理方法应用于控制平台，根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。
S21、在检测到用户呼入后，向音视频处理平台发送地址获取请求。
S22、接收所述音视频处理平台返回的服务器地址，向所述服务器地址对应的目标服务器发送连接请求，并与所述目标服务器建立超文本传输协议HTTP连接，其中，所述连接请求携带有实时消息传输协议RTMP流的统一资源定位符URL地址。
其中，可选的，所述连接请求还会携带主叫号(比如分机号地址)，申请号(主要是业务属性信息，比如客户信息号)、呼入时间以及路由号。
S23、当接收到所述音视频处理平台发送的截图截流指令时，响应所述截图截流指令，对所述URL地址所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取。
其中，截图截流指令还会携带有操作属性信息，比如：在N秒内，每秒截M张图片，共截N*M张图片，截取N秒的视频文件(包含声音)。控制平台在N秒内，每秒截M张图片，共截N*M张图片。
S24、将截取到的目标图片以及目标音视频文件发送给所述目标服务器。
可选的，所述方法还包括：
将目标图片以及目标音视频文件上传至区块链。
其中，为了确保数据的私密性和安全性，可以将目标图片以及目标音视频文件上传至区块链进行保存。
具体的，控制平台可以将抽帧图片/视频/音频文件以base64进行编码后，以JSON格式发送给音视频处理平台的目标服务器。
之后，目标服务器把目标图片和目标音视频文件发送给NAS集群中的服务器进行存储。通过这种存储方式，可以保证文件的安全性。
所述基于人工智能AI的音视频流的对接处理方法还包括：
获取所述控制平台与所述音视频处理平台的音视频流的交互时长；
判断所述交互时长是否大于预设时长；
若所述交互时长大于预设时长，在所述控制平台内部建立新组件，所述新组件用于将音视频流接收功能和截图截流功能分开；
按照接收到的正常截流频率以及异常截流频率进行截流操作，其中，所述正常截流频率以及所述异常截流频率均是按照所述控制平台的最低支持截流频率被设置的。
其中，控制平台和音视频处理平台交互的目的是获取图片和音视频文件。在测试环境中，出现获取控制平台的图片滞后，响应慢的问题，无法应用到生产环境。
其中，交互时长即音视频处理平台下发指令与获取到图片的时长。如果交互时长大于预设时长，表明响应延迟，需要采取相关措施。
本案中，在控制平台内部建立新组件，将音视频流接收功能和截图截流功能分开，在一通呼入的时候接收音视频流只有一次，保持现在呼入的每一通音视频流，而不是像最开始的时候，每次截图都要去拉音视频流。
其中，AI人脸检测如果正常，需要使用一个固定频率获取图片，AI人脸检测如果异常就需要加快获取图片，提高频率，比如达到1000ms一次。测试过程中发现，一旦加快频率，会造成控制平台宕机。
因为控制平台不能良好支持检测频率的变更，需要确保控制平台在交互时的稳定性，音视频处理平台需要根据控制平台的最低支持截流频率，设置正常截流频率以及异常截流频率，并将设置好的正常截流频率以及异常截流频率发送给控制平台。
具体的，可以设置正常截流频率以及异常截流频率为最低支持截流频率的倍数。比如最低支持每2000ms检测一次，那么正常检测频率是4000ms，异常检测频率是2000ms。
通过以上措施，除了最初一次截图截流延迟较大3000ms外，其他视频通话过程中的每次截图截流响应时效，都控制在1000ms左右，能够较好的支持业务场景要求，并且较好的支持高并发，高可用。
在图2所描述的方法流程中，通过HTTP+RTMP流方式，实现了控制平台和音视频处理平台之间的音视频流对接，音视频处理平台能够获取到客户侧的音视频相关图片和文件，满足了灵活处理业务中的各种截图截流需求，同时，还能够按照不同频率从客户侧的音视频流中获取图片、声音以及视频文件，既确保了控制平台的稳定性，同时，也较好地支持业务的高并发以及高可用性。
以上所述，仅是本发明的具体实施方式，但本发明的保护范围并不局限于此，对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出改进，但这些均属于本发明的保护范围。
请参见图3，图3是本发明公开的一种对接处理装置的较佳实施例的功能模块图。在一些实施例中，所述对接处理装置运行于音视频处理平台中。所述对接处理装置可以包括多个由程序代码段所组成的功能模块。所述对接处理装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图1所描述的基于人工智能AI的音视频流的对接处理方法中的部分或全部步骤，具体请参见图1中的相关描述，在此不再赘述。
本实施例中，所述对接处理装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：接收模块301、确定模块302及发送模块303。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
接收模块301，用于接收控制平台发送的地址获取请求。
确定模块302，用于调用负载均衡接口，从所述音视频处理平台对应的多个服务器中确定当前处于空闲状态的目标服务器的地址。
发送模块303，用于向所述控制平台发送所述地址，以使所述控制平台根据所述地址，与所述目标服务器建立超文本传输协议HTTP连接。
所述接收模块301，还用于接收所述控制平台发送的实时消息传输协议RTMP流的统一资源定位符URL地址。
所述发送模块303，还用于向所述控制平台发送截图截流指令，所述截图截流指令用于指示所述控制平台对所述URL地址的所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取，并将截取到的目标图片以及目标音视频文件发送给所述目标服务器，其中，图片截取的频率和音视频文件截取的频率是根据所述控制平台的最低支持截流频率分别设置的不同的频率。
在图3所描述的对接处理装置中，采用HTTP+RTMP方式实现了音视频流的对接，同时，设置负载均衡接口、根据控制平台最低支持截流频率设置不同的截图频率和音视频截取频率，不仅可以均衡所述音视频处理平台的各个服务器的负载，还可以较好地支持业务的高并发以及高可用性，确保音视频流实时交互的稳定性。此外，本案不是截取音视频流，而是截取图片/音视频文件，图片/音视频文件相对于音视频流来说，截取的效率更高，同时，还可以节省存储空间。
请参见图4，图4是本发明公开的另一种对接处理装置的较佳实施例的功能模块图。在一些实施例中，所述对接处理装置运行于控制平台中。所述对接处理装置可以包括多个由程序代码段所组成的功能模块。所述对接处理装置中的各个程序段的程序代码可以存储于存储器中，并由至少一个处理器所执行，以执行图2所描述的基于人工智能AI的音视频流的对接处理方法中的部分或全部步骤，具体请参见图2中的相关描述，在此不再赘述。
本实施例中，所述对接处理装置根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：传输模块401、建立模块402及截取模块403。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。
传输模块401，用于在检测到用户呼入后，向音视频处理平台发送地址获取请求。
所述传输模块401，还用于接收所述音视频处理平台返回的服务器地址，向所述服务器地址对应的目标服务器发送连接请求。
建立模块402，用于与所述目标服务器建立超文本传输协议HTTP连接，其中，所述连接请求携带有实时消息传输协议RTMP流的统一资源定位符URL地址。
截取模块403，用于当接收到所述音视频处理平台发送的截图截流指令时，响应所述截图截流指令，对所述URL地址所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取。
所述传输模块401，还用于将截取到的目标图片以及目标音视频文件发送给所述目标服务器。
在图4所描述的对接处理装置中，通过HTTP+RTMP流方式，实现了控制平台和音视频处理平台之间的音视频流对接，音视频处理平台能够获取到客户侧的音视频相关图片和文件，满足了灵活处理业务中的各种截图截流需求，同时，还能够按照不同频率从客户侧的音视频流中获取图片、声音以及视频文件，既确保了控制平台的稳定性，同时，也较好地支持业务的高并发以及高可用性。
如图5所示，图5是本发明实现基于人工智能AI的音视频流的对接处理方法的较佳实施例的音视频处理平台的结构示意图。所述音视频处理平台5包括存储器51、至少一个处理器52、存储在所述存储器51中并可在所述至少一个处理器52上运行的计算机程序53及至少一条通讯总线54。
本领域技术人员可以理解，图5所示的示意图仅仅是所述音视频处理平台5的示例，并不构成对所述音视频处理平台5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述音视频处理平台5还可以包括输入输出设备、网络接入设备等。
所述至少一个处理器52可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器52可以是微处理器或者该处理器52也可以是任何常规的处理器等，所述处理器52是所述音视频处理平台5的控制中心，利用各种接口和线路连接整个音视频处理平台5的各个部分。
所述存储器51可用于存储所述计算机程序53和/或模块/单元，所述处理器52通过运行或执行存储在所述存储器51内的计算机程序和/或模块/单元，以及调用存储在存储器51内的数据，实现所述音视频处理平台5的各种功能。所述存储器51可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据音视频处理平台5的使用所创建的数据(比如音频数据)等。此外，存储器51可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
结合图1，所述音视频处理平台5中的所述存储器51存储多个指令以实现一种基于人工智能AI的音视频流的对接处理方法，所述处理器52可执行所述多个指令从而实现：
接收控制平台发送的地址获取请求；
调用负载均衡接口，从所述音视频处理平台对应的多个服务器中确定当前处于空闲状态的目标服务器的地址；
向所述控制平台发送所述地址，以使所述控制平台根据所述地址，与所述目标服务器建立超文本传输协议HTTP连接；
接收所述控制平台发送的实时消息传输协议RTMP流的统一资源定位符URL地址；
向所述控制平台发送截图截流指令，所述截图截流指令用于指示所述控制平台对所述URL地址的所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取，并将截取到的目标图片以及目标音视频文件发送给所述目标服务器，其中，图片截取的频率和音视频文件截取的频率是根据所述控制平台的最低支持截流频率分别设置的不同的频率。
具体地，所述处理器52对上述指令的具体实现方法可参考图1对应实施例中相关步骤的描述，在此不赘述。
在图5所描述的音视频处理平台5中，采用HTTP+RTMP方式实现了音视频流的对接，同时，设置负载均衡接口、根据控制平台最低支持截流频率设置不同的截图频率和音视频截取频率，不仅可以均衡所述音视频处理平台的各个服务器的负载，还可以较好地支持业务的高并发以及高可用性，确保音视频流实时交互的稳定性。此外，本案不是截取音视频流，而是截取图片/音视频文件，图片/音视频文件相对于音视频流来说，截取的效率更高，同时，还可以节省存储空间。
如图6所示，图6是本发明实现基于人工智能AI的音视频流的对接处理方法的较佳实施例的控制平台的结构示意图。所述控制平台6包括存储器61、至少一个处理器62、存储在所述存储器61中并可在所述至少一个处理器62上运行的计算机程序63及至少一条通讯总线64。
本领域技术人员可以理解，图6所示的示意图仅仅是所述控制平台6的示例，并不构成对所述控制平台6的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述控制平台6还可以包括输入输出设备、网络接入设备等。
所述至少一个处理器62可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。该处理器62可以是微处理器或者该处理器62也可以是任何常规的处理器等，所述处理器62是所述控制平台6的控制中心，利用各种接口和线路连接整个控制平台6的各个部分。
所述存储器61可用于存储所述计算机程序63和/或模块/单元，所述处理器62通过运行或执行存储在所述存储器61内的计算机程序和/或模块/单元，以及调用存储在存储器61内的数据，实现所述控制平台6的各种功能。所述存储器61可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据控制平台6的使用所创建的数据(比如音频数据)等。此外，存储器61可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
结合图2，所述控制平台6中的所述存储器61存储多个指令以实现一种基于人工智能AI的音视频流的对接处理方法，所述处理器62可执行所述多个指令从而实现：
在检测到用户呼入后，向音视频处理平台发送地址获取请求；
接收所述音视频处理平台返回的服务器地址，向所述服务器地址对应的目标服务器发送连接请求，并与所述目标服务器建立超文本传输协议HTTP连接，其中，所述连接请求携带有实时消息传输协议RTMP流的统一资源定位符URL地址；
当接收到所述音视频处理平台发送的截图截流指令时，响应所述截图截流指令，对所述URL地址所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取；
将截取到的目标图片以及目标音视频文件发送给所述目标服务器。
具体地，所述处理器62对上述指令的具体实现方法可参考图2对应实施例中相关步骤的描述，在此不赘述。
在图6所描述的控制平台6中，通过HTTP+RTMP流方式，实现了控制平台和音视频处理平台之间的音视频流对接，音视频处理平台能够获取到客户侧的音视频相关图片和文件，满足了灵活处理业务中的各种截图截流需求，同时，还能够按照不同频率从客户侧的音视频流中获取图片、声音以及视频文件，既确保了控制平台的稳定性，同时，也较好地支持业务的高并发以及高可用性。
所述音视频处理平台5/控制平台6集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器以及只读存储器(ROM，Read-OnlyMemory)。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。系统权利要求中陈述的多个单元或装置也可以通过软件或者硬件来实现。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种基于人工智能AI的音视频流的对接处理方法，应用于音视频处理平台，其特征在于，所述基于人工智能AI的音视频流的对接处理方法包括：
接收控制平台发送的地址获取请求；
调用负载均衡接口，从所述音视频处理平台对应的多个服务器中确定当前处于空闲状态的目标服务器的地址，包括：获取所述音视频处理平台对应的多个服务器当前的指标参数，所述指标参数包括当前接入视频数量、内存以及中央处理器CPU占用率；根据预设的负载均衡算法，对每个所述服务器当前的指标参数进行加权计算，获得加权值；根据所述加权值，从多个所述服务器中确定当前处于空闲状态的目标服务器，并获取所述目标服务器的地址；
向所述控制平台发送所述地址，以使所述控制平台根据所述地址，与所述目标服务器建立超文本传输协议HTTP连接；
接收所述控制平台发送的实时消息传输协议RTMP流的统一资源定位符URL地址；
向所述控制平台发送截图截流指令，所述截图截流指令用于指示所述控制平台对所述URL地址的所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取，并将截取到的目标图片以及目标音视频文件发送给所述目标服务器，其中，图片截取的频率和音视频文件截取的频率是根据所述控制平台的最低支持截流频率分别设置的不同的频率；
所述基于人工智能AI的音视频流的对接处理方法还包括：获取所述控制平台的最低支持截流频率；根据所述最低支持截流频率，设置正常截流频率以及异常截流频率；所述向所述控制平台发送截图截流指令包括：向所述控制平台发送携带有所述正常截流频率以及所述异常截流频率的截图截流指令，以使所述控制平台根据所述正常截流频率对有人脸的实时RTMP流进行截流操作以及根据所述异常截流频率对没有人脸的实时RTMP流进行截流操作。
2.根据权利要求1所述的基于人工智能AI的音视频流的对接处理方法，其特征在于，所述基于人工智能AI的音视频流的对接处理方法还包括：
接收所述控制平台发送的携带有RTMP流标识的转人工请求；
响应所述转人工请求，向所述控制平台发送针对所述RTMP流标识对应的实时RTMP流的截图截流结束指令，以使所述控制平台停止截图截流操作。
3.根据权利要求1所述的基于人工智能AI的音视频流的对接处理方法，其特征在于，所述基于人工智能AI的音视频流的对接处理方法还包括：
接收所述控制平台发送的HTTP的DELETE请求，所述DELETE请求中携带有RTMP流标识；
向所述控制平台发送关闭指令，所述关闭指令用于指示所述控制平台关闭与所述RTMP流标识对应的音视频的截图截流操作。
4.一种基于人工智能AI的音视频流的对接处理方法，应用于控制平台，其特征在于，所述基于人工智能AI的音视频流的对接处理方法包括：
在检测到用户呼入后，向音视频处理平台发送地址获取请求，所述音视频处理平台用于执行如权利要求1所述的基于人工智能AI的音视频流的对接处理方法；
接收所述音视频处理平台返回的服务器地址，向所述服务器地址对应的目标服务器发送连接请求，并与所述目标服务器建立超文本传输协议HTTP连接，其中，所述连接请求携带有实时消息传输协议RTMP流的统一资源定位符URL地址；
当接收到所述音视频处理平台发送的截图截流指令时，响应所述截图截流指令，对所述URL地址所指示的客户侧的实时RTMP流进行图片截取以及音视频文件截取；
将截取到的目标图片以及目标音视频文件发送给所述目标服务器。
5.根据权利要求4所述的基于人工智能AI的音视频流的对接处理方法，其特征在于，所述基于人工智能AI的音视频流的对接处理方法还包括：
获取所述控制平台与所述音视频处理平台的音视频流的交互时长；
判断所述交互时长是否大于预设时长；
若所述交互时长大于预设时长，在所述控制平台内部建立新组件，所述新组件用于将音视频流接收功能和截图截流功能分开；
按照接收到的正常截流频率以及异常截流频率进行截流操作，其中，所述正常截流频率以及所述异常截流频率均是按照所述控制平台的最低支持截流频率被设置的。
6.一种音视频处理平台，其特征在于，所述音视频处理平台包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1至3中任意一项所述的基于人工智能AI的音视频流的对接处理方法。
7.一种控制平台，其特征在于，所述控制平台包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求4或5所述的基于人工智能AI的音视频流的对接处理方法。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有至少一个指令，所述至少一个指令被处理器执行时实现如权利要求1至5中任一项所述的基于人工智能AI的音视频流的对接处理方法。
CN202010585004.6A 2020-06-23 2020-06-23 基于人工智能ai的音视频流的对接处理方法及相关设备 Active CN111787418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010585004.6A CN111787418B (zh) 2020-06-23 2020-06-23 基于人工智能ai的音视频流的对接处理方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010585004.6A CN111787418B (zh) 2020-06-23 2020-06-23 基于人工智能ai的音视频流的对接处理方法及相关设备

Publications (2)

Publication Number Publication Date
CN111787418A CN111787418A (zh) 2020-10-16
CN111787418B true CN111787418B (zh) 2023-09-22

Family

ID=72759692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010585004.6A Active CN111787418B (zh) 2020-06-23 2020-06-23 基于人工智能ai的音视频流的对接处理方法及相关设备

Country Status (1)

Country Link
CN (1) CN111787418B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793932A (zh) * 2014-02-18 2014-05-14 优视科技有限公司 在移动终端浏览器中存储图文的方法及装置
CN104023251A (zh) * 2014-06-13 2014-09-03 腾讯科技（深圳）有限公司 基于视频的互动方法和系统
CN107124453A (zh) * 2016-11-30 2017-09-01 西安大唐电信有限公司 平台互联网关堆叠部署的负载均衡系统及视频呼叫方法
CN107911737A (zh) * 2017-11-28 2018-04-13 腾讯科技（深圳）有限公司 媒体内容的展示方法、装置、计算设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103793932A (zh) * 2014-02-18 2014-05-14 优视科技有限公司 在移动终端浏览器中存储图文的方法及装置
CN104023251A (zh) * 2014-06-13 2014-09-03 腾讯科技（深圳）有限公司 基于视频的互动方法和系统
CN107124453A (zh) * 2016-11-30 2017-09-01 西安大唐电信有限公司 平台互联网关堆叠部署的负载均衡系统及视频呼叫方法
CN107911737A (zh) * 2017-11-28 2018-04-13 腾讯科技（深圳）有限公司 媒体内容的展示方法、装置、计算设备及存储介质

Also Published As

Publication number Publication date
CN111787418A (zh) 2020-10-16

Similar Documents

Publication Publication Date Title
US9992448B2 (en) Recording web conferences
US9331915B1 (en) Dynamic network traffic mirroring
US11863841B2 (en) Video playing control method and system
CN105025391A (zh) 视频播放方法和装置
CN110493657A (zh) OnStream智能在线流媒体平台系统
CN105871800A (zh) 一种拉流控制的方法、装置及系统
US20210368225A1 (en) Method and system for setting video cover
JP2019050554A (ja) 音声サービスを提供するための方法および装置
CN108200444B (zh) 一种视频直播的方法、装置和系统
US20160277518A1 (en) Automatically generating web conference recording bookmarks based on user analytics
US20230045876A1 (en) Video Playing Method, Apparatus, and System, and Computer Storage Medium
CN104349177A (zh) 一种在桌面云下转向播放多媒体文件的方法、虚拟机及系统
CN108337556B (zh) 用于播放影音文件的方法和装置
CN111614954A (zh) 流媒体的指标采集处理方法、装置、计算机及存储介质
CN103716681A (zh) 一种码流切换方法及电子设备
CN111541905B (zh) 一种直播方法、装置、计算机设备和存储介质
CN110719526B (zh) 视频播放方法及装置
CN108401163B (zh) 一种实现vr直播的方法、装置及ott业务系统
CN110113298B (zh) 数据传输方法、装置、信令服务器和计算机可读介质
CN109376254A (zh) 数据流的处理方法、装置、电子设备及可读存储介质
CN114465867B (zh) 服务器的维护方法、装置、存储介质及处理器
CN113766146B (zh) 音视频处理方法、装置、电子设备及存储介质
CN113329080B (zh) 基于WebSocket的视频播放方法、装置、电子设备及存储介质
CN114257572B (zh) 数据处理方法、装置、计算机可读介质及电子设备
CN111787418B (zh) 基于人工智能ai的音视频流的对接处理方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230818

Address after: Building 1021, Building 3, Xunmei Science and Technology Plaza, No. 8 Keyuan Road, Science and Technology Park Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518000

Applicant after: SHENZHEN SIYOU TECHNOLOGY CO.,LTD.

Address before: 518000 Room 202, block B, aerospace micromotor building, No.7, Langshan No.2 Road, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen LIAN intellectual property service center

Effective date of registration: 20230818

Address after: 518000 Room 202, block B, aerospace micromotor building, No.7, Langshan No.2 Road, Xili street, Nanshan District, Shenzhen City, Guangdong Province

Applicant after: Shenzhen LIAN intellectual property service center

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: PING AN PUHUI ENTERPRISE MANAGEMENT Co.,Ltd.

GR01 Patent grant
GR01 Patent grant