CN106210924B - 视频网络传输控制方法和系统 - Google Patents

Abstract

本发明提供了一种视频网络传输控制方法和系统，包括发送控制端和接收控制端，以及发送数据端和接收数据端；所述发送控制端与接收控制端以控制通道传输，传输协议为UDP协议；所述控制通道，用于在发送控制端与接收控制端之间通过UDP协议发送和响应控制消息；所述发送数据端与接收数据端以数据通道传输，传输协议为UDP协议；所述数据通道，用于在发送数据端与接收数据端之间推送发送数据端已经缓存的一个或者多个视频数据包。其实现了在恶劣网络环境下高速可靠的视频传输。

Description

视频网络传输控制方法和系统

技术领域

本发明涉及一种视频传输控制技术，具体地涉及一种恶劣网络环境下高速可靠的视频网络传输控制方法和系统。

背景技术

现有基于MCU(Multipoint Control Unit，多点控制单元)的视频系统，一般包括编码端、MCU服务端和解码端。其中，MCU服务端是视频系统中的重要组成部分，它的作用主要是协调和控制编码端与解码端之间的视频数据传输。视频系统的一项重要功能就是实现视频的实时传输，一般传输视频数据所采用的传输协议是TCP(Transmission ControlProtocol)协议或者UDP(User Datagram Protocol)协议。

TCP协议比较可靠，它是一种面向连接的、基于字节流的运输层通信协议。使用TCP协议可以保证数据传输的可靠性，但是这种可靠性是建立在丢失数据的重传之上。例如，发送端将一个视频数据段发送出去的同时会启动一个重发定时器，如果该重发定时器超过预定时间也没有接收到接收端的确认信息，那么发射端会重传该数据段。这样不但增加了传输的数据量，而且牺牲了视频数据传输的实时性，造成视频图像的延时。

UDP协议是OSI参考模型中一种无连接的传输层协议，提供面向事务的简单不可靠信息传送服务。传输数据之前源端和终端是不需要建立连接的，发送数据时也不需要确认是否正确接收。由于使用UDP协议传输数据具有发送效率高、实时性强的优点，使用UDP协议进行视频数据传输是目前大多数视频系统选择的方式。

但是现有的UDP协议无法保证数据传输的可靠性，一旦视频出现数据包丢失，那么解码图像很可能出现质量严重下降，例如马赛克的出现。

发明内容

为了解决上述技术问题，本发明提供了一种视频网络传输控制方法和系统，其实现了在恶劣网络环境下高速可靠的视频传输。

为实现上述目的，本发明提供了一种视频网络传输控制系统，包括发送控制端和接收控制端，以及发送数据端和接收数据端；

所述发送控制端与接收控制端以控制通道传输，传输协议为UDP协议；

所述发送控制端，用于与接收控制端之间建立UDP协议的控制通道，包括计算RTT、调整发送频率、丢包重传机制；

所述接收控制端，用于响应发送控制端，与发送控制端之间建立UDP协议的控制通道，包括计算丢包率、提供数据读出；

所述控制通道，用于在发送控制端与接收控制端之间通过UDP协议发送和响应控制消息；

所述控制消息包括协商窗口大小、发送确认包、发送心跳消息、关闭通道；

所述发送数据端与接收数据端以数据通道传输，传输协议为UDP协议；

所述数据通道，用于在发送数据端与接收数据端之间推送发送数据端已经缓存的一个或者多个视频数据包；

所述控制通道和数据通道都采用基于UDP传输协议传输，但传输的内容不同，控制通道传输控制消息，数据通道传输视频数据包。

为实现本发明目的，还提供一种视频网络传输控制方法，包括如下步骤：

发送控制端和接收控制端通过UDP协议握手，建立UDP传输通道；

将视频数据推送到发送数据端的发送缓冲区；并由发送缓冲区通过数据通道将所述视频数据推送出去；

接收数据端接收数据通道推送出来的视频数据的数据包，并插入到接收缓冲区；

在视频数据传输完毕后，将网络传输链路链接关闭。

本发明的视频网络传输控制方法和系统，针对在高延迟、高抖动、高丢包率的条件下，为网络流和大文件的快速可靠传输提供一种解决方法。特别是在跨海、跨运营商、长距离等条件下，网络的抖动、延迟、丢包是不可避免的，由于TCP协议本身的限制，传输速度无法提高。通过单边加速、UDT(UDP-based Data Transfer Protocol，基于UDP的数据传输协议)、QUIC(Quick UDP Internet Connections，快速UDP互联网连接)等方案，可以获得部分提升，但远远达不到高清码率、大文件等的传输要求。本发明对恶劣网络条件下的高速传输，做了针对性优化，通过丢包快速发现、双UDP可靠传输模式、丢包恢复方法，经检测，其在丢包率达到30％的条件下，也可以稳定传输。

附图说明

图1是本发明实施例的视频网络传输控制方法流程图；

图2是本发明实施例的视频网络传输控制系统示意图。

具体实施方式

下面将参考附图1～2对本发明中详细的代表性实施例进行描述。

本发明实施例的视频网络传输控制系统，如图1所示，具有发送控制端(ControlSender)和接收控制端(Control Recover)，以及发送数据端(Data Sender)和接收数据端(Data Recover)；

所述发送控制端与接收控制端以控制通道传输，传输协议为UDP协议；

所述发送控制端，用于与接收控制端之间建立UDP协议的控制通道，包括但不限于计算RTT(Round-Trip Time，往返时延)、调整发送频率、丢包重传机制等；

所述接收控制端，用于响应发送控制端，与发送控制端之间建立UDP协议的控制通道，包括但不限于计算丢包率、提供数据读出等；

所述控制通道，用于在发送控制端与接收控制端之间通过UDP协议发送和响应控制消息；

所述控制消息包括但不限于协商窗口大小、发送确认包、发送心跳消息、关闭通道等。

所述发送数据端与接收数据端以数据通道传输，传输协议为UDP协议；

所述数据通道，用于在发送数据端与接收数据端之间推送发送数据端已经缓存的一个或者多个视频数据包。

所述控制通道和数据通道都采用基于UDP传输协议传输，但传输的内容不同，控制通道传输控制消息，数据通道传输视频数据包。

其中，发送控制端(Control Sender)与接收控制端利用UDP传输协议进行通信，相互发送和响应控制消息，并根据控制消息分别控制发送数据端和接收数据端。

其中，所述发送控制端控制发送数据端，计算RTT(Round-Trip Time，往返时延)、调整发送频率、丢包重传机制等；

所述接收控制端控制接收数据端，计算丢包率、提供数据读出等；

所述数据发送端，包括发送缓冲区，用于对发送数据包进行列表排队并缓存发送。

所述数据接收端，包括接收缓冲区，用于在数据接收端接收到数据包进行列表排队并缓存。

本发明中，通过控制通道和数据通道之间分别使用UDP协议，满足通道的可靠性，提升可靠性、及时性，使视频传输获得较好的可靠保证。

作为一种较佳的实施例，每个发送数据包不大于1k数据量，并保证在1个MTU(Maximum Transmission Unit，最大传输单元)范围内；

每个发送数据包在列表中有唯一编号，易于管理；

每个发送数据包会发送三次，尽量减少丢包，在发现丢包较多时，则少发送，确认已经发送所丢包已经收到后，再发送新包，从而通过牺牲带宽换取可靠性和及时性；

发送数据包虽然有编号，但接收方接收数据包并不保证顺序。

下面详细说明本发明实施例的视频网络传输控制方法，如图2所示，包括如下步骤：

步骤S100，发送控制端(Control Sender)和接收控制端(Control Recover)通过UDP协议握手，建立UDP传输通道；

具体地，所述步骤S100包括如下步骤：

步骤S110，通过配置启动参数，同步控制发送控制端和接收控制端的IP、UDP端口等信息；

步骤S120，接收控制端(Control Recover)在所述UDP端口上监听服务；

步骤S130，发送控制端(Control Sender)通过UDP协议，向所述UDP端口发起建立链接命令，二者建立传输通道，从而保证数据的完整性和可靠性。

步骤S140，发送控制端(Control Recover)向接收控制端(Control Sender)发送包含数据发送端的数据发送IP、UDP端口的第一握手消息；

步骤S150，接收控制端接收到第一握手消息后，向发送控制端响应包含数据接收端的数据接收IP、UDP端口的第二握手消息；

步骤S160，发送控制端(Control Sender)接收到包含数据接收端(Data Recover)的数据接收IP、UDP端口的第二握手消息，完成发送控制端和接收控制端双方，以及数据通道的链接建立。

步骤S200，将视频数据通过Send()函数推送到发送数据端的发送缓冲区；并由发送缓冲区通过数据通道将所述视频数据推送出去；

作为一种可实施方式，所述步骤S200中，将视频数据通过Send()函数推送到发送数据端的发送缓冲区，包括如下步骤：

步骤S210，发送控制端(Control Sender)判断发送数据端的发送缓冲区是否缓冲数据已满；

步骤S220，如果缓冲区的缓冲数据已满，则返回步骤S210，重新等待第一预定时间T1后推送所述视频数据；

步骤S230，如果缓冲区的缓冲数据足够，则判断本次推送的视频数据是否允许拆分；

步骤S240，如果视频数据不允许拆分，要么不发送，要么全部发送，则判断缓冲区的大小是否足够不拆分时的视频数据缓存；如果是，则进入步骤S260；否则进入步骤S250；

步骤S250，等待预定时间T2，返回步骤S240；

步骤S260，将所述视频数据按照预设大小计算出序列表数据包，并顺序推送到发送数据端的发送缓冲区。

由于发送带宽的限制，每次发送不能无限制发送，需要根据发送的间隔，计算每次发送的数据包数量。

作为一种可实施方式，所述步骤S200中，由发送缓冲区通过数据通道将视频数据推送出去，包括如下步骤：

步骤S210’,根据预设的推送速率，发送控制端(Control Sender)计算出每秒推送的包数据；

较佳地，每个发送数据包不大于1k数据量，并保证在1个UDP数据包的载荷范围内；

由于本发明实施例中，以保证不分割UDP包为准，计算出每个序列数据包大小是固定的，这样，每秒的发送的包数量，可根据预设的发送速率计算出来。

步骤S220’,发送数据端的缓冲区在发送IP、UDP端口向数据通道中按每隔第三预设时间T3发送一个或者多个数据包到数据接收端缓冲区的IP、UDP端口；

较佳地，所述第一、第二、第三预设时间为10ms。

步骤S300，接收数据端接收数据通道推送出来的视频数据的数据包，并插入到接收缓冲区。

作为一种可实施方式，所述步骤S300包括如下步骤：

步骤S310，通过UDP的套接字(Socket)接收到一个数据包；

步骤S320，判断数据包的有效性；在丢包时，进入步骤S330；在数据包有效时，进入步骤S340；

作为一种可实施方式，所述数据包的有效性通过以下几个指标判断：1)传输状态正常；2)通道标识一致；3)包标识在合理范围内；4)所述数据包没有接收过；

如果数据包不符合上述有效性指标中的任一项，则不具有有效性，数据包丢失。

数据通道采用UDP方式，发送数据报文，丢包、抖动是不能避免的，怎样发现数据包丢失，是提升传输速度的关键。

数据包丢失，通过两种手段发现：

1)比该数据包发送晚的其他数据包，都已经收到ACK(应答)其他数据包一段时间(如10ms)了，则认为该数据包已经丢失，需要重传；

2)每个发送包都有时间戳，接收端回复ACK(应答)包时，会同时返回最新的时间戳；当发送端收到ACK包后，即可以计算应该到达接收端的数据包的RTT；如果还没到达，则等最大抖动(Jitter)时间，若还没收到则马上重新发送；

通过计算RTT，在数据包发送、接收过程中，会记录包往返时间，由于程序延迟、缓冲等影响，有一定误差，但对于丢包的发现，是很重要的手段。

步骤S330，判断有效性后，则所述数据包和序列号插入到接收缓冲区队列，并响应发送数据端，发送数据端中的序列号减相应地减一或者多个序列号，返回步骤S310，等待接收下一个或者多个数据包；

步骤S340，判断无效后，接收控制端重传次数加1；当重传次数小于4时，计算丢包率，并根据丢包率计算出新发送频率，以及丢包序列号通过控制通道发送给发送控制端，发送控制端根据丢包序列号重新组织丢包序列表，按新发送频率，返回步骤S310，进行丢包重传；否则，当重传次数大于等于4时，则表示本次传输失败，直接返回失败信息，这样就不会浪费更多的传输资源，实现其他数据的快速传输；

其中，较佳地，所述新发送频率＝原发送频率/(1+丢包率)。

步骤S400，在视频数据传输完毕后，将网络传输链路链接关闭。

作为一种可实施方式，所述关闭包括但不限于主动关闭、被动关闭、异常关闭三种情况。

主动关闭：在数据传输完毕时，需要关闭链接，可由任一方发起。通过控制信道，发送关闭消息，然后进入关闭状态。不需要收到对方确认，因为控制信道是可靠传输，会保证包的到达。如果包没有到达，对方则进入异常关闭的流程。

被动关闭：收到对方发送的关闭链接的消息，不需要发送确认包，直接进入关闭状态。

异常关闭：控制信道上，会定期互相发送心跳包，如果在一定时间内，没有收到对方的心跳包，则认为链路出现问题。进入关闭状态。

作为一种可实施方式，本发明实施例中的视频网络传输控制方法，可按以下流程方式执行：

1)先根据当前时刻和每秒发送个数，计算本次可以发送的数据包数量；

2)从发送缓冲区头部开始，对每一个数据包进行判别：

3)如果数据包没有发送过，则发送；同时将可发送数据包数减少；

4)如果已经发送过，则判断是否需要重发，根据重发触发的条件：

重发触发条件：A)该数据包从上次发送，到现在已经超出RTO(RetransmissionTime-Out，超时重传机制)。

B)比该数据包上次发送比较晚的数据包，已经收到回复确认了；否则认为该数据包丢失，需要重发。

对发送的每个数据包，更新该数据包的状态，包括但不限于：最后一次发送时刻、该数据包的发送次数、发送计数等。

如果本次发送重传额度(3次)完毕，则等待10ms，进入下一轮发送周期。

本发明的视频网络传输控制方法和系统，针对在高延迟、高抖动、高丢包率的条件下，为网络流和大文件的快速可靠传输提供一种解决方法。特别是在跨海、跨运营商、长距离等条件下，网络的抖动、延迟、丢包是不可避免的，由于TCP协议本身的限制，传输速度无法提高。通过单边加速、UDT、QUIC等方案，可以获得部分提升，但远远达不到高清码率、大文件等的传输要求。本发明对恶劣网络条件下的高速传输，做了针对性优化，通过丢包快速发现、双UDP可靠传输模式、丢包恢复方法，经检测，其在丢包率达到30％的条件下，也可以稳定传输。

本发明的代表性实施例参照附图得到了详细的描述。这些详细的描述仅仅给本领域技术人员更进一步的相信内容，以用于实施本发明的优选方面，并且不会对本发明的范围进行限制。仅有权利要求用于确定本发明的保护范围。因此，在前述详细描述中的特征和步骤的结合不是必要的用于在最宽广的范围内实施本发明，并且可替换地仅对本发明的特别详细描述的代表性实施例给出教导。此外，为了获得本发明的附加有用实施例，在说明书中给出教导的各种不同的特征可通过多种方式结合，然而这些方式没有特别地被列举出来。

Claims (5)

1.一种视频网络传输控制方法，包括方法包括如下步骤：

发送控制端和接收控制端通过UDP协议握手，建立UDP传输通道；

将视频数据推送到发送数据端的发送缓冲区；并由发送缓冲区通过数据通道将所述视频数据推送出去；

接收数据端接收数据通道推送出来的视频数据的数据包，并插入到接收缓冲区；在视频数据传输完毕后，将网络传输链路链接关闭；

所述发送控制端与接收控制端建立UDP传输通道，包括如下步骤：

通过配置启动参数，同步控制发送控制端和接收控制端的IP、UDP端口信息；接收控制端在所述UDP端口上监听服务；

发送控制端通过UDP协议，向所述UDP端口发起建立链接命令，二者建立传输通道；

发送控制端向接收控制端发送包含数据发送端的数据发送IP、UDP端口的第一握手消息；

接收控制端接收到第一握手消息后，向发送控制端响应包含数据接收端的数据接收IP、UDP端口的第二握手消息，完成数据通道的链接建立；

将视频数据推送到发送数据端的发送缓冲区，包括下列步骤：

步骤A1，发送控制端判断发送数据端的发送缓冲区是否缓冲数据已满；

步骤A2，如果缓冲区的缓冲数据已满，则返回步骤A1，重新等待第一预定时间T1后推送所述视频数据；

步骤A3，如果缓冲区的缓冲数据足够，则判断本次推送的视频数据是否允许拆分；

步骤A4，如果视频数据不允许拆分，要么不发送，要么全部发送，则判断缓冲区的大小是否足够不拆分时的视频数据缓存；如果是，则进入步骤A6；否则进入步骤A5；

步骤A5，等待预定时间T2，返回步骤A4；

步骤A6，将所述视频数据按照预设大小计算出序列表数据包，并顺序推送到发送数据端的发送缓冲区。

2.根据权利要求1所述的视频网络传输控制方法，其特征在于，所述由发送缓冲区通过数据通道将所述视频数据推送出去，包括下列步骤：根据预设的推送速率，发送控制端计算出每秒推送的包数据；

发送数据端的缓冲区在发送IP、UDP端口向数据通道中按每隔第三预设时间T3发送一个或者多个数据包到数据接收端缓冲区的IP、UDP端口。

3.根据权利要求1所述的视频网络传输控制方法，其特征在于，所述接收数据端接收数据通道推送出来的视频数据的数据包，并插入到接收缓冲区，包括如下步骤：

步骤B31，通过UDP的套接字接收到一个数据包；

步骤B32，判断数据包的有效性；在丢包时，进入步骤B33；在数据包有效时，进入步骤B34；

步骤B33，判断有效性后，则所述数据包和序列号插入到接收缓冲区队列，并响应发送数据端，发送数据端中的序列号减相应地减一或者多个序列号，返回步骤B31，等待接收下一个或者多个数据包；

步骤B34，判断无效后，接收控制端重传次数加1；当重传次数小于4时，计算丢包率，并根据丢包率计算出新发送频率，以及丢包序列号通过控制通道发送给发送控制端，发送控制端根据丢包序列号重新组织丢包序列表，按新发送频率，进行丢包重传；否则，当重传次数大于等于4时，则表示本次传输失败，直接返回失败信息。

4.根据权利要求3所述的视频网络传输控制方法，其特征在于，所述数据包的有效性通过以下几个指标判断：

1)传输状态正常；

2)通道标识一致；

3)包标识在合理范围内；

4)所述数据包没有接收过；

如果数据包不符合上述有效性指标中的任一项，则不具有有效性，数据包丢失。

5.根据权利要求4所述的视频网络传输控制方法，其特征在于，数据包丢失，通过两种手段发现：

1)比该数据包发送晚的其他数据包，都已经收到ACK数据包一段时间了，则认为该数据包已经丢失，需要重传；

2)每个发送包都有时间戳，接收端回复ACK包时，会同时返回最新的时间戳；

当发送端收到ACK包后，即可以计算应该到达接收端的数据包的RTT；如果还没到达，则等最大抖动时间，若还没收到则马上重新发送。

Images