CN112187660A - 一种用于云平台容器网络的租户流量限制方法及系统 - Google Patents

Abstract

本发明公开了一种用于云平台容器网络的租户流量限制方法及系统，属于容器领域和计算机网络领域；所述的方法具体步骤如下：S1在OVS中利用policing对ingress入口进行限速；S2在OVS中利用shaping使用队列queue对出口流量进行限速；S3Kubernetes中使用Open vSwitch CNI插件限制配置速率；能够提供公有云平台下容器网络的租户级别的流量限制，根据本身网络类型及特性，通过统一的组件进行配置，符合CNI接口标准；且使用较为简单，流程简洁，可以配合其他插件共同使用；同时可以根据需求定义了多种admission webhook(主要应用于验证及修改)，具备良好的健壮性和可扩展性；通过CNI插件为创建的Pod设置不同级别的限流措施，以支持不同网络插件的情景。

Description

一种用于云平台容器网络的租户流量限制方法及系统

技术领域

本发明公开一种用于云平台容器网络的租户流量限制方法及系统，涉及容器领域和计算机网络技术领域。

背景技术

容器的出现使网络拓扑变得更加动态和复杂，用户需要专门的解决方案来管理容器与容器，容器与其他实体之间的连通性和隔离性。docker network是 Docker原生的网络解决方案。除此之外，还可以采用第三方开源解决方案，例如flannel、weave和calico。不同的方案设计和实现方式不同，各有优势和特定，可以根据实际需要来选型。

无论目标是搭建公有云的容器云平台还是为客户提供容器平台的私有部署或解决方案，我们都会面临一个问题：容器网络限流的问题。在实验环境下，如果没有对容器带宽进行限制，单Pod使用的最大吞吐量将可以独占整个带宽，从而导致其他应用不能被访问。

如今，生产环境下需要为“上云”的应用提供流量带宽保证，使其不受到其他应用或其他用户的应用的影响。因此我们需要提供租户级别或者应用级别的有效隔离。通常情况下，可以根据VNID实现租户间的网络隔离，同时还可以根据Networkpolicy网络策略提供更细粒度的网络隔离，可以实现Pod之间、跨Namespace的网络访问控制。

本发明针对目前在容器平台网络限流的已知问题，提出一种用于云平台容器网络的租户流量限制方法及系统，以支持不同网络插件的情景。

发明内容

本发明针对现有技术的问题，提供一种用于云平台容器网络的租户流量限制方法及系统，所采用的技术方案为：一种用于云平台容器网络的租户流量限制方法，所述的方法具体步骤如下：

S1在OVS中利用policing对ingress入口进行限速；

S2在OVS中利用shaping使用队列queue对出口流量进行限速；

S3Kubernetes中使用Open vSwitch CNI插件限制配置速率。

所述S1中的policing在OVS中采用Interface表中的 ingress_policing_rate和ingress_policing_burst两个字段完成ingress入口限速功能。

所述S2在OVS中利用shaping使用队列queue对出口流量进行限速，具体步骤如下：

S201QoS创建命令；

S202创建Quene；

S203创建QoS规则。

所述S3Kubernetes中使用Open vSwitch CNI插件，在创建Pod资源的时候为其配置速率限制的具体步骤如下：

S301创建iperf-pod.yaml，并为其配置速率限制

S302流入测试；

S303流出测试；

S304通过组件bandwidth-inject-webhook，完成以上创建流程，增加网络限流配置。

所述S302流入测试的具体步骤如下：

S3021在pod容器里启动iperf server；

S3022在任意节点向iperf server产生流量；

S3023查看pod里流入的日志。

所述S303流出测试的具体步骤如下：

S3031在任意节点上启动iperf server作为测试点；

S3032在pod中用iperf client进行测试；

S3033查看node4上的流入日志；

S3034查看tc的配置。

一种用于云平台容器网络的租户流量限制系统，所述的系统包括入口限速模块、出口限速模块和速率配置模块：

入口限速模块：在OVS中利用policing对ingress入口进行限速；

出口限速模块：在OVS中利用shaping使用队列queue对出口流量进行限速；

速率配置模块：Kubernetes中使用Open vSwitch CNI插件限制配置速率。

所述入口限速模块中的policing在OVS中采用Interface表中的 ingress_policing_rate和ingress_policing_burst两个字段完成ingress入口限速功能。

所述出口限速模块具体包括创建模块A、创建模块B和创建模块C：

创建模块A：QoS创建命令；

创建模块B：创建Quene；

创建模块C：创建QoS规则。

所述速率配置模块Kubernetes中使用Open vSwitch CNI插件，在创建Pod 资源的时候为其配置速率限制，具体包括创建模块D、第一测试模块、第二测试模块和限流配置模块：

创建模块D：创建iperf-pod.yaml，并为其配置速率限制

第一测试模块：流入测试；

第二测试模块：流出测试；

限流配置模块：通过组件bandwidth-inject-webhook，完成以上创建流程，增加网络限流配置。

本发明的有益效果为：能够提供公有云平台下容器网络的租户级别的流量限制，根据本身网络类型及特性，通过统一的组件进行配置，符合CNI接口标准；且使用较为简单，流程简洁，可以配合其他插件共同使用；同时可以根据需求定义了多种admission webhook(主要应用于验证及修改)，具备良好的健壮性和可扩展性；通过CNI插件为创建的Pod设置不同级别的限流措施，以支持不同网络插件的情景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明方法的流程图；图2是本发明系统的结构示意图；图3是本发明系统实施例二的示意图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

实施例一：

一种用于云平台容器网络的租户流量限制方法，所述的方法具体步骤如下：

S1在OVS中利用policing对ingress入口进行限速；

S2在OVS中利用shaping使用队列queue对出口流量进行限速；

S3Kubernetes中使用Open vSwitch CNI插件限制配置速率；

Open vSwitch本身不实现QoS，它使用Linux内核自带的traffic-control 机制进行流量控制。主要两种实现方式：

1、Policing管制

Policing用于控制接口上接收分组(ingress)的速率，是一种简单的QoS 的功能，通过简单的丢包机制实现接口速率的限制，它既可以作用于物理接口，也可以作用于虚拟接口；

2、Shaping整形

Shaping是作用于接口上的出口流量(egress)策略，可以实现多个QoS 队列，不同队列里面处理不同策略；

在使用本发明方法对云平台容器网络的租户进行流量限制时，首先按照S1 在OVS中利用policing对ingress入口进行限速；

接着按照S2在OVS中利用shaping使用队列queue对出口流量进行限速。使用队列quene可以缓和和调度数据包发送顺序，更加精准和有效；

最后按照S3在Kubernetes中使用Open vSwitch CNI插件限制配置速率，从而实现公有云平台下容器网络的租户级别的流量限制，能够根据本身网络类型及特性通过统一的组件进行配置，符合CNI接口标准，且使用较为简单，流程简洁、能够配合其他插件同时使用，兼容性更强；本发明方法根据需求定义多种应用于验证与修改的admission webhook，具有良好的健壮性和可扩展性；

使用本发明方法的云平台下容器网络限流实现技术方案后，能够提供公有云平台下容器网络的租户级别的流量限制，根据本身网络类型及特性，通过统一的组件进行配置，符合CNI接口标准；且使用较为简单，流程简洁，可以配合其他插件共同使用；同时可以根据需求定义了多种admission webhook(主要应用于验证及修改)，具备良好的健壮性和可扩展性；

进一步的，所述S1中的policing在OVS中采用Interface表中的 ingress_policing_rate和ingress_policing_burst两个字段完成ingress入口限速功能；命令示例如下：

#ovs-vsctl set interface eth1 ingress_policing_rate＝1000

#ovs-vsctl set interface eth1 ingress_policing_burst＝100

然后通过命令ovs-vsctl list interface eth1可以查看配置；

进一步的，所述S2在OVS中利用shaping使用队列queue对出口流量进行限速，具体步骤如下：

S201QoS创建命令；

S202创建Quene；

S203创建QoS规则；

shaping用于实现出口流量的控制，使用了队列queue，可以缓存和调度数据包发送顺序，比policing更加精确和有效，在OVS的数据表中主要使用QoS 和Queue两张表；

按照S2在OVS中利用shaping使用队列queue对出口流量进行限速时，首先按照S201 QoS创建命令：

#ovs-vsctl set port eth1 qos＝@newqos--

--id＝@newqoscreate qos type＝linux-htb queues＝0＝@q0--

--id＝@q0create queue other-config:max-rate＝100000000

然后按照S202创建Quene：

--id＝@q0 create queue other-config:max-rate＝100000000

接着按照S203创建QoS规则：

--id＝@newqos create qos type＝linux-htb queues＝0＝@q0；

进一步的，所述S3Kubernetes中使用Open vSwitch CNI插件，在创建Pod 资源的时候为其配置速率限制的具体步骤如下：

S301创建iperf-pod.yaml，并为其配置速率限制

S302流入测试；

S303流出测试；

S304通过组件bandwidth-inject-webhook，完成以上创建流程，增加网络限流配置；

按照S3在Kubernetes上，使用Open vSwitch CNI插件，在创建Pod资源的时候为其配置速率限制，首先按照S301创建iperf-pod.yaml，并为其配置速率限制：

cat<<EOF>iperf-pod.yaml

apiVersion:v1

kind:Pod

metadata:

name:iperf

annotations:

kubernetes.io/ingress-bandwidth:3M

kubernetes.io/egress-bandwidth:3M

spec:

containers:

-name:iperf

image:yadu/hello-openshift-iperf

imagePullPolicy:IfNotPresent

nodeSelector:

zone:default

EOF

接着按照S302和S303做流入、流入测试，然后按照S304通过组件 bandwidth-inject-webhook，完成以上创建流程，增加网络限流配置，组件架构：getAdmissionDecision

patchConfig；

进一步的，所述S302流入测试的具体步骤如下：

S3021在pod容器里启动iperf server；

S3022在任意节点向iperf server产生流量；

S3023查看pod里流入的日志；

在按照S302进行流入测试时，首先按照S3021在pod容器里启动iperf server，首先按照S3021在pod容器里启动iperf server，

#iperf-s-p 12345–i 1

Server listening on TCP port 12345

TCP window size:85.3KByte(default)

接着按照S3022在任意节点向iperf server产生流量

#iperf-c 10.130.2.103-p 12345-i 1-t 10-w 5m

Client connecting to 10.130.2.103,TCP port 12345

TCP window size:416 KByte(WARNING:requested 4.77 Mbyte)

[3]local 10.130.2.1 port 58162 connected with 10.130.2.103 port12345

[ID]Interval Transfer Bandwidth

[3]0.0-1.0 sec 773 KBytes 6.33 Mbits/sec

[3]1.0-2.0 sec 316 KBytes 2.59 Mbits/sec

[3]2.0-3.0 sec 314KBytes 2.57 Mbits/sec

(omitted)

最后按照S3023查看pod里流入的日志

#iperf-s-p 12345–i 1

Server listening on TCP port 12345

TCP window size:85.3 KByte(default)

[4]local 10.130.2.103 port 12345 connected with 10.130.2.1 port58162

[ID]Interval Transfer Bandwidth

[4]0.0-1.0 sec 354 KBytes 2.90 Mbits/sec

[4]1.0-2.0 sec 351 KBytes 2.87 Mbits/sec

[4]2.0-3.0 sec 349 KBytes 2.86 Mbits/sec

(omitted)

再进一步的，所述S303流出测试的具体步骤如下：

S3031在任意节点上启动iperf server作为测试点；

S3032在pod中用iperf client进行测试；

S3033查看node4上的流入日志；

S3034查看tc的配置；

在按照S3033做流出测试时，首先按照S3031在任意节点上启动iperf server作为测试点：

#iperf-s-p 12345–i 1

Server listening on TCP port 12345

TCP window size:85.3KByte(default)

然后按照S3032在pod中用iperf client进行测试：

#iperf-c 172.18.143.117-p 12345-i 1-t 10-w 5m

Client connecting to 172.18.143.117,TCP port 12345

TCP window size:416 KByte(WARNING:requested 5.00 Mbyte)

[3]local 10.130.2.103 port 44602 connected with 172.18.143.117 port12345

[ID]Interval Transfer Bandwidth

[3]0.0-1.0 sec 1.62 MBytes 13.6 Mbits/sec

[3]1.0-2.0 sec 384KBytes 3.15 Mbits/sec

[3]2.0-3.0 sec 384 KBytes 3.15 Mbits/sec

(omitted)

接着按照S3033查看node4上的流入日志：

#iperf-s-p 12345–i 1

Server listening on TCP port 12345

TCP window size:85.3 KByte(default)

[4]local 172.18.143.117 port 12345 connected with 10.130.2.103 port44602

[ID]Interval Transfer Bandwidth

[4]0.0-1.0 sec 1.28 MBytes 10.7 Mbits/sec

[4]1.0-2.0 sec 373 KBytes 3.05 Mbits/sec

[4]2.0-3.0 sec 380KBytes 3.11 Mbits/sec

(omitted)

最后按照S3034查看tc的配置：

#tc-s-d class show dev vethddb66bac

class htb 1:1 parent 1:fffeprio 0 quantum 1450 rate 11600bit ceil3000Kbit burst 1513b/1 mpu 0b overhead 0b cburst 1513b/1 mpu 0b overhead 0blevel 0

Sent 0 bytes 0 pkt(dropped 0,overlimits 0requeues 0)

rate 0bit 0pps backlog 0b 0p requeues 0

lended:0 borrowed:0 giants:0

tokens:16314655 ctokens:63083

class htb1:fffe root rate 3000Kbit ceil 3000Kbit burst 1449b/1 mpu0b overhead 0b cburst 1449b/1 mpu 0b overhead 0b level 7

Sent 4187548 bytes 2872 pkt(dropped 0,overlimits 0requeues 0)

rate 0bit 0pps backlog 0b 0p requeues 0

lended:998 borrowed:0 giants:0

tokens:60416 ctokens:6041

实施例二：

一种用于云平台容器网络的租户流量限制系统，所述的系统包括入口限速模块、出口限速模块和速率配置模块：

入口限速模块：S1在OVS中利用policing对ingress入口进行限速；

出口限速模块：S2在OVS中利用shaping使用队列queue对出口流量进行限速；

速率配置模块：S3Kubernetes中使用Open vSwitch CNI插件限制配置速率；

在使用本发明系统对云平台容器网络的租户进行流量限制时，首先通过入口限速模块在OVS中利用policing对ingress入口进行限速；

接着通过出口限速模块在OVS中利用shaping使用队列queue对出口流量进行限速。使用队列quene可以缓和和调度数据包发送顺序，更加精准和有效；

最后利用速率配置模块在Kubernetes中使用Open vSwitch CNI插件限制配置速率，从而实现公有云平台下容器网络的租户级别的流量限制，能够根据本身网络类型及特性通过统一的组件进行配置，符合CNI接口标准，且使用较为简单，流程简洁、能够配合其他插件同时使用，兼容性更强；本发明方法根据需求定义多种应用于验证与修改的admissionwebhook，具有良好的健壮性和可扩展性；

使用本发明系统的云平台下容器网络限流实现技术方案后，能够提供公有云平台下容器网络的租户级别的流量限制，根据本身网络类型及特性，通过统一的组件进行配置，符合CNI接口标准；且使用较为简单，流程简洁，可以配合其他插件共同使用；同时可以根据需求定义了多种admission webhook(主要应用于验证及修改)，具备良好的健壮性和可扩展性；

进一步的，所述入口限速模块中的policing在OVS中采用Interface表中的ingress_policing_rate和ingress_policing_burst两个字段完成ingress 入口限速功能，命令示例如下：

#ovs-vsctl set interface eth1 ingress_policing_rate＝1000

#ovs-vsctl set interface eth1 ingress_policing_burst＝100

然后通过命令ovs-vsctl list interface eth1可以查看配置；

进一步的，所述出口限速模块具体包括创建模块A、创建模块B和创建模块C：

创建模块A：S201QoS创建命令；

创建模块B：S202创建Quene；

创建模块C：S203创建QoS规则；

shaping用于实现出口流量的控制，使用了队列queue，可以缓存和调度数据包发送顺序，比policing更加精确和有效，在OVS的数据表中主要使用QoS 和Queue两张表；

通过出口限速模块在OVS中利用shaping使用队列queue对出口流量进行限速时，首先通过创建模块A执行QoS创建命令：

#ovs-vsctl set port eth1 qos＝@newqos--

--id＝@newqoscreate qos type＝linux-htb queues＝0＝@q0--

--id＝@q0create queue other-config:max-rate＝100000000

然后通过创建模块B创建Quene：

--id＝@q0 create queue other-config:max-rate＝100000000

接着用过创建模块C创建QoS规则：

--id＝@newqos create qos type＝linux-htb queues＝0＝@q0；

再进一步的，所述速率配置模块Kubernetes中使用Open vSwitch CNI插件，在创建Pod资源的时候为其配置速率限制，具体包括创建模块D、第一测试模块、第二测试模块和限流配置模块：

创建模块D：S301创建iperf-pod.yaml，并为其配置速率限制

第一测试模块：S302流入测试；

第二测试模块：S303流出测试；

限流配置模块：S304通过组件bandwidth-inject-webhook，完成以上创建流程，增加网络限流配置；

通过速率配置模块在Kubernetes上，使用Open vSwitch CNI插件，在创建Pod资源的时候为其配置速率限制，首先通过创建模块D创建 iperf-pod.yaml，并为其配置速率限制：

cat<<EOF>iperf-pod.yaml

apiVersion:v1

kind:Pod

metadata:

name:iperf

annotations:

kubernetes.io/ingress-bandwidth:3M

kubernetes.io/egress-bandwidth:3M

spec:

containers:

-name:iperf

image:yadu/hello-openshift-iperf

imagePullPolicy:IfNotPresent

nodeSelector:

zone:default

EOF

接着第一测试模块和第二测试模块分别进行流入、流入测试，然后限流配置模块通过组件bandwidth-inject-webhook，完成以上创建流程，增加网络限流配置，组件架构：getAdmissionDecision

patchConfig。

以上为OVS对容器网络QoS进行支持的主要内容，本发明旨在通过统一的Admission webhook组件根据公有云平台中的租户等级，为其创建的Pod设置不同级别的流量限制。如图3所示流程如下：

Pod.yaml包含限流配置请求到达Kubernetes API Server

Kubernetes API Server将具体配置转发到Kbelet的CNI networkdriver

CNI networkdriver会生成一份Network plugin configlist

调用CNI API唤起CNI plugin

最终通过linuxtraffic-control进行流量控制。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种用于云平台容器网络的租户流量限制方法，其特征是所述的方法具体步骤如下：

S1在OVS中利用policing对ingress入口进行限速；

S2在OVS中利用shaping使用队列queue对出口流量进行限速；

S3Kubernetes中使用Open vSwitch CNI插件限制配置速率。

2.根据权利要求1所述的方法，其特征是所述S1中的policing在OVS中采用Interface表中的ingress_policing_rate和ingress_policing_burst两个字段完成ingress入口限速功能。

3.根据权利要求2所述的方法，其特征是所述S2在OVS中利用shaping使用队列queue对出口流量进行限速，具体步骤如下：

S201QoS创建命令；

S202创建Quene；

S203创建QoS规则。

4.根据权利要求3所述的方法，其特征是所述S3Kubernetes中使用Open vSwitch CNI插件，在创建Pod资源的时候为其配置速率限制的具体步骤如下：

S301创建iperf-pod.yaml，并为其配置速率限制

S302流入测试；

S303流出测试；

S304通过组件bandwidth-inject-webhook，完成以上创建流程，增加网络限流配置。

5.根据权利要求4所述的方法，其特征是所述S302流入测试的具体步骤如下：

S3021在pod容器里启动iperf server；

S3022在任意节点向iperf server产生流量；

S3023查看pod里流入的日志。

6.根据权利要求4所述的方法，其特征是所述S303流出测试的具体步骤如下：

S3031在任意节点上启动iperf server作为测试点；

S3032在pod中用iperf client进行测试；

S3033查看node4上的流入日志；

S3034查看tc的配置。

7.一种用于云平台容器网络的租户流量限制系统，其特征是所述的系统包括入口限速模块、出口限速模块和速率配置模块：

入口限速模块：在OVS中利用policing对ingress入口进行限速；

出口限速模块：在OVS中利用shaping使用队列queue对出口流量进行限速；

速率配置模块：Kubernetes中使用Open vSwitch CNI插件限制配置速率。

8.根据权利要求7所述的系统，其特征是所述入口限速模块中的policing在OVS中采用Interface表中的ingress_policing_rate和ingress_policing_burst两个字段完成ingress入口限速功能。

9.根据权利要求8所述的系统，其特征是所述出口限速模块具体包括创建模块A、创建模块B和创建模块C：

创建模块A：QoS创建命令；

创建模块B：创建Quene；

创建模块C：创建QoS规则。

10.根据权利要求9所述的系统，其特征是所述速率配置模块Kubernetes中使用OpenvSwitch CNI插件，在创建Pod资源的时候为其配置速率限制，具体包括创建模块D、第一测试模块、第二测试模块和限流配置模块：

创建模块D：创建iperf-pod.yaml，并为其配置速率限制

第一测试模块：流入测试；

第二测试模块：流出测试；

限流配置模块：通过组件bandwidth-inject-webhook，完成以上创建流程，增加网络限流配置。

Images