随着云上业务场景的复杂化,以及上云的客户越来越多,云上网络的功能也复杂化。为了统一计算节点以及网关节点功能,我们实现了统一的编程框架。这样能够快速开发不同功能的网关节点,减少运维负担。
3.4 落地实践我们基于OVS-DPDK Offload 框架实现流表规则offload。OVS 采用首个报文触发的方式下发硬件流表规则,该方式的优点为在必须的时候下发规则,能够达到节省流表的目的,但是缺点却会导致首个报文延迟。经调研我们发现网卡支持至少百万级流表量(使用x86内存或者其他扩展内存),最终我们舍去OVS-DPDK ofproto 转发层,使用dpctl 接口下发流表,这样就不存在首个报文延迟问题,同时也缩减了使用TC Flower时数据面过多问题(这些转发平面包括:硬件芯片转发,TC数据面,OVS Linux 内核模块转发,以及ofproto层)。我们修改了OVS-DPDK 流表老化方式,保证通过dpctl 下发的规则不会被删除。最后通过upcall limit 限制了upcall 报文处理。滴滴云网络数据平面主要分为两大部分:计算节点和网关节点。计算节点主要负责虚拟机、容器网络的虚拟化,网关节点主要负责各种边际节点业务如:SLB负载均衡、vRouter EIP报文处理,分流器、SNAT、FullNAT、云企业网等。可编程网卡芯片通过平台化的方式在两个主要节点均有应用。
SLB负载均衡
提供四层负载均衡,根据用户策略将underlayer网络报文分发到虚拟网络服务节点。
vRouter
提供弹性EIP服务。用户可以将一个公网IP地址绑定到虚拟机、容器、或者裸金属,从而获得公网访问功能。
iRouter
将滴滴数据中心和滴滴云虚拟网络打通,滴滴数据中心可以方便快捷的访问云上资源。
SNAT
为虚拟机、容器以及裸金属提供访问公网服务。
云企业网互联
互联服务支持将滴滴云上的多个VPC网络加入云互联,任意两个VPC网络即可实现资源之间的互访。
计算节点
在计算节点主要有两大应用场景:一种场景为在计算节点为虚拟机、容器提供VPC服务(网络隧道,限速,转发,报文修改,公网服务),RDMA网络。另外一个场景使用智能网卡为裸金属提供VPC服务。
在调研开发过程中遇到诸多问题,在这里和大家总结分享下:
OVS-DPDK 支持Offload 程度有限
首先OVS 社区并对DPDK Offload接口(rte flow)支持有限:实现的action非常有限。需要使用者独立完成开发:如set action,meter offload,vxlan 隧道报文处理等。
端口转发限制
目前mellanox网卡芯片并不支持从一个PF端口转发到该芯片另一个端口, 最终我们通过SRIOV+Hairpin的方式解决该问题。据了解后续的网卡芯片开始支持该功能(功能也受限于固件)。
Open vSwitch Crash
在删除包含meter action 流表规则时,OVS 进程退出。该问题最终确认为DPDK的一个bug,目前该问题已经修复,发送到社区并接收。?id=0d7d180a0dda4b97021fc1f580d6bfe3b42a332d
调用DPDK Meter API 接口导致crash。目前该问题已经修复,发送到社区并接收。
?id=4f19f4140e058c92822f228dcdc55c44bd88b613
修改OVS 配置导致删除offload flow crash,目前该问题已经修复,发送到社区并接收。https://github.com/openvswitch/ovs/commit/058b80d3de31b2c539d9e6f5f6687bde78ef08e9
Meter offload
OVS社区没有实现该功能,我们根据业务特征抽象出接口并在OVS实现了meter offload。该系 列补丁文件正在OVS 社区review,不久会进入upstream。
Decap/Encap 流表限制
下发多条带有decap/encap的流表规则时报错。该问题最终确认为DPDK的一个bug,目前该问题已经修复,与社区maintainer 协同修复。?id=64927f72a72fad39898b084e0cf66cc97b40959f
Decap + Meter action限制
decap + meter 做为action 下发规则时失败。该问题最终确认为DPDK的一个bug,目前该问题已经修复,与社区maintainer 协同修复?id=431f199883e5b7eeea87a2f9f0272daf3354c1da