如果POD间东西向流量规划很大,建议POD内Spine直接上连东西向汇聚交换机。此时的流量模型为,POD间互通流量从POD内Spine去到SDN-GW,SDN-GW解开原有VXLAN封装,再将互通流量导入不同的互联VNI后发回给Spine,最后由Spine发送到东西汇聚交换机。此流量模型下相同业务流量会穿越POD内Spine两次,因此如果流量规划完全在SDN-GW交换机设备的承受范围内,建议由SDN-GW上连东西向汇聚交换机,这样可以减少POD内Spine上的来回穿透流量。
图1.大规模SDN数据中心多POD组网架构POD内的SDN数据中心转发控制技术实现方案,可以是Openflow+Netconf也可以是EVPN+Netconf。虚拟机场景推荐使用表项更大更灵活的VSW作为VTEP,从而采用Openflow+Netconf方案。裸金属服务器场景采用硬件SDN接入交换机作为VTEP,可以根据具体网络设备能力情况灵活选择EVPN+Netconf的方案或者Openflow+Netconf的方案。
在Openflow+Netconf和EVPN+Netconf混合部署的场景,需要在SDN控制器上进行两种控制技术方案的翻译和打通。SDN控制器和SDN-GW建立EVPN邻居,将EVPN控制面的信息翻译成Openflow发送给VSW,将VSW的相关Openflow信息翻译成EVPN控制信息发送给硬件SDN交换机。从而控制实现在VSW和硬件SDN交换机之间建立VXLAN隧道和转发数据。
POD间互联的方案将完全借鉴SDN-DCI的相关技术,采用EVPN+VXLAN的技术。POD内的SDN-GW将同时作为DCI-GW,与不同POD的SDN-GW间建立EVPN邻居,在统一的协同层的控制下实现跨POD流量的互通。
共享分布式块存储、分布式文件存储、分布式对象存储可以单独规划组成存储POD。访问存储POD的流量在SDN-GW解开VXLAN封装以后走Underaly网络路由转发达到存储POD。在POD内配置单独的VRF用于隔离访问存储的流量和其他业务流量。存储POD有访问外网需求的,存储汇聚交换机规划上连南北汇聚交换机。FC SAN存储建议直接部署在各POD内。
图2.存储POD网络规划图 3.大规模SDN数据中心Underlay组网及路由规划多POD的大规模数据中心的Underlay组网,网络内网络设备数量众多,按每POD内500台网络设备数量计算,10个POD组网网络设备将超过5000台,因此如何规划好Underlay层面的路由配置,对大规模数据中心网络的高性能转发非常重要。
普通数据中心场景IGP路由主要是以OSPF路由为主,OSPF路由技术成熟,网络建设运维人员使用经验丰富。使用OSPF作为大规模数据中心组网的IGP路由协议,各POD应划分为不同的Area区域,东西汇聚交换机作为骨干区域Area0,以减少LSA的传播区域和传播数量。各POD内SDN-GW作为OSPF区域边界网络设备,将不同接口划入不同的区域,上连东西汇聚交换机接口划入Area0,下连POD内Spine接口划入各POD单独Area。南北汇聚交换机一般工作在二层透传模式,三层终结在外网防火墙,因此南北汇聚交换机可不运行路由协议。
图3.大规模数据中心组网OSPF路由规划相比较OSPF,ISIS 支持ISPF(Incremental SPF),对大规模网络的支持能力和收敛性能更好。ISIS支持灵活的TLV编码方式,协议扩展性更好。ISIS因其收敛速度快、结构清晰、适用于较大规模网络,一直比较多应用于城域网场景或者IP专网场景作为IGP路由协议。随着数据中心规模越来越大、设备数量越来越多,ISIS也更多的应用于数据中心场景。ISIS的区域边界在链路,每台网络设备只能属于一个ISIS区域。为减少LSP的传播区域和传播数量,在大规模数据中心场景ISIS分层次进行规划,骨干区域包括POD间东西汇聚交换机和每个POD内的SDN-GW。POD间东西汇聚交换机运行ISIS level2,POD内的SDN-GW运行ISIS的level-1-2。每个POD内Spine和Leaf运行ISIS level1。
图4.大规模数据中心组网ISIS路由规划RFC7938提出了将EBGP路由协议应用于大规模数据中心的建议,而且目前也有少量将EBGP应用于数据中心内作为底层路由协议的实例。有别于OSPF、ISIS等链路状态协议,BGP是一种距离矢量路由协议,因此BGP的扩展性更好。在中小型的数据中心组网时,使用BGP和使用ISIS、OSPF等链路状态协议性能区别不大,但是在超大型数据中心的网络中,应用BGP的性能会更优。OSPF、ISIS等链路状态协议需要在网络内传递大量的LSA,路由信息生成过程是先完成LSA信息同步,再计算生成路由信息。在网络部分节点发生变动或者网络割接升级时,会引起大量LSA的传递。而距离矢量路由协议BGP不存在这样的问题,BGP节点间直接通告路由,在网络扩展和割接升级时的网络稳定性更好。