浙江电信的5GC组网部署和实践探讨
5g核心网（以下简称5gc）是5g能否成功部署和顺利发展的关键，在整个中国电信ctnet2025网络重构工作当中，5gc的云化部署是一项重点工作。在坚持5gc控制面云化三层解耦的目标架构基础上，承载5gc的ct云资源池建设，除了要满足nfv网元的可靠承载及转发性能需求外，为应对5g面对不确定的业务、提供确定服务的挑战，5gc应以模块化、软件化、服务化的方式构建网络，应面向mec提供灵活的适配能力，支持多dc架构，实现云边协同。
因此，中国电信股份有限公司浙江分公司（以下简称“浙江电信”）在建设5gc云化部署的ct云工作实践中，以5g业务特点为出发点，充分考虑了nfv云化部署后，5gc vnf为实现业务特性对dc网络基础架构高可用性、稳定性、安全性的特定需求，探讨了在统一云基础设施架构中，实现多业务承载的组网方案。
border-leaf设备作为dc与wan侧的边界 ct云主要用于承载nfv虚拟化的ct类网元（vnf），比如城域网的vbras、vcpe，4g的vepc、vims，5g的amf、smf、upf等。当前，dc云资源池内的spine-leaf组网是普遍方案，但与承载it类业务的云资源池不同，ct云因其上ct类nfv网元的业务特性，功能上需要有一组border-leaf设备作为dc与wan侧的边界，起到业务连接、路由收敛的作用。显然，ct云对这组网络设备的路由性能、收敛时间等有更高的要求。
一是大规模路由需求。border-leaf要处理所有南北向流量路由，要具备大规格fib v4/v6路由能力，ct云的路由来源包括移动用户的动态/静态路由、企业vpn客户路由、家宽用户路由、wan侧路由、基站侧路由，考虑到未来业务发展，路由需求通常在200k以上，而普通的交换机的路由规格仅为120k（v6）/256k（v4）左右，路由器的路由规格通常超过4m。
二是大规格bgp会话数与vrf数量。border-leaf需要分别建立与pe/vnf的bgp peer关系，交换wan与dc间的路由，配置复杂的路由策略，要求很强的bgp会话能力。
border-leaf集中处理所有dc中leaf下挂的业务vpn，而leaf只需要处理本地下挂vnf的vpn。比如vnf业务vpn、企业移动vpn、传统网络vpn对接，因此border-leaf 对vrf、bd、bdif的能力要求更高。
三是快速bfd收敛。border-leaf汇聚大量用户路由，要具备快速收敛能力，包括毫秒级bfd，设备发生故障时，通过bfd快速感知故障，加快收敛速度；路由快速收敛，设备发生故障时，要求快速刷新路由表。
四是丰富路由特性。border-leaf作为dc和wan的网络边界，要适配各种复杂的wan组网要求（dc多出口、路由策略控制、安全策略、qos映射策略）。未来dc网络的演进，ai，srv6等特性会走进ct云，需要border-leaf具备面向未来演进的能力。
对于5gc场景，border-leaf所承担的南北向连接需求主要有两个方面：北向连接，分别与chinanet、cn2 pe、ip ran er等进行对接，做综合接入与汇聚；南向连接，作为dc内5gc vnf的l3-gw，主要承担vnf南北流量转发，部分东西跨vpc的流量转发。
通过以上分析可以看出，ct云中的border-leaf从功能上，是一个服务于ct业务的跨专业连接设备，在设备形态上，推荐选用高性能路由器。但因其边界设备的特殊位置，必定会产生多专业交叉维护问题。如以上提到的北向连接与南向连接，从运营商传统维护界面的专业划分，就分别属于承载网专业与5g核心网专业的维护范畴，再向南端延伸至dc内，dc内的spine-leaf交换网络包括服务器、存储、nfvi、vim等云基础设施，又属于云资源池专业维护的范畴。因此，为了使用及维护界面的清晰，以南北向连接的能力为维度，将border-leaf进行能力分解，从物理设备形态上分为5gc-ce（承担北向连接）和dc-gw（承担南向连接）两组设备，以路由器为设备选型建议，分析其分设的合理性见表，两种组网架构如图1、图2所示。
图1 5gc-ce&dc-gw 分设组网架构
图2 5gc-ce&dc-gw合设组网架构
5gc-ce&dc-gw分设组网：5gc-ce和dc-gw分设在两组不同路由器上，dc-gw和5gc-ce部署ebgp optiona方式对接，见表。
5gc-ce&dc-gw合设组网：5gc-ce和dc-gw部署在同一组路由器上，dc-gw&5gc-ce通过vxlan和sr/mpls拼接或路由重发布。
表 5gc-ce&dc-gw合设 vs 分设组网对比分析
综上多维度分析，5gc业务覆盖面广，业务影响大，5gc-ce、dc-gw合设系统复杂度高、角色交织、故障耦合、操作难度大、风险高。因此，5gc-ce、dc-gw分设更为合理。
浙江电信5gc组网实践
在浙江电信5gc组网实践中，5gc-ce、dc-gw分设，中心云dc业务网络、管理网络和存储网络三网独立部署，通过云管平台和dc sdn控制器实现计算、存储和网络的自动化协同发放，如图3所示。
图3 浙江电信5gc组网实践
在业务网络层面，业务tor成对堆叠；信令网络采用硬件分布式sdn方案，在业务tor、dc-gw之间部署bgp-evpn，业务tor做vnf的三层网关，与vnf的接口地址部署静态路由+bfd打通业务地址（loopback地址），dc-gw与vnf的业务地址之间运行ebgp+bfd发布业务路由；dc-gw与5gc ce采取option a ebgp对接；服务器使用10ge/25ge接入业务tor，业务tor与业务eor之间使用40ge连接；业务eor向上都采用100ge连接。
在管理网络层面，管理tor、管理eor分别成对堆叠，管理eor作为管理区的三层网关，管理eor与ip ran网络b设备使用静态路由发布管理区路由；管理tor与管理eor之间使用10ge连接。
在存储网络层面，存储tor、存储eor分别成对堆叠；存储tor与存储eor之间使用40ge连接。
对于ct云内承载的不同专业ct业务系统，border-leaf作为边界，其与内外部网络设备的连接方式及部署要求也不尽相同，对于不同专业，在统一dc云基础设施承载的基础上，这组设备可能需要按专业独立分设。其border-leaf设备就是一组独立的pool-gw，dc内其他网络和it设备原则上可与5gc共用，界面上唯一的不同为：其中vbras网元与pool-gw为数据接入网专业维护，相应mano中的管理维护界面也做对应区分。
当前演进：5gc控制面云化，聚焦dc云内自动化 随着embb、e2x、mec等5g典型业务逐步商用，特别是mec的部署驱动核心网将逐步从集中式向分布式云化架构演进，以满足不同的业务体验需求。5g ct云建设是一个长期过程，需由中心云向边缘云逐步推进，根据业务需求分阶段建设。
当前浙江电信5gc ct云建设项目，以nfvo/vim云平台结合sdn控制器，聚焦dc内核心网云化、网络自动化部署。
在业务上线时，根据用户在云平台上的逻辑组网设计，由sdn控制器自动打通端到端网络的各个环节并完成所需下发的配置；为ct云业务提供弹性计算、弹性网络、弹性负载均衡、弹性安全等业务服务能力；完成并增强各资源池的云服务能力，能够快速对所属资源及能力进行自动化发放。
部署在数据中心的sdn网络，为nfvi提供网络服务，即向各种类型的vnf网元提供相应的网络接入、路由、vas等服务，使vnf能灵活按需与各类外部网络互联。
根据云核心网网元的特征，ct云网络分为虚拟化层网络（负责vm基础连通性，转发网元内东西向流量及网元业务管理流量）和业务层网络（vnf间通信网络以及vnf与外部网络的连通性），sdn控制器需要支持虚拟化层网络和业务层网络的自动化发放。
未来演进：5gc用户面下沉，多dc架构 随着5g业务开展，低时延业务如cloudvr、mec等应用推进，u面将逐步下沉，靠近用户侧。ct云架构将呈现多级分布式架构，边缘云快速处理用户请求，减小时延；中心云集中部署管理面和控制面，集中管控。此时，边缘云和中心云、中心云和中心云之间将产生互访流量，需要考虑如何快速建立dc间连接。
边缘dc upf/cdn/mec等转发节点，可以考虑引入边缘网关作为边缘云接入设备，该边缘网关可以和ip ran融合，和ip ran网络使能e2e srv6，实现5g基站快速接入，快速开通。
边缘网关被ip ran的wan控制器纳管，将边缘网关和ip ran网络统一管理，并和vim对接，实现wan和dc统一管控。
中心云采用vxlan转发技术，沿用第一期方案，由dc内sdn控制器管控，实现dc内云网自动化部署。
wan控制器和dcn控制器统一dci接口，并和业务协同层对接，由协同层编排dci互联需求，实现dci连接按需打通。
边缘dc流量采用srv6技术承载，srv6协议在中心云dc-gw之前的pe节点终结，pe和dc-gw采用vlan/ip对接，通过协同层实现pe和dc-gw的自动化对接，实现边缘云和中心云的自动化打通。
浙江电信5gc云化部署的组网实践，为面向ctnet2025目标架构的云基础设施组网提供了有力的技术经验支撑。
即刻预约！相约NEPCON 2023上海电子展共赴电子制造业高端盛会
大陆市场内需助力台电子工业“转型”
为什么说小电容通高频，大电容通低频？
商汤科技闪耀杭州智博会，AI开启无限想象新时代
盘点智能手机屏幕的形态设计
浙江电信的5GC组网部署和实践探讨
浪潮尤为重视新存储在新数据时代的价值 静待2019年的下一轮升级
爆料称苹果iPhone 12系列后置摄像头都将支持夜间模式
环境温度变化对DC电源模块稳定性的影响
荣耀手环6正式发布：血氧监测技术再度升级
直接飞行时间传感器（dToF）TMF8821
高端装备业迎来“万亿级蓝海”
谷歌敦促Chrome浏览器用户尽快淘汰Win7：开发工作已叫停
NVIDIA助力各方协作为3D世界制定OpenUSD标准
三星正努力拓展芯片新业务 巩固它的全球最大半导体企业的地位
甘肃移动发布OTN政企精品专网和专线，助力甘肃经济的高质量发展
基于编码器-解码器的架构来从水下图像重建出清晰的图像
2018年存储技术发展新趋势 依然闪亮的对象存储
英特尔重磅发布全新数据中心处理器，为数字经济发展增添新动力
Allegro中的文件类型后缀汇总
因此，中国电信股份有限公司浙江分公司（以下简称“浙江电信”）在建设5gc云化部署的ct云工作实践中，以5g业务特点为出发点，充分考虑了nfv云化部署后，5gc vnf为实现业务特性对dc网络基础架构高可用性、稳定性、安全性的特定需求，探讨了在统一云基础设施架构中，实现多业务承载的组网方案。
border-leaf设备作为dc与wan侧的边界 ct云主要用于承载nfv虚拟化的ct类网元（vnf），比如城域网的vbras、vcpe，4g的vepc、vims，5g的amf、smf、upf等。当前，dc云资源池内的spine-leaf组网是普遍方案，但与承载it类业务的云资源池不同，ct云因其上ct类nfv网元的业务特性，功能上需要有一组border-leaf设备作为dc与wan侧的边界，起到业务连接、路由收敛的作用。显然，ct云对这组网络设备的路由性能、收敛时间等有更高的要求。
一是大规模路由需求。border-leaf要处理所有南北向流量路由，要具备大规格fib v4/v6路由能力，ct云的路由来源包括移动用户的动态/静态路由、企业vpn客户路由、家宽用户路由、wan侧路由、基站侧路由，考虑到未来业务发展，路由需求通常在200k以上，而普通的交换机的路由规格仅为120k（v6）/256k（v4）左右，路由器的路由规格通常超过4m。
二是大规格bgp会话数与vrf数量。border-leaf需要分别建立与pe/vnf的bgp peer关系，交换wan与dc间的路由，配置复杂的路由策略，要求很强的bgp会话能力。
border-leaf集中处理所有dc中leaf下挂的业务vpn，而leaf只需要处理本地下挂vnf的vpn。比如vnf业务vpn、企业移动vpn、传统网络vpn对接，因此border-leaf 对vrf、bd、bdif的能力要求更高。
三是快速bfd收敛。border-leaf汇聚大量用户路由，要具备快速收敛能力，包括毫秒级bfd，设备发生故障时，通过bfd快速感知故障，加快收敛速度；路由快速收敛，设备发生故障时，要求快速刷新路由表。
四是丰富路由特性。border-leaf作为dc和wan的网络边界，要适配各种复杂的wan组网要求（dc多出口、路由策略控制、安全策略、qos映射策略）。未来dc网络的演进，ai，srv6等特性会走进ct云，需要border-leaf具备面向未来演进的能力。
对于5gc场景，border-leaf所承担的南北向连接需求主要有两个方面：北向连接，分别与chinanet、cn2 pe、ip ran er等进行对接，做综合接入与汇聚；南向连接，作为dc内5gc vnf的l3-gw，主要承担vnf南北流量转发，部分东西跨vpc的流量转发。
通过以上分析可以看出，ct云中的border-leaf从功能上，是一个服务于ct业务的跨专业连接设备，在设备形态上，推荐选用高性能路由器。但因其边界设备的特殊位置，必定会产生多专业交叉维护问题。如以上提到的北向连接与南向连接，从运营商传统维护界面的专业划分，就分别属于承载网专业与5g核心网专业的维护范畴，再向南端延伸至dc内，dc内的spine-leaf交换网络包括服务器、存储、nfvi、vim等云基础设施，又属于云资源池专业维护的范畴。因此，为了使用及维护界面的清晰，以南北向连接的能力为维度，将border-leaf进行能力分解，从物理设备形态上分为5gc-ce（承担北向连接）和dc-gw（承担南向连接）两组设备，以路由器为设备选型建议，分析其分设的合理性见表，两种组网架构如图1、图2所示。
图1 5gc-ce&dc-gw 分设组网架构
图2 5gc-ce&dc-gw合设组网架构
5gc-ce&dc-gw分设组网：5gc-ce和dc-gw分设在两组不同路由器上，dc-gw和5gc-ce部署ebgp optiona方式对接，见表。
5gc-ce&dc-gw合设组网：5gc-ce和dc-gw部署在同一组路由器上，dc-gw&5gc-ce通过vxlan和sr/mpls拼接或路由重发布。
表 5gc-ce&dc-gw合设 vs 分设组网对比分析
综上多维度分析，5gc业务覆盖面广，业务影响大，5gc-ce、dc-gw合设系统复杂度高、角色交织、故障耦合、操作难度大、风险高。因此，5gc-ce、dc-gw分设更为合理。
浙江电信5gc组网实践
在浙江电信5gc组网实践中，5gc-ce、dc-gw分设，中心云dc业务网络、管理网络和存储网络三网独立部署，通过云管平台和dc sdn控制器实现计算、存储和网络的自动化协同发放，如图3所示。
图3 浙江电信5gc组网实践
在业务网络层面，业务tor成对堆叠；信令网络采用硬件分布式sdn方案，在业务tor、dc-gw之间部署bgp-evpn，业务tor做vnf的三层网关，与vnf的接口地址部署静态路由+bfd打通业务地址（loopback地址），dc-gw与vnf的业务地址之间运行ebgp+bfd发布业务路由；dc-gw与5gc ce采取option a ebgp对接；服务器使用10ge/25ge接入业务tor，业务tor与业务eor之间使用40ge连接；业务eor向上都采用100ge连接。
在管理网络层面，管理tor、管理eor分别成对堆叠，管理eor作为管理区的三层网关，管理eor与ip ran网络b设备使用静态路由发布管理区路由；管理tor与管理eor之间使用10ge连接。
在存储网络层面，存储tor、存储eor分别成对堆叠；存储tor与存储eor之间使用40ge连接。
对于ct云内承载的不同专业ct业务系统，border-leaf作为边界，其与内外部网络设备的连接方式及部署要求也不尽相同，对于不同专业，在统一dc云基础设施承载的基础上，这组设备可能需要按专业独立分设。其border-leaf设备就是一组独立的pool-gw，dc内其他网络和it设备原则上可与5gc共用，界面上唯一的不同为：其中vbras网元与pool-gw为数据接入网专业维护，相应mano中的管理维护界面也做对应区分。
当前演进：5gc控制面云化，聚焦dc云内自动化 随着embb、e2x、mec等5g典型业务逐步商用，特别是mec的部署驱动核心网将逐步从集中式向分布式云化架构演进，以满足不同的业务体验需求。5g ct云建设是一个长期过程，需由中心云向边缘云逐步推进，根据业务需求分阶段建设。
当前浙江电信5gc ct云建设项目，以nfvo/vim云平台结合sdn控制器，聚焦dc内核心网云化、网络自动化部署。
在业务上线时，根据用户在云平台上的逻辑组网设计，由sdn控制器自动打通端到端网络的各个环节并完成所需下发的配置；为ct云业务提供弹性计算、弹性网络、弹性负载均衡、弹性安全等业务服务能力；完成并增强各资源池的云服务能力，能够快速对所属资源及能力进行自动化发放。
部署在数据中心的sdn网络，为nfvi提供网络服务，即向各种类型的vnf网元提供相应的网络接入、路由、vas等服务，使vnf能灵活按需与各类外部网络互联。
根据云核心网网元的特征，ct云网络分为虚拟化层网络（负责vm基础连通性，转发网元内东西向流量及网元业务管理流量）和业务层网络（vnf间通信网络以及vnf与外部网络的连通性），sdn控制器需要支持虚拟化层网络和业务层网络的自动化发放。
未来演进：5gc用户面下沉，多dc架构 随着5g业务开展，低时延业务如cloudvr、mec等应用推进，u面将逐步下沉，靠近用户侧。ct云架构将呈现多级分布式架构，边缘云快速处理用户请求，减小时延；中心云集中部署管理面和控制面，集中管控。此时，边缘云和中心云、中心云和中心云之间将产生互访流量，需要考虑如何快速建立dc间连接。
边缘dc upf/cdn/mec等转发节点，可以考虑引入边缘网关作为边缘云接入设备，该边缘网关可以和ip ran融合，和ip ran网络使能e2e srv6，实现5g基站快速接入，快速开通。
边缘网关被ip ran的wan控制器纳管，将边缘网关和ip ran网络统一管理，并和vim对接，实现wan和dc统一管控。
中心云采用vxlan转发技术，沿用第一期方案，由dc内sdn控制器管控，实现dc内云网自动化部署。
wan控制器和dcn控制器统一dci接口，并和业务协同层对接，由协同层编排dci互联需求，实现dci连接按需打通。
边缘dc流量采用srv6技术承载，srv6协议在中心云dc-gw之前的pe节点终结，pe和dc-gw采用vlan/ip对接，通过协同层实现pe和dc-gw的自动化对接，实现边缘云和中心云的自动化打通。
浙江电信5gc云化部署的组网实践，为面向ctnet2025目标架构的云基础设施组网提供了有力的技术经验支撑。
即刻预约！相约NEPCON 2023上海电子展共赴电子制造业高端盛会
大陆市场内需助力台电子工业“转型”
为什么说小电容通高频，大电容通低频？
商汤科技闪耀杭州智博会，AI开启无限想象新时代
盘点智能手机屏幕的形态设计
浙江电信的5GC组网部署和实践探讨
浪潮尤为重视新存储在新数据时代的价值 静待2019年的下一轮升级
爆料称苹果iPhone 12系列后置摄像头都将支持夜间模式
环境温度变化对DC电源模块稳定性的影响
荣耀手环6正式发布：血氧监测技术再度升级
直接飞行时间传感器（dToF）TMF8821
高端装备业迎来“万亿级蓝海”
谷歌敦促Chrome浏览器用户尽快淘汰Win7：开发工作已叫停
NVIDIA助力各方协作为3D世界制定OpenUSD标准
三星正努力拓展芯片新业务 巩固它的全球最大半导体企业的地位
甘肃移动发布OTN政企精品专网和专线，助力甘肃经济的高质量发展
基于编码器-解码器的架构来从水下图像重建出清晰的图像
2018年存储技术发展新趋势 依然闪亮的对象存储
英特尔重磅发布全新数据中心处理器，为数字经济发展增添新动力
Allegro中的文件类型后缀汇总