华为NoF+存储网络解决方案
全闪存时代背景下，传统的fc（fibre channel，网状通道）存储网络已经无法满足全闪存数据中心的要求，nvme（non-volatile memory express，非易失性内存主机控制器接口规范）存储协议的出现极大提升了存储系统内部的存储吞吐性能、降低了传输时延，nof（nvme over fabric）存储网络应运而生。在多种fabric技术中，nvme over roce（rdma over converged ethernet）被广大存储厂商所接受，成为业界nof的主流。华为推出的nof+存储网络解决方案，相较于标准nof方案，在性能、可靠性、易用性上均实现了颠覆性改进，是全闪存时代的最佳选择。
为什么需要nof+？
随着智能时代的到来，各种业务对海量数据的存储和读写需求，催生了新的存储介质（ssd）和存储协议（nvme），存储性能提升了百倍。存储节点不是独立存在的，多个存储节点之间通过存储网络互连。存储性能提升后，需要一个更快、更高质量的存储网络与之匹配，这张网络就是nvme over fabric，即nof。
nof将nvme协议应用到服务器主机前端，作为存储阵列与前端主机连接的通道，可端到端取代san网络中的scsi协议，构建全以太的存储san网络，如图1-2所示。
nof的产生背景
nvme over fabric中的“fabric”，是nvme的承载网络，这个网络可以是roce、fc或tcp。
nvme over fc协议标准为fc-nvme，fc-nvme和fc-scsi同样都基于fcp，io交互基于exchange。fc-nvme基于传统的fc网络，通过升级主机驱动和交换机支持，fc-scsi和fc-nvme能同时运行在同一个fc网络中。fc-nvme能最大化继承传统的fc网络，复用网络基础设施，基于fc物理网络发挥nvme新协议的优势。
nvme over tcp基于现有的ip网络，采用tcp协议传输nvme，在网络基础设施不变的情况下实现了端到端nvme。虽然nvme over tcp网络性能弱于fc和roce，但整体性能通过nvme得到提升，对比iscsi仍有大幅度的提升。而且nvme over tcp对网络的要求比较低，具有更强大的兼容性，不需要单独建设无损网络，传统以太网即可支持，因此在不追求高性能的情况下，nvme over tcp将是未来市场的普遍选择。
nvme over roce是nvme over rdma的一种，rdma是承载nof的原生网络协议，rdma协议除了roce外还包括ib（infiniband）和iwarp（internet wide area rdma protocol）。其中，基于以太网的roce目前已成为rdma的主流网络承载方式。nvme over rdma协议比较简单，直接把nvme的io队列映射到rdma qp（queue pair）连接，通过rdma send，rdma write，rdma read三个语义实现io交互。nvme over roce基于融合以太网的rdma技术承载nvme协议。
三种方案相比较，基于以太网的roce比fc性能更高（更高的带宽、更低的时延），同时兼具tcp的优势（全以太化、全ip化），因此nvme over roce是nof最优的承载网络方案，也已成为业界nof的主流技术。
基于以太网的roce在存储性能、带宽方面比fc有显著优势，但替换fc、联接全闪存，标准的nof（nvme over roce）还需在3个方面加强完善：
网络性能：零丢包
网络零丢包是存储网络的基本需求，传统以太网络拥塞易丢包。
可靠性：秒级主备切换
存储为了可靠性，会构建多个网络平面，切换时间需<1s。
易用性：即插即用
fc存储网络场景单一、配置简单，当前以太网络还需针对存储场景适应性改进。
nof+与nof比有哪些优势？
基于当下业界主流的标准nof方案，华为依靠在网络和存储领域的深厚积累，进一步从网络性能、可靠性和易用性这三点都进行提升，基于智能无损网络面向集中式存储场景提出了nof+解决方案，将数据中心存储网络进一步推向更广阔的发展空间。
网络性能增强：
华为nof+方案改变了传统以太网静态水线方式，对网络预测性能力进行专项优化，通过样本计算，针对特定场景，基于独创的ilossless智能无损算法进行精准的控制，从而预判业务对网络的诉求，实时感知网络流量模型，动态调整水线，可实现存储网络高吞吐下的零丢包，进一步提升性能。
可靠性增强：
保障业务系统可靠是存储的根基，比如存储的秒级切换功能就是可靠性的关键保障之一，传统以太网缺乏故障主动发现和通知机制，发生故障时链路切换时间长，造成存储业务中断。华为nof+方案推出智能感知特性，实现了从事后被动响应到主动通知、提前识别拥塞和故障。当一个节点出现故障，业务会以亚秒级响应速度切换，在高性能运行的前提下，也能维持系统的稳定可靠。
易用性增强：
存储场景下传统以太网需要逐点手工配置，操作复杂且易出错。华为nof+方案实现存储和交换机的智能联动，支持存储设备的即插即用和一键式扩容。业务变更只需在单点配置，即可自动同步到全网，业务发放效率显著提升，增强了在未来建设时的易用性。
华为nof+方案是业界唯一零丢包的以太网，基于全闪存数据中心和超融合以太网络，通过最新一代oceanstor dorado全闪存存储系统和cloudengine数据中心存储网络交换机的联合创新，针对传统专用存储网络，在性能、可靠性、易用性上均实现了颠覆性改进，是全闪存时代存储网络的的最佳选择。
nof+的网络架构
在数据中心常规组网里面，存储网络只是其中的一部分，集中式存储是一个独立的网络，与业务网络在物理上隔离，如图1-3所示。
数据中心集中式存储网络架构图
业务网络：是指业务服务器对外提供服务通信网络，该网络与外部网络互连互通。
计算网络：是指运行oltp/olap（online transaction processing/online analytical processing）数据库的后台服务计算节点所组成的物理网络，使用不同的网卡连接业务网络和存储网络，实现业务网络和存储网络之间物理隔离，避免相互影响。
存储网络：是指计算服务器访问存储数据时使用通信网络，该网络一般是独立的物理网络。为了保证数据高可靠，存储网络支持dc级容灾，支持同城双活存储网络，确保业务系统发生设备故障、甚至单数据中心故障时，业务无感知自动切换，实现rpo（recovery point objective）=0，rto（recovery time objective）≈0。
数据中心为了容灾考虑，需要实现多数据中心互通。同城两个数据中心互为备份，且都处于运行状态。当一个数据中心发生设备故障，甚至数据中心整体故障时，业务自动切换到另一个数据中心，解决了传统灾备中心不能承载业务和业务无法自动切换的问题。提供给用户高级别的数据可靠性以及业务连续性的同时，提高存储系统的资源利用率。
在集中式存储下，dc间同城互联的一般组网如图1-4所示。为了实现同城读写支持nvme over roce，需要实现同城无损网络，即需要一套跨dc的无损网络，每个dc部署两台支持智能长距无损的dci leaf，中间通过波分设备或者裸光纤直连实现双平面，实现端到端的roce无损网络。
dc间同城互联一般组网示意图
nof+的关键技术
流量控制
流量控制是端到端的，需要做的是抑制发送端的发送速率，以便接收端来得及接收，防止设备端口在拥塞的情况下出现丢包。华为提供了pfc死锁检测和死锁预防，提前预防pfc死锁的发生。
pfc（priority-based flow control，基于优先级的流量控制）：是目前应用最广泛的流量控制技术。对于pfc控制的队列，当队列在下游设备发生拥塞时，上游设备会停止发送该队列的流量，从而实现报文的零丢包传输。
pfc死锁检测：通过对pfc死锁进行全程监控，当死锁检测周期内持续收到pfc反压帧时，设备可以通过不响应反压帧的方式去解除pfc死锁现象。
pfc死锁预防：通过识别易造成pfc死锁的业务流，修改队列优先级，改变pfc反压的路径，避免pfc反压帧形成环路，从而预防pfc死锁的发生。
拥塞控制
拥塞控制是指对进入网络的数据总量进行控制，使网络流量保持在可接受水平的一种控制方法。拥塞控制与流量控制的区别在于，流量控制作用于接收者，而拥塞控制作用于网络，往往需要转发设备、流量发送端、流量接收端协同作用，并结合网络中的拥塞反馈机制来调节整网流量才能起到缓解拥塞、解除拥塞的效果。
ecn（explicit congestion notification，显式拥塞通知）：是指流量接收端感知到网络上发生拥塞后，通过协议报文通知流量发送端，使得流量发送端降低报文的发送速率，从而从早期避免拥塞而导致的丢包，实现网络性能的最大利用。
ai ecn（artificial intelligence explicit congestion notification）：是指通过ilossless智能无损算法，根据现网流量模型进行ai训练，以对网络流量变化进行预测，及时推理出最优的ecn门限，并且支持根据现网流量变化实时调整ecn门限，进行无损队列缓存的精确管控，保障整网的最优性能。同时，ai ecn功能与队列调度技术配合使用时，可以实现网络中tcp流量与rocev2流量的混合调度，保障rocev2流量无损传输的同时实现低时延和高吞吐，让无损业务达到最优性能。
npcc（network-based proactive congestion control）：是一种以网络设备为核心的主动拥塞控制技术，可以在网络设备上智能识别设备端口的拥塞状态，主动发送cnp（congestion notification packets，拥塞通知报文）报文，准确控制服务器发送rocev2报文的速率，既可以确保拥塞时的及时降速，又可以避免拥塞已经缓解时的过度降速，最终确保数据中心互联这种长距场景中rocev2业务的低时延和高吞吐。
inof
inof（intelligent lossless nvme over fabric，智能无损存储网络）是指通过对接入主机的快速管控，将智能无损网络应用到存储系统，实现计算和存储网络融合的技术。
存储系统为了存储大量的数据，往往需要管理数量庞大的主机，并且存在新主机陆续接入网络设备的情况。为了让智能无损网络技术更好的服务于存储系统，提出了inof技术，通过对接入主机的快速管控，可以第一时间获知新接入的主机，智能的调整智能无损网络的相关配置，并且inof技术支持将主机信息通告给存储系统，可以协助存储系统管理主机。
受库存负担和需求低迷影响，苹果2023年iPad面板采购量将下降36%
电源改锂电万能充详细教程
FIIL CC 真无线蓝牙耳机体验，开放式的收纳方式受到青睐
意法半导体STM32F103RCXX系列型号解读
中国将成为全球连网自动售货机领域的主要参与者
华为NoF+存储网络解决方案
新品发布：I-PEX公司发布新品，有源光学模块 LIGHTPASS
开鸿智谷携在鸿学生终端亮相首届OpenHarmony开发者大会：美好教育，无处不在
能够设计出适合过程控制的高精度、高密度和隔离模拟输出模块的系统级方法
基于对EPCS在线编程的FPGA可重构方法
RFID技术规范共享车辆停放
AMD锐龙5 7500F台式处理器实现真正的高效低功耗
未来人工智能的生活，你想破脑袋可能都不敢相信？
2023年全球海上风电市场将部署超过206000条海底电缆
贸泽与Littelfuse联手推出全新内容专题 为工业安全提供关键资源
LVDS基础知识
数控加工中心与数控铣床最大的区别
倒装全面取代正装可能不太现实
如何决定要使用多少点来做FFT
EMI和EMS噪声的定义
为什么需要nof+？
随着智能时代的到来，各种业务对海量数据的存储和读写需求，催生了新的存储介质（ssd）和存储协议（nvme），存储性能提升了百倍。存储节点不是独立存在的，多个存储节点之间通过存储网络互连。存储性能提升后，需要一个更快、更高质量的存储网络与之匹配，这张网络就是nvme over fabric，即nof。
nof将nvme协议应用到服务器主机前端，作为存储阵列与前端主机连接的通道，可端到端取代san网络中的scsi协议，构建全以太的存储san网络，如图1-2所示。
nof的产生背景
nvme over fabric中的“fabric”，是nvme的承载网络，这个网络可以是roce、fc或tcp。
nvme over fc协议标准为fc-nvme，fc-nvme和fc-scsi同样都基于fcp，io交互基于exchange。fc-nvme基于传统的fc网络，通过升级主机驱动和交换机支持，fc-scsi和fc-nvme能同时运行在同一个fc网络中。fc-nvme能最大化继承传统的fc网络，复用网络基础设施，基于fc物理网络发挥nvme新协议的优势。
nvme over tcp基于现有的ip网络，采用tcp协议传输nvme，在网络基础设施不变的情况下实现了端到端nvme。虽然nvme over tcp网络性能弱于fc和roce，但整体性能通过nvme得到提升，对比iscsi仍有大幅度的提升。而且nvme over tcp对网络的要求比较低，具有更强大的兼容性，不需要单独建设无损网络，传统以太网即可支持，因此在不追求高性能的情况下，nvme over tcp将是未来市场的普遍选择。
nvme over roce是nvme over rdma的一种，rdma是承载nof的原生网络协议，rdma协议除了roce外还包括ib（infiniband）和iwarp（internet wide area rdma protocol）。其中，基于以太网的roce目前已成为rdma的主流网络承载方式。nvme over rdma协议比较简单，直接把nvme的io队列映射到rdma qp（queue pair）连接，通过rdma send，rdma write，rdma read三个语义实现io交互。nvme over roce基于融合以太网的rdma技术承载nvme协议。
三种方案相比较，基于以太网的roce比fc性能更高（更高的带宽、更低的时延），同时兼具tcp的优势（全以太化、全ip化），因此nvme over roce是nof最优的承载网络方案，也已成为业界nof的主流技术。
基于以太网的roce在存储性能、带宽方面比fc有显著优势，但替换fc、联接全闪存，标准的nof（nvme over roce）还需在3个方面加强完善：
网络性能：零丢包
网络零丢包是存储网络的基本需求，传统以太网络拥塞易丢包。
可靠性：秒级主备切换
存储为了可靠性，会构建多个网络平面，切换时间需<1s。
易用性：即插即用
fc存储网络场景单一、配置简单，当前以太网络还需针对存储场景适应性改进。
nof+与nof比有哪些优势？
基于当下业界主流的标准nof方案，华为依靠在网络和存储领域的深厚积累，进一步从网络性能、可靠性和易用性这三点都进行提升，基于智能无损网络面向集中式存储场景提出了nof+解决方案，将数据中心存储网络进一步推向更广阔的发展空间。
网络性能增强：
华为nof+方案改变了传统以太网静态水线方式，对网络预测性能力进行专项优化，通过样本计算，针对特定场景，基于独创的ilossless智能无损算法进行精准的控制，从而预判业务对网络的诉求，实时感知网络流量模型，动态调整水线，可实现存储网络高吞吐下的零丢包，进一步提升性能。
可靠性增强：
保障业务系统可靠是存储的根基，比如存储的秒级切换功能就是可靠性的关键保障之一，传统以太网缺乏故障主动发现和通知机制，发生故障时链路切换时间长，造成存储业务中断。华为nof+方案推出智能感知特性，实现了从事后被动响应到主动通知、提前识别拥塞和故障。当一个节点出现故障，业务会以亚秒级响应速度切换，在高性能运行的前提下，也能维持系统的稳定可靠。
易用性增强：
存储场景下传统以太网需要逐点手工配置，操作复杂且易出错。华为nof+方案实现存储和交换机的智能联动，支持存储设备的即插即用和一键式扩容。业务变更只需在单点配置，即可自动同步到全网，业务发放效率显著提升，增强了在未来建设时的易用性。
华为nof+方案是业界唯一零丢包的以太网，基于全闪存数据中心和超融合以太网络，通过最新一代oceanstor dorado全闪存存储系统和cloudengine数据中心存储网络交换机的联合创新，针对传统专用存储网络，在性能、可靠性、易用性上均实现了颠覆性改进，是全闪存时代存储网络的的最佳选择。
nof+的网络架构
在数据中心常规组网里面，存储网络只是其中的一部分，集中式存储是一个独立的网络，与业务网络在物理上隔离，如图1-3所示。
数据中心集中式存储网络架构图
业务网络：是指业务服务器对外提供服务通信网络，该网络与外部网络互连互通。
计算网络：是指运行oltp/olap（online transaction processing/online analytical processing）数据库的后台服务计算节点所组成的物理网络，使用不同的网卡连接业务网络和存储网络，实现业务网络和存储网络之间物理隔离，避免相互影响。
存储网络：是指计算服务器访问存储数据时使用通信网络，该网络一般是独立的物理网络。为了保证数据高可靠，存储网络支持dc级容灾，支持同城双活存储网络，确保业务系统发生设备故障、甚至单数据中心故障时，业务无感知自动切换，实现rpo（recovery point objective）=0，rto（recovery time objective）≈0。
数据中心为了容灾考虑，需要实现多数据中心互通。同城两个数据中心互为备份，且都处于运行状态。当一个数据中心发生设备故障，甚至数据中心整体故障时，业务自动切换到另一个数据中心，解决了传统灾备中心不能承载业务和业务无法自动切换的问题。提供给用户高级别的数据可靠性以及业务连续性的同时，提高存储系统的资源利用率。
在集中式存储下，dc间同城互联的一般组网如图1-4所示。为了实现同城读写支持nvme over roce，需要实现同城无损网络，即需要一套跨dc的无损网络，每个dc部署两台支持智能长距无损的dci leaf，中间通过波分设备或者裸光纤直连实现双平面，实现端到端的roce无损网络。
dc间同城互联一般组网示意图
nof+的关键技术
流量控制
流量控制是端到端的，需要做的是抑制发送端的发送速率，以便接收端来得及接收，防止设备端口在拥塞的情况下出现丢包。华为提供了pfc死锁检测和死锁预防，提前预防pfc死锁的发生。
pfc（priority-based flow control，基于优先级的流量控制）：是目前应用最广泛的流量控制技术。对于pfc控制的队列，当队列在下游设备发生拥塞时，上游设备会停止发送该队列的流量，从而实现报文的零丢包传输。
pfc死锁检测：通过对pfc死锁进行全程监控，当死锁检测周期内持续收到pfc反压帧时，设备可以通过不响应反压帧的方式去解除pfc死锁现象。
pfc死锁预防：通过识别易造成pfc死锁的业务流，修改队列优先级，改变pfc反压的路径，避免pfc反压帧形成环路，从而预防pfc死锁的发生。
拥塞控制
拥塞控制是指对进入网络的数据总量进行控制，使网络流量保持在可接受水平的一种控制方法。拥塞控制与流量控制的区别在于，流量控制作用于接收者，而拥塞控制作用于网络，往往需要转发设备、流量发送端、流量接收端协同作用，并结合网络中的拥塞反馈机制来调节整网流量才能起到缓解拥塞、解除拥塞的效果。
ecn（explicit congestion notification，显式拥塞通知）：是指流量接收端感知到网络上发生拥塞后，通过协议报文通知流量发送端，使得流量发送端降低报文的发送速率，从而从早期避免拥塞而导致的丢包，实现网络性能的最大利用。
ai ecn（artificial intelligence explicit congestion notification）：是指通过ilossless智能无损算法，根据现网流量模型进行ai训练，以对网络流量变化进行预测，及时推理出最优的ecn门限，并且支持根据现网流量变化实时调整ecn门限，进行无损队列缓存的精确管控，保障整网的最优性能。同时，ai ecn功能与队列调度技术配合使用时，可以实现网络中tcp流量与rocev2流量的混合调度，保障rocev2流量无损传输的同时实现低时延和高吞吐，让无损业务达到最优性能。
npcc（network-based proactive congestion control）：是一种以网络设备为核心的主动拥塞控制技术，可以在网络设备上智能识别设备端口的拥塞状态，主动发送cnp（congestion notification packets，拥塞通知报文）报文，准确控制服务器发送rocev2报文的速率，既可以确保拥塞时的及时降速，又可以避免拥塞已经缓解时的过度降速，最终确保数据中心互联这种长距场景中rocev2业务的低时延和高吞吐。
inof
inof（intelligent lossless nvme over fabric，智能无损存储网络）是指通过对接入主机的快速管控，将智能无损网络应用到存储系统，实现计算和存储网络融合的技术。
存储系统为了存储大量的数据，往往需要管理数量庞大的主机，并且存在新主机陆续接入网络设备的情况。为了让智能无损网络技术更好的服务于存储系统，提出了inof技术，通过对接入主机的快速管控，可以第一时间获知新接入的主机，智能的调整智能无损网络的相关配置，并且inof技术支持将主机信息通告给存储系统，可以协助存储系统管理主机。
受库存负担和需求低迷影响，苹果2023年iPad面板采购量将下降36%
电源改锂电万能充详细教程
FIIL CC 真无线蓝牙耳机体验，开放式的收纳方式受到青睐
意法半导体STM32F103RCXX系列型号解读
中国将成为全球连网自动售货机领域的主要参与者
华为NoF+存储网络解决方案
新品发布：I-PEX公司发布新品，有源光学模块 LIGHTPASS
开鸿智谷携在鸿学生终端亮相首届OpenHarmony开发者大会：美好教育，无处不在
能够设计出适合过程控制的高精度、高密度和隔离模拟输出模块的系统级方法
基于对EPCS在线编程的FPGA可重构方法
RFID技术规范共享车辆停放
AMD锐龙5 7500F台式处理器实现真正的高效低功耗
未来人工智能的生活，你想破脑袋可能都不敢相信？
2023年全球海上风电市场将部署超过206000条海底电缆
贸泽与Littelfuse联手推出全新内容专题 为工业安全提供关键资源
LVDS基础知识
数控加工中心与数控铣床最大的区别
倒装全面取代正装可能不太现实
如何决定要使用多少点来做FFT
EMI和EMS噪声的定义