新一轮I/O介面更新焦点——NVMe-oF、PCIe与SAS

　　所有I/O规格的发展，都是在各标准组织的推动下，按一定的周期与发展路线进行。以目前这个时间点来看，即将在2018～2019年间完成制定，或是进入实用化的重要企业IT I/O规格，包括NVMe-over-Fabrics(NVMe-oF)、PCIe 4.0与5.0，以及SAS-4等3种。

　　NVMe-oF传输架构

　　NVMe在伺服器与储存设备上的应用，可分为后端与前端两种类型，后端的NVMe应用是取代SAS介面，作为SSD或Flash储存模组连接控制器的介面;前端的NVMe应用，则是将NVMe嫁接在既有的网路传输通道上，构成外接的NVMe-oF传输架构。

　　NVMe的后端应用算是已经进入成熟期，但前端应用的NVMe-oF架构仍在早期推广阶段，目前主要的焦点是在底层嫁接储存网路的选择上。目前已实作出的NVMe-oF架构，包括基于32Gb FC、基于InfiniBand，基于25/50GbE RoCE或iWARP乙太网路等多种形式，就初期推广来看，基于FC的NVMe-oF架构，有着用户较为熟悉FC应用环境的优点，不过，由于用户必须先升级到32Gb FC环境，才能应用NVMe-oF架构，以致抵销了FC介面较为用户熟悉的优点。

　　考虑到同样必须引进新的网路环境设备，基于RoCE或iWARP等RDMA乙太网路的NVMe-oF架构，长期来看是更有潜力的发展路线。

　　关于NVMe-oF的更进一步介绍，可参见我们9月初的《NVMe开始迈入主流储存应用》封面故事。

　　PCIe的新进化

　　过去除了少数搭载GPU的运算密集型伺服器以外，既有的PCIe 3.0汇流排规格，对于绝大多数的伺服器或储存设备来说，都是绰绰有余的。然而当SSD也开始使用PCIe通道作为传输介面时，便让主机板的PCIe传输通道(lane)资源顿时陷入紧绷。

　　随着NVMe介面SSD在伺服器应用的普及，连带大幅增加了伺服器或储存设备的PCIe传输通道耗用。为了获得足够的传输频宽，一台NVMe SSD便需占用4条PCIe 3.0，所以一台标準的2U伺服器若插满24台NVMe SSD，便须占用多达96条PCIe传输通道，耗用掉伺服器主机板大多数的PCIe资源。

　　面对这个情况，除了持续增加伺服器主机板的PCIe通道数量外，根本的解决办法是升级PCIe规格，以便透过较少的传输通道，便能为周边装置提供足够的传输频宽。

　　负责PCIe标準制定的组织PCI-SIG，刚在2017年底发布了新的PCIe 4.0规範，单通道传输率比PCIe 3.0提高一倍，接下来还预定在2019年发布PCIe 5.0，可让传输速率再提高一倍。

　　目前支援PCIe 4.0的主机板与SSD产品仍然很少，可能要等到2019年下半，应用环境才会较为成熟，但届时PCIe 5.0也将问世，所以PCIe 4.0很可能会成为一项过渡性规格。

　　新一代SAS介面

　　SAS-3(12Gb SAS)是目前最重要的企业级储存I/O介面规格之一，是SSD与外接扩充柜的标準介面，统一了所有储存设备的后端储存I/O规格，另外也能做为直连前端主机的前端介面使用。

　　由SAS标準组织STA(SCSI Trade Association)负责推动的SAS规格发展，比早先预期的时程略为滞后，新一代的SAS-4目前还在控制器元件阶段，尚未实际进入储存产品应用。

　　SAS-4的传输频宽比上一代的SAS-3提高一倍，单一通道可达24Gb/s，汇聚4条通道便可达到96Gb/s的惊人速率。不过随着NVMe的出现，SAS-4的推出恐怕已时不我予。就传输频宽来说，SAS-4并不比基于PCIe的NVMe逊色多少，但SAS较大的延迟是先天缺陷，因此在一些全快闪储存设备上，SAS的地位已开始为NVMe所取代。

　　因此，SAS-4推出后，恐怕不再能像上一代的SAS-3般，全面占据储存设备的后端介面应用。不过考虑到NVMe相对较高的成本，以及对PCIe资源的占用问题，SAS-4在中低阶与混合式储存阵列上仍有需求，最终应该会形成NVMe与SAS-4两种介面并存的情况。

　　【应用新世代I/O介面的储存先驱产品 (1)】NetApp AFF A800

　　NetApp新款旗舰级全快闪储存阵列AFF A800，是市面首批支援新一代I/O介面的储存设备，引进了NVMe介面的SSD，在主机端介面除了提供当前最普遍的16Gb FC与10GbE外，在FC方面。引进了最新的32Gb FC，在乙太网路方面，则提供25GbE、40GbE与100GbE等新规格介面。

　　一线储存大厂中，NetApp算是支援新一代I/O介面最积极的一家。其他大厂迄今还谨守于传统的SAS磁碟介面，以及10GbE与16Gb FC主机端介面时，NetApp便率先为旗下产品，提供了最新的NVMe、乙太网路与FC介面，其中最具代表性的产品，便是刚在今年中发表的AFF系列全快闪储存阵列旗舰机型A800。

　　AFF A800是当前高阶储存阵列产品中，第一款「由里到外」全面导入新一代I/O介面的产品。就「里」来说，是引进了NVMe介面的SSD，取代了SAS介面SSD;就「外」来说，则引进了32Gb FC、25GbE、40GbE与100GbE等新一代储存网路介面，还支援基于FC的NVMe-oF传输架构。

　　在A800之前，NetApp就曾为FAS系列混合储存阵列，引进NVMe介面的Flash Cache模组，但实际写入资料的SSD仍是SAS介面。而A800则是NetApp第一款引进NVMe SSD的产品。

　　先前NetApp在2017年下半推出的EF570全快闪储存阵列上，就率先采用了32Gb FC、25GbE、100GbE与100Gb InfiniBand等新款主机端介面，稍后A800也跟进支援这些新介面，虽然少了其中的100Gb InfiniBand，不过多了40GbE选项，对乙太网路的支援更为完整。

　　更进一步，NetApp还与Broadcom合作，为A800提供了基于FC介面的NVMe-oF传输架构，藉此提供低延迟的存取服务。

AFF A800的I/O介面组态：可选购的I/O介面卡包括16Gb或32Gb的FC介面，10、25、40与100GbE等4种乙太网路埠，以及6Gb或12Gb SAS。

　　【应用新世代I/O介面的储存先驱产品 (2)】Pure Storage FlashArray//X

　　Pure Storage新一代主力产品FlashArray//X，同为最早全面支援新一代I/O介面的储存阵列，内接SSD介面更新为NVMe规格，主机端介面也引进32Gb FC、25GbE、40GbE、50GbE等新规格，也支援基于RoCE乙太网路或FC的NVMe-oF传输架构。

　　固态储存应用，可说是储存I/O介面更新的主要驱动力之一，正是为了满足固态储存对于传输效能几乎永无止境的需求，才推动着储存厂商不断寻求效能更高的新一代I/O介面，这也让身为全快闪储存阵列领导者的Pure Storage，成为率先采用新世代I/O介面的厂商之一。

　　Pure Storage旗下的最新主力产品FlashArray//X，是最早全面采用新一代I/O介面规格的储存阵列产品之一，从SSD内接介面、后端扩充介面，到前端主机介面，都全面导入了新规格，但同时也保留对旧规格的支援。

　　在SSD内接介面上，FlashArray//X保留了传统的SAS介面，也提供新的NVMe介面，还允许混搭Pure Storage专属的DirectFlash NVMe储存模组(DFM)，与一般的SAS SSD。

　　在后端扩充介面方面，FlashArray//X既可透过12Gb SAS埠串接的SAS扩充储存柜，也能透过基于50GbE RoCEv2的NVMe介面，串接DFM扩充储存柜。

　　在主机端介面方面，FlashArray//X除了支援当前最普遍的16Gb FC与10GbE两种规格以外，也提供32Gb FC、25GbE、40GbE与50GbE等新规格，还能在32Gb FC与50GbE两种介面上，运行NVMe-oF传输架构，进一步改善存取延迟表现。

FlashArray//X的I/O介面组态：每组控制器内含2组GbE管理埠，以及4组外接扩充柜用的12Gb SAS埠或50GbENVMe直连埠，还内含了类型丰富的I/O埠，包括2组10/25GbE iSCSI埠，以及2组10/25GbE远端复製埠，另外还能利用保留的PCIe扩充槽，安装额外的10/40GbE或16/32Gb FC等主机端介面卡。 

关于十次方：十次方作为专业的IT硬件在线租赁平台，专注于企业级服务器租赁业务，为企业提供数据中心IT硬件全生命周期解决方案，支持戴尔、惠普、浪潮等各大主流服务器品牌。租服务器，在线咨询服务器租用价格，就找在线IT租赁平台十次方。