NVIDIA NVL72 GB200/GB300系统：
InfiniBand和以太网连接解决方案（一）
随着AI工作负载的规模不断扩大，数据中心连接的需求也随之增长。NVIDIA的NVL72平台，搭载GB200 Grace Blackwell和GB300系统，开启了高密度GPU集群的新纪元，对光纤布线策略提出了更高要求，以释放全部性能。本指南为您提供专业意见，帮助您利用400G/800G/1600G InfiniBand NDR/XDR、400GbE以太网和康宁EDGE8®解决方案，设计可扩展、具备弹性且面向未来的网络。
无论您部署的是单个机架还是完整的SuperPOD，本指南都能帮助您清晰、精准地了解收发器类型、布线架构和交换机集成。
目录
1. 了解收发器类型、
端口拆分和布线场景
本布线指南将探讨与200G、400G、2x 400G、800G和2x 800G收发器一起使用的不同类型的光纤连接方案，并给出在同一机柜内或同一排机柜之间，以及跨数据中心使用InfiniBand 400G NDR Quantum-2、InfiniBand 800G XDR Quantum-3和Ethernet 400G Spectrum-4交换机功能时的多种布线方案。
随着400G NDR和800G XDR的引入，NVIDIA光收发模块将采用双MPO-8/12收发接口。该接口采用2根8芯MPO光缆。康宁的EDGE8®解决方案旨在支持基于2芯、4芯、8芯和16芯光纤收发器的单模和多模光接口。
以下是按连接器类型列出的部分NVIDIA收发器的清单：
表1. 收发器列表
注：
a) MPO-8/12 APC单模光学器件用黄色拉环和黄色光纤表示。MPO-8/12 APC连接器上的绿色塑料外壳表示该连接器采用斜角抛光工艺，与用于较慢速率收发器的超平面抛光连接器(UPC)不兼容。
b) 多模光学器件用棕褐色的拉环和水蓝色的光纤表示。MPO-8/12 APC连接器上的绿色塑料外壳表示该连接器采用斜角抛光工艺，与带有水蓝色外壳、用于HDR的超平面抛光连接器 (UPC)不兼容。
c) 请注意，在一些文档中，800G收发器可能记为800G - DR8而不是800G – 2x DR4，或记为800G - SR8而不是800G- 2x SR4。然而，连接方式由2x 8-芯MPO-8/12 APC表示。请遵循 NVIDIA的部件编号作为主要参考。
d) 模块的I/O接口内部连接到四个800G双端口OSFP模块。
e) 400G收发器版本将能够通过分路线缆(Y型线束)支持200G，激活400G收发器中的四条通道中的两条(8芯光纤中的4芯)，从而创建一个200G设备。此配置在上表中表示为 “4/8-芯” 。
f) 以“-T”结尾的收发器部件号指的是以太网版本。
g) 双端口OSFP使用分路线缆（Y型线束），激活单个MPO连接器中的8芯光纤中的4芯，从而创建四个2×200G-PAM4链路，实现400G（XDR400）传输。关于NVIDIA组件和设计的更多信息，请查阅附件3及NVIDIA概述白皮书的相关资料。
1.1 场景1 – 1600G、800G和400G –
服务器到交换机或
交换机到交换机应用
采用点对点布线连接MPO-8/12 APC到MPO-8/12 APC
应用：InfiniBand Quantum-2/FiniBand Quantum-3/以太网Spectrum-4到InfiniBand Quantum-2/FineBand Quantum-3/以太网Spectrum-4；b）ConnectX-8/ConnectX-7/Bluefield-3；c）Cedar-7链路。
场景1主要用于点对点布线应用。这种类型的布线可用于将服务器连接到交换机，也可用于连接不同的交换机，例如叶交换机到脊交换机或脊交换机到核心交换机。然而，如果这些交换机物理上位于数据中心内的不同区域，则不建议使用点对点布线。
请参考第1.7节中的表8，查看场景1和场景2中适用于用例A至C的收发器列表。要了解有关可扩展单元以及如何利用NVL72系统构建GPU集群的更多信息，请参阅本文档的第2节。
图1. 使用1600G、 800G和400G收发器，结合MPO-8/12 APC的点对点布线用例
表2. 场景1 - 使用点对点布线与MPO-8/12 APC的1600G、 800G和 400G部件编号方案
注：
a) 美洲地区的康宁光缆使用Plenum光缆，而EMEA/APJ地区使用LSZH™/CPR额定光缆。单跳线长度从1米到300米不等。美洲地区也提供以米为单位的长度选项。
b) NVIDIA光缆采用双额定OFNR/LSZH™护套。SMF光缆长度有3、5、7、10、15、20、30、50、100和150米选项，MMF光缆长度有3、5、7、10、15、20、25、30、 35、40和50米选项。
c) CORE主干光缆长度从5米到300米不等（分叉点到分叉点）。CORE主干光缆有16、18、32、36条及自定义数量的分支可供选择，分支长度可以是相等的或不等的。美洲地区也提供以米为单位的长度选项。
d)康宁和NVIDIA光缆都支持InfiniBand、以太网和NVLink协议。
e) 请查看康宁的极性图纸，详见附件 2。
1.2. 场景2 – 1600G、800G和400G –
交换机到交换机应用
使用结构化布线，通过主干光缆在数据中心内连接MPO-8/12 APC到MPO-8/12 APC
应用：InfiniBand Quantum-2/ InfiniBand Quantum-3 /以太网Spectrum-4到InfiniBand Quantum-2/ InfiniBand Quantum-3/以太网Spectrum-4；b）ConnectX-8/ConnectX-7/Bluefield-3；c）Cedar-7链路
在场景2中，利用光纤主干缆作为主干实现结构化布线。此应用主要用于连接不同的交换机，例如从叶节点到脊节点，也可以实现将脊节点连接到核心层。当两个不同的有源设备物理上位于数据中心内的不同区域时，建议使用这个选项。
请参考第1.7节表8，查看场景1和场景2中适用于用例A至C的收发器列表。要了解有关可扩展单元以及如何利用NVL72系统构建GPU集群的更多信息，请参阅本文档的第2节。
图2. 使用1600G、800G和400G收发器，结合MPO-8/12 APC的结构化布线用例
表3. 场景2 - 使用结构化布线与MPO-8/12 APC的 1600G、800G和 400G部件编号方案
注：
a) 美洲地区的康宁光缆使用Plenum光缆，而EMEA/APJ地区使用LSZH™/CPR额定光缆。
b)单跳线长度从1米到300米不等。美洲地区也提供以米为单位的长度选项。
c) EDGE8®主干光缆有8到288芯光纤的规格。
d) 集束跳线采用网状套管。捆扎长度从5米到30米不等(分叉点到分叉点)，且仅OS2 和 OM3集束跳线可供选择。集束跳线有16、18、20、32、36条以及自定义数量的光纤分支可选，分支长度可以是相等的或不等的。美洲地区也提供以米为单位的长度选项。
e) CORE主干光缆长度从5米到300米不等（分叉点到分叉点）。CORE主干光缆有16、18、32、36条及自定义数量的分支可供选择，分支长度可以是相等的或不等的。
f)所有康宁光缆都支持InfiniBand、以太网和NVLink协议。
g) 请查看康宁的极性图纸，详见附件 2。
1.3. 场景3 – 1600G、800G、400G和200G -
服务器到交换机应用
使用点对点布线连接MPO-8/12 APC到MPO-8/12 APC
应用：InfiniBand Quantum-2 / InfiniBand Quantum-3 / 以太网 Spectrum-4 到 InfiniBand Quantum-2 / InfiniBand Quantum-3 / 以太网 Spectrum-4; b) ConnectX-8 / ConnectX-7 / Bluefield-3
场景3用于点对点布线应用，其中400G收发器版本将能够通过使用分路光缆(Y型线束)来支持200G，该光缆可以激活400G收发器中四条通道中的两条(8芯光纤中的4芯)，从而有效地创建一个200G设备。点对点布线仅在有源设备位于同一机架或同一机柜内时推荐使用。
然而，如果有源设备在数据中心的不同区域，则建议使用结构化布线。
请参阅第1.7节表9，查看场景3和场景4中适用于用例A和B的收发器列表。要了解有关可扩展单元以及如何利用NVL72系统构建GPU集群的更多信息，请参阅本文档的第2节。
图3. 使用1600G、800G、400G和200G收发器，结合MPO-8/12 APC的点对点布线用例
表4. 场景3 - 使用点对点布线与MPO-8/12 APC的1600G、800G、400G和 200G部件编号方案
注：
a) 美洲地区的康宁光缆使用Plenum光缆，而EMEA/APJ地区使用LSZH™/CPR额定光缆。
b) Y型线束长度从1米到60米可选。美洲地区也提供以米为单位的长度选项。
c) NVIDIA分路光缆采用双额定OFNR/LSZH护套。SMF和MMF分路光缆长度有3、5、7、10、15、20、30、50米可供选择。
d) 康宁和NVIDIA光缆都支持InfiniBand、以太网和NVLink协议。
e) 400G收发器版本将能够使用分路光缆(Y型线束)支持200G，激活400G收发器中的四条通道中的两条(8芯光纤中的4芯)，从而创建200G设备。
f) 请查看康宁的极性图纸，详见附件 2。
1.4.场景4 – 1600G、800G、400G和200G –
服务器到交换机应用
使用结构化布线，通过主干光缆在数据中心内连接MPO-8/12 APC到MPO-8/12 APC
应用：InfiniBand Quantum-2 / InfiniBand Quantum-3 / 以太网 Spectrum-4 到 InfiniBand Quantum-2 / InfiniBand Quantum-3 / 以太网 Spectrum-4; b) ConnectX-8 / ConnectX-7 / Bluefield-3
场景4与结构化布线组件一起使用，其中400G收发器版本将能够通过使用分路光缆(Y型跳线)来支持200G，该光缆可以激活400G收发器中四条通道中的两条(8芯光纤中的4芯)，从而有效地创建一个200G设备。在此场景中，有源设备物理上位于数据中心内的不同区域。请参考第1.7节表9，查看场景3和场景4中适用于用例A和B的收发器列表。
要了解有关可扩展单元以及如何利用NVL72系统构建GPU集群的更多信息，请参阅本文档的第2节。
图4. 使用1600G、800G、400G和200G收发器与MPO-8/12 APC适配工作的结构化布线用例
表5. 场景4 - 使用结构化布线与MPO-8/12 APC的 1600G、800G、400G和 200G部件编号方案
注：
a) 美洲地区的康宁光缆使用Plenum光缆，而EMEA/APJ地区使用LSZH™/CPR额定光缆。
b)单跳线长度从1米到300米不等。美洲地区也提供以米为单位的长度选项。
c) EDGE8®主干光缆有8到288芯光纤的规格。
d) Y型线束长度从1米到60米不等。美洲地区也提供以米为单位的长度选项。
e) 集束跳线采用网状套管。捆扎长度从5米到30米不等(分叉点到分叉点)，且仅OS2 和 OM3集束跳线可供选择。集束跳线有16、18、20、32、36条以及自定义数量的光纤分支可选，分支长度可以是相等的或不等的。美洲地区也提供以米为单位的长度选项。
f) CORE主干光缆长度从5米到300米不等（分叉点到分叉点）。CORE主干光缆有16、18、32、36条及自定义数量的分支可供选择，分支长度可以是相等的或不等的。
g)所有康宁光缆都支持InfiniBand、以太网和NVLink协议。
h) 400G收发器版本将能够使用分路光缆(Y型线束)支持200G，激活400G收发器中的四条通道中的两条(8芯光纤中的4芯)，从而创建200G设备。
i) 请查看康宁的极性图纸，详见附件 2。
未完待续
往期回顾
