人工智能計算領(lǐng)域的領(lǐng)導者NVIDIA公司，在OFC 2023會(huì )議上發(fā)表的“Software-defined, programmable L1 dataplane: demonstration of fabric hardware resilience using optical switches”論文中，介紹了其最新的工作成果，提出了一種用于數據中心網(wǎng)絡(luò )的可編程光纖結構設計，利用HUBER+SUHNER Polatis矩陣光開(kāi)關(guān)將SDN擴展到L1。并在其HPC/ML測試臺上進(jìn)行了實(shí)驗，利用可編程網(wǎng)絡(luò )自動(dòng)從硬件或軟件故障中進(jìn)行故障切換。

文章概述

軟件定義的控制平面徹底改變了網(wǎng)絡(luò )。應用程序可以按需求配置網(wǎng)絡(luò )，即使需要與其他負載共享網(wǎng)絡(luò )資源。如今，網(wǎng)絡(luò )基礎設施的深度編程可深入到第2層（L2），例如InfiniBand（IB）子網(wǎng)管理器（SM）是軟件定義控制器的最低級別。這意味著(zhù)網(wǎng)絡(luò )的可編程性無(wú)法作用于物理基礎設施布線(xiàn)，通常來(lái)講物理基礎設施在部署后是固定的。我們通過(guò)引入一種工作流程，即將軟件定義的控制能力擴展到L1，來(lái)消除這一限制。軟件定義的物理層將網(wǎng)絡(luò )布線(xiàn)從剛性基礎設施轉換為可編程資源，允許在網(wǎng)絡(luò )運行時(shí)進(jìn)行物理拓撲更改。這為各種過(guò)去不可行的、新的網(wǎng)絡(luò )操作奠定了基礎，但同時(shí)帶來(lái)了新的影響：需要在網(wǎng)絡(luò )堆棧的更高級別處理。

基于光開(kāi)關(guān)的實(shí)現的在網(wǎng)絡(luò )運行時(shí)的L1可編程性使得幾個(gè)新應用得以實(shí)現。第一個(gè)也是我們當前評估的重點(diǎn)，是針對網(wǎng)絡(luò )結構（交換機、收發(fā)器和/或服務(wù)器）中的硬件故障和軟件故障提供彈性。失效對計算集群的利用率和效率的影響在整個(gè)行業(yè)都很明顯，這使創(chuàng )建彈性網(wǎng)絡(luò )變得非常重要。業(yè)務(wù)關(guān)鍵型應用程序需要保證持續可用性：停機意味著(zhù)收入損失、客戶(hù)流失以及公司聲譽(yù)受損。L1可編程性的另一個(gè)潛在應用是根據應用程序需求修改網(wǎng)絡(luò )的物理拓撲，例如在胖樹(shù)的葉交換機之間創(chuàng )建環(huán)面/網(wǎng)格，以減少對延遲敏感的應用程序的通信時(shí)間?；蛟诔~訂閱的網(wǎng)絡(luò )中，根據需要將帶寬分配給網(wǎng)絡(luò )的各個(gè)部分，以根據物理拓撲提供不同的QoS。L1可編程性還可以在物理層中應用隔離，斷開(kāi)多個(gè)租戶(hù)之間的網(wǎng)元，或隔離已被識別為潛在威脅的主機。我們的PoC基于IB架構，但同樣適用于NVLINK和以太網(wǎng)。

由于無(wú)法更改物理連接，當前的故障恢復解決方案側重于通過(guò)調整轉發(fā)配置來(lái)盡可能排除故障路徑。例如在IB網(wǎng)絡(luò )中的軟件特性有SHIELD和利用替代路徑的自適應路由。這些協(xié)議有兩個(gè)顯著(zhù)的局限性。首先，它們只能在存在替代路徑的情況下使用；葉交換機上的故障（將斷開(kāi)服務(wù)器與網(wǎng)絡(luò )的連接）或服務(wù)器上的故障無(wú)法通過(guò)這種方式緩解。其次，他們無(wú)法恢復集群的全部性能。另一種增強彈性的方法是添加冗余硬件來(lái)備份整個(gè)或部分網(wǎng)絡(luò )（例如，Dual ToR）。這種方法的缺點(diǎn)是需要更多的硬件，資源未得到充分利用。

彈性系統的可重構結構

我們利用光開(kāi)關(guān)來(lái)實(shí)現L1可編程數據平面。光開(kāi)關(guān)可對光路進(jìn)行重定位，光路的I/O排列由電接口定義控制。如圖1a所示，通過(guò)在給定網(wǎng)絡(luò )拓撲的交換層之間引入光開(kāi)關(guān)，實(shí)現了點(diǎn)對點(diǎn)光纖連接排列的可編程更改。圖1a顯示了針對小規模二級（葉脊架構）胖樹(shù)中的彈性應用的網(wǎng)絡(luò )架構。在網(wǎng)絡(luò )中增加了冗余交換機（RS–冗余脊交換機和RL–冗余葉交換機）和冗余服務(wù)器。冗余設備與主網(wǎng)絡(luò )元件一并連接到光開(kāi)關(guān)的可用端口。當檢測到設備故障時(shí)，對應的光開(kāi)關(guān)會(huì )執行修正配置：斷開(kāi)故障設備與網(wǎng)絡(luò )的連接，用冗余設備替換。該設計允許可編程的彈性程度(主設備和冗余設備的比率)根據系統要求而變化。此外，該體系結構可以隔離安全威脅，最大限度地減少維護期間的停機時(shí)間，同時(shí)作為通用的可編程數據平面。

我們設計并實(shí)現了相應的控制平面軟件，可以看作L1數據平面控制的SDN堆棧擴展。設計了圖形化后端來(lái)反映物理網(wǎng)絡(luò )拓撲結構（包括光交換部件），為控制器邏輯提供所需的系統建模支持。隨后，引入了一組概念和算法，允許SDN L1控制器識別給定部署的不同拓撲可能性，執行物理拓撲變化，并向L2層控制器發(fā)出信號以適應物理網(wǎng)絡(luò )的變化。圖1（b和c）顯示了系統控制回路，紫色的SDN L1（光纖結構管理器-OFM）是執行物理更改并向L2（在IB的情況下是子網(wǎng)管理器）發(fā)送通知的軟件。同樣地，可以擴展L2來(lái)請求物理拓撲更改。故障檢測機制（超出當前工作范圍）通知OFM需要更換設備。OFM計算并強制執行相應的光學(xué)連接，例如，在Leaf交換機故障的情況下，圖1a中的RL1將其替換。隨后，網(wǎng)絡(luò )控制器將RL1囊括在網(wǎng)絡(luò )中。該工作流程能夠在幾秒鐘內將網(wǎng)絡(luò )容量恢復到100%。此外，如本文下幾節所討論，我們正在進(jìn)行防止設備故障導致的應用程序崩潰的工作。

圖1:  a）彈性體系結構概述 b）控制回路流程圖和 c）軟件概述

試驗臺說(shuō)明

為了驗證網(wǎng)絡(luò )彈性，所有小規模POD連接中都配置了一個(gè)光開(kāi)關(guān)，并在葉層和脊層各添加了一個(gè)冗余的IB交換機，以替換失效的葉交換機或脊交換機。測試臺由4臺DGX服務(wù)器和14臺IB量子交換機組成：其中8臺作為葉交換機，4臺作為脊交換機。兩個(gè)額外的IB交換機作為冗余設備：一個(gè)冗余葉交換機（RL，如圖1a所示）和一個(gè)冗余脊交換機（RS）。我們使用現成的L1光開(kāi)關(guān)【POLATIS】。光鏈路則選擇了200 Gb/s CWDM可插拔光模塊，其顯著(zhù)減少了所需的光開(kāi)關(guān)端口，且有足夠的鏈路預算來(lái)支持光開(kāi)關(guān)的損耗。DGX具有8個(gè)IB接口（8個(gè)通道），每個(gè)通道連接到不同的Leaf交換機。葉交換機與脊交換機完全連接，即沒(méi)有超額負載。所有連接都接入光開(kāi)關(guān)，以進(jìn)行各種實(shí)驗；當前評估重點(diǎn)關(guān)注IB交換機的更換。

實(shí)驗程序和結果

我們進(jìn)行了交換機失效模擬，觸發(fā)SDN L1控制器搜索物理拓撲以減輕故障。冗余交換機接管了物理拓撲中故障交換機的角色，IB子網(wǎng)管理器接收到拓撲更改通知，該通知指示其修復L2網(wǎng)絡(luò )配置。通過(guò)適當地處理IB傳輸超時(shí)，運行中的應用程序可以在網(wǎng)絡(luò )更改后恢復運行。

圖2顯示了我們對UCX和NCCL集體通信庫的測試結果。在該測試場(chǎng)景中，進(jìn)行了IB交換機故障模擬。圖表顯示了實(shí)驗中涉及的一個(gè)DGX的IB界面上的帶寬（y軸）隨時(shí)間（x軸）的變化，對于all-to-all和all-reduce的微基準測試?；鶞蕼y試在4個(gè)DGX之間和接口之間產(chǎn)生相同的流量。我們運行微基準測試，模擬故障，并監控隨著(zhù)時(shí)間的推移應用程序的性能和狀態(tài)。在Spine故障期間，由于活動(dòng)鏈路的減少，系統的容量會(huì )降低，但應用程序有可替代路徑可用，不會(huì )崩潰。啟用彈性方案后，可以在幾秒鐘內恢復群集的全部性能（Spine故障切換）。在Leaf層發(fā)生故障（Leaf failover）的情況下，應用程序崩潰，受影響的IB接口將保持離線(xiàn)狀態(tài)，直到問(wèn)題解決。啟用彈性方案后，應用程序在中斷幾秒鐘（目前約為7秒，但有待優(yōu)化）仍能繼續運行，系統的全部容量也能夠恢復。

圖2：在啟用彈性解決方案的情況下，演示微基準的BW恢復：a）在左側OSU上，全部到全部，b）在右側NCCL上，全部減少。顯示所有鏈路隨時(shí)間變化的帶寬：黃色部分顯示Tx帶寬，而紫色部分顯示Rx帶寬。一個(gè)DGX的所有鏈路的圖都重疊。

結論

我們提出了一個(gè)系統設計和工作流程，結合起來(lái)實(shí)現了L1的可編程性。構建了一個(gè)HPC/ML測試臺，并通過(guò)模擬交換機故障場(chǎng)景來(lái)評估彈性應用。通過(guò)添加光交換網(wǎng)絡(luò )和冗余設備，可在幾秒鐘內自動(dòng)恢復全部容量；此外，可以避免在葉級故障期間發(fā)生的應用程序崩潰。在未來(lái)的工作中，我們計劃提供成本分析和其他實(shí)驗的詳細結果，包括其他應用。

凌云光自2001年起即關(guān)注光交換技術(shù)、產(chǎn)品與應用的推廣，2015年正式與全球光交換廠(chǎng)家HUBER+SUHNER Polatis公司建立戰略合作伙伴關(guān)系，共同開(kāi)創(chuàng )光交換應用的新時(shí)代。

HUBER+SUHNER Polatis 提供低損耗的全光交換解決方案，用于遠程光纖層配置、保護、監控、重新配置和測試?；诳煽康?、經(jīng)過(guò)現場(chǎng)驗證的 DirectLight? 光學(xué)矩陣開(kāi)關(guān)技術(shù)，Polatis 動(dòng)態(tài)光纖交叉連接可從8x8擴展到 576x576端口，并實(shí)現完全透明的連接，具有低損耗和無(wú)背反射，完全獨立于波長(cháng)、功率或數據速率。動(dòng)態(tài)光交叉連接是實(shí)現軟件定義的光網(wǎng)絡(luò )基礎設施自動(dòng)化和虛擬化的關(guān)鍵要素。Polatis 支持RESTCONF和NETCONF，可輕松與 OpenDaylight 等流行的 SDN 控制器集成，還與前沿的傳輸 SDN 供應商合作，以支持新興標準并確保我們的客戶(hù)受益于可靠的 SDN 解決方案。