過去談到網路效能，企業通常關注的是頻寬、延遲、封包遺失率與設備吞吐量。然而，當大型語言模型、生成式 AI 與大規模分散式訓練逐漸成為核心運算工作負載後，傳統網路設計開始面臨新的挑戰。
問題已經不只是「資料能不能快速傳送」，而是數百、數千甚至更多 AI 加速器能否持續同步運算，並避免昂貴的 GPU 因等待網路資料而處於閒置狀態。
因此，AI 時代的網路架構正在由一般資料傳輸平台，逐步轉變為整個 AI 運算系統的一部分。
為什麼 AI 工作負載正在改變網路架構？
傳統企業應用的網路流量通常具有較強的非同步特性。
使用者存取網站、企業系統查詢資料庫或應用程式呼叫 API，即使部分封包出現短暫延遲，多數情況仍可以透過緩衝、重傳或應用層機制處理。
AI 分散式訓練則完全不同。
當模型被分散到多個 GPU 或 AI 加速器執行時，各運算節點需要頻繁交換梯度、張量與模型狀態。All-Reduce、All-to-All 等 Collective Communication 操作，會產生大量節點間通訊。
這代表某一條網路路徑出現壅塞，影響的可能不只是單一伺服器，而是整個同步運算流程。
Ultra Ethernet Consortium 在 AI 與 HPC 網路設計中，也特別將多路徑傳輸、Flexible Ordering、Congestion Control、End-to-End Telemetry 與 In-Network Collectives 列為重要技術方向。
從這個角度來看，AI 系統的整體效能已經不能只用 GPU FLOPS 衡量。
GPU、記憶體與網路三者之間的資料流動效率，正成為決定 AI 基礎設施實際效能的重要因素。
從 Scale-Up 到 Scale-Out：AI 網路開始分層
現代 AI 基礎設施中，一個非常重要的概念是 Scale-Up 與 Scale-Out。
Scale-Up 主要解決單一系統或機架級架構內，加速器之間的高速互連問題。
這類網路強調極高頻寬與低延遲，希望多個 GPU 或 AI 加速器可以更像一個大型運算單元共同工作。NVIDIA 將 NVLink 定位於此類 Scale-Up Fabric，並持續將相關互連技術延伸至機架級 AI 架構。
Scale-Out 則負責連接不同伺服器、機架甚至更大規模的 AI Cluster。
當 AI 系統擴展至數千個運算節點時，Ethernet、RoCE、InfiniBand 與其他高效能網路技術就開始扮演關鍵角色。
因此，未來的 AI 網路並不是單純選擇「Ethernet 或 InfiniBand」。
更準確地說，AI 基礎設施設計正在形成分層架構：不同距離、不同運算範圍與不同通訊模式，使用適合的互連技術。
這也是 AI Data Center 與傳統 Data Center 在架構思維上的重要差異。
RDMA 成為 AI 網路效能的重要基礎
在傳統 TCP/IP 資料傳輸過程中，資料通常需要經過作業系統核心、CPU 與多層軟體協定處理。
對一般企業應用而言，這種架構具有良好的相容性與可靠性。
但在高頻率、大資料量的 AI 節點通訊環境中，額外的 CPU 處理與資料複製可能形成效能負擔。
RDMA，也就是 Remote Direct Memory Access，正是高效能 AI 網路的重要技術之一。
RDMA 的核心概念，是降低傳統作業系統網路處理路徑造成的負擔，讓遠端節點之間能夠以更有效率的方式進行記憶體資料傳輸。
AWS 的 Elastic Fabric Adapter 就採用 OS-bypass 硬體介面改善 EC2 執行個體之間的通訊效能，並支援需要大規模節點間通訊的 HPC 與機器學習工作負載；AWS 文件同時列出了 EFA 的 RDMA 支援能力。
對 AI 系統而言，RDMA 的價值不單是降低延遲。
更重要的是減少 CPU 介入資料搬移，使處理器、GPU 與網路介面可以形成更加高效率的資料流。
Ethernet 正在為 AI 工作負載重新進化
過去在高效能運算領域，InfiniBand 長期具有重要地位。
InfiniBand 支援高速互連、Adaptive Routing 與高效能運算相關網路功能。例如 NVIDIA 的 InfiniBand 文件指出，Adaptive Routing 可以根據目前網路狀態，將流量轉移至較不壅塞的路徑。
然而，Ethernet 最大的優勢之一，是成熟且龐大的產業生態系統。
因此，產業並沒有放棄 Ethernet，而是開始針對 AI 與 HPC 工作負載重新設計 Ethernet 傳輸架構。
2025 年 6 月，Ultra Ethernet Consortium 正式發布 Ultra Ethernet Specification 1.0，目標是建立面向 AI 與 HPC 大規模環境的開放、高效能與可互通 Ethernet 通訊架構。UEC 後續於 2026 年 1 月發布 Specification 1.0.2，主要加入編輯修正與規格澄清。
其中一個值得注意的方向是 Multi-Path Packet Spraying。
傳統 ECMP 通常透過 Hash 將 Flow 分配至特定路徑。
問題在於，大型 AI Flow 可能被集中到部分網路鏈路，形成流量不平衡。
Packet Spraying 則允許流量更細緻地利用多條網路路徑，配合即時壅塞管理提升 Fabric 利用率。UEC 將這項設計與 Flexible Ordering、Congestion Control 等機制結合，以處理 AI Collective Communication 所產生的特殊流量模式。
這說明了一件事情：
AI Ethernet 的核心競爭已經從「更快的 Ethernet」，轉向「更懂 AI 流量的 Ethernet」。
800G 與 1.6T：頻寬競賽仍然持續
雖然 AI 網路不能只看頻寬，但頻寬仍然是基礎。
隨著 GPU 數量與模型規模增加，單一伺服器與交換器所需要處理的資料量持續上升。
Ethernet Alliance 的 2026 Ethernet Roadmap 已將 AI/ML 視為推動 Ethernet 高速演進的重要力量，路線圖涵蓋 100G 至 800G 的 AI-scale interconnect，並將 1.6 Tb/s Ethernet 納入新一代高速連接發展方向。
2026 年 OFC 的 Ethernet Alliance 多廠商互通展示，範圍已涵蓋 100G 至 1.6T Ethernet，包括光學、交換器、路由器與不同互連方案。
但速度提升也帶來另一個現實問題：功耗。
當交換器 Port Speed 從 400G、800G 繼續向 1.6T 發展時，SerDes、光模組與訊號處理都需要面對更高的能源與散熱壓力。
因此，下一階段 AI 網路效能競爭，很可能不只是 Tbps。
每瓦可以提供多少有效 AI 網路吞吐量，也會成為重要指標。
這是基於目前 Ethernet Alliance 將 LPO、新型銅纜與光纖方案以及能源效率列入 2026 Ethernet Roadmap 所作出的趨勢判斷。
網路壅塞管理從輔助功能變成核心能力
AI Cluster 最容易被低估的問題之一，就是 Congestion。
在大規模 Collective Communication 中，多個節點可能在非常接近的時間向同一組目的節點傳送大量資料。
這類流量容易形成瞬間壅塞。
即使交換器具備非常高的總吞吐量，只要流量分配不均，仍然可能出現部分鏈路過載。
因此，AI 網路需要更精細的 Congestion Control。
UEC 已將 Congestion Management 視為 Ultra Ethernet Transport 的核心方向，並持續推進 Programmable Congestion Management 與 Congestion Signaling，希望透過更高精度的壅塞資訊，讓傳輸協定更快速地回應動態網路狀況。
這代表未來網路設備不只是「轉送封包」。
NIC、Switch 與 Transport Protocol 之間會有更深的協同。
網路正在逐漸具備感知、分析與調整 AI Traffic Pattern 的能力。
In-Network Computing：交換器也開始參與運算
另一項值得關注的變革是 In-Network Computing。
傳統交換器主要負責 Packet Forwarding。
但在 AI 與 HPC 環境中，部分重複性的 Collective Communication 操作，可以考慮在網路中進行處理。
NVIDIA SHARP 的設計思路，就是將部分 Collective Operations 從 CPU 端卸載至交換網路，減少端點之間重複傳輸資料的需求。
UEC 的技術方向同樣包含 Switch Offload 與 In-Network Collectives。
這是一個非常重要的架構變化。
CPU 負責運算、記憶體負責儲存、網路負責傳輸，這種傳統分工正在逐漸變得模糊。
未來的 AI Infrastructure 中，SmartNIC、DPU、SuperNIC 與高階交換器，都可能承擔更多資料處理與通訊最佳化工作。
換句話說：
網路正在從資料通道，逐步演變為 AI 運算架構中的協同處理平台。
AI 網路效能應該如何衡量？
在傳統網路中，我們習慣關注 Throughput、Latency 與 Packet Loss。
AI Network 當然仍然需要這些指標。
但只看單一 Port Speed 已經不足以完整評估 AI 網路。
實際設計 AI Cluster 時，還需要關注：
GPU Communication Efficiency、Collective Communication Completion Time、Tail Latency、Network Fabric Utilization、Congestion Recovery Speed，以及整體 Job Completion Time。
例如，一個標示 800G 的網路，並不代表 AI Training Job 一定具有最佳效能。
如果 Hash Collision 導致路徑不平衡、Congestion Control 回應速度不足，或 Collective Communication 無法有效利用多條路徑，GPU 仍然可能等待資料。
所以真正重要的問題應該是：
網路可以讓多少 GPU 持續保持有效運算？
這可能比單純詢問交換器具有多少 Tbps 的 Switching Capacity，更符合 AI Infrastructure 的效能思維。
結語：AI 正在讓網路成為運算系統的一部分
AI 帶來的不只是 GPU 革命。
它正在同時推動記憶體、儲存、光通訊與資料中心網路架構的改變。
從 RDMA、RoCE、InfiniBand，到 Ultra Ethernet、800G、1.6T、Adaptive Routing 與 In-Network Collectives，可以看到一個清楚的發展方向：
運算與網路之間的界線正在縮小。
未來的 AI 資料中心不再只是「大量 GPU 加上高速交換器」。
真正具有競爭力的 AI Infrastructure，需要將 Compute、Memory 與 Network Fabric 作為一個完整系統共同設計。
GPU 數量決定理論運算規模，而網路架構則在很大程度上影響這些運算資源能否被有效協同。
因此，AI 網路架構的下一場競爭，可能不只是誰擁有更高的頻寬。
真正的核心問題是：
誰能以更低的延遲、更穩定的流量控制與更高的 Fabric 利用效率，讓大規模 AI 運算持續保持高效運行。
這才是 AI 網路效能演進真正值得關注的方向。
发表回复