拆解 Dell PowerScale 支援 GPUDirect Storage (GDS) 的網路架構與考點配置

在 Dell Technologies Proven Professional（如 PowerScale Solutions Specialist、Infrastructure AI Solutions）等相關認證中，PowerScale 搭配 NVIDIA GPUDirect Storage (GDS) 是極高頻的架構設計與故障排除考點。

核心架構原理（資料路徑對比）

• 傳統 NFS 資料流（雙重跳躍）： Storage $\to$ NIC $\to$ CPU System RAM（Bounce Buffer） $\to$ PCIe Bus $\to$ GPU HBM。缺點：嚴重消耗主機 CPU 週期與記憶體頻寬，形成嚴重的 I/O 延遲（GPU Starvation）。
• GPUDirect Storage (GDS) 資料流（直接 DMA）： Storage $\to$ NIC (RDMA) $\to$ PCIe Switch $\to$ GPU HBM。技術核心：藉由 NFSoRDMA（NFS over RDMA） 與 NVIDIA cufile / nvidia-fs 驅動，完全繞過 CPU 與作業系統 Page Cache。

網路拓撲與硬體考點配置

1. 實體層與傳輸協定選擇
   • RoCEv2（RDMA over Converged Ethernet）：考題最常見情境，基於 100GbE / 200GbE / 400GbE 乙太網路。交換器端必須配置 PFC（Priority Flow Control） 與 ECN（Explicit Congestion Notification） 達成無損網路（Lossless Ethernet）。
   • InfiniBand（IB）：高階全閃存節點（如 F710 / F910，搭 Mellanox ConnectX-6/7）原生支援前端 HDR/NDR InfiniBand 直連。
2. NUMA 節點親和性（NUMA Affinity & PCIe Topology）
   • 經典陷阱題：計算節點裝有 8 張 GPU 與 4 張 200G NIC，但測試發現 GDS 效能未達預期。
   • 考點解法：考題要求考生確認 GPU 與 RDMA NIC 必須連接在同一個 PCIe Switch 或同一個 NUMA Node 上。若跨 NUMA（走 UPI/QPI 匯流排），GDS 將自動退回 bounce-buffer 模式或大幅降速。可用 nvidia-smi topo -m 指令檢驗（需顯示 PIX 或 PXB，避免 SYS）。

PowerScale OneFS 端配置要點

在 OneFS 叢集端，必須調整特定的全域與網路集區設定以支援高吞吐循序 I/O：

• 啟用 NFSoRDMA：
  • 在特定的 Network Subnet / Pool 中啟用 RDMA 協定：isi network pools modify <pool_id> --nfsv3-rdma=true（或透過 WebUI 勾選 RoCE/RDMA 支援）。
• 效能調優參數（AI 循序讀取特化）：
  • File Pool Policy：設定為 Streaming 模式，以最佳化大檔循序讀取預取（Prefetch）。
  • 停用干擾項：進行極限吞吐測試時，需考慮關閉或延後背景 Inline Deduplication 與 Compression，避免壓縮解壓縮演算法消耗節點 CPU。
  • Jumbo Frames：網路介面 MTU 必須嚴格設定為 9000（End-to-End 包括 Switch）。

GPU 計算節點（Client）端考點

• 掛載參數（Mount Options）：
  • GDS 典型搭配 NFSv3（或支援 RDMA 的 NFSv4.1/4.2）：Bashmount -o rdma,vers=3,rsize=1048576,wsize=1048576 <PowerScale_IP>:/ifs/data/ai /mnt/data
  • 必須特別注意指定 rdma 傳輸選項與最大傳輸塊大小（rsize=1048576 / 1MB）。
• 驅動與驗證工具：
  • 核心元件包含：MOFED（Mellanox OFED）、CUDA Toolkit 以及 nvidia-gds（包含 nvidia-fs.ko 內核模組）。
  • 必考檢驗工具：
    • gdscheck.py -p：驗證 GDS 環境完整性（檢查 NVFS 模組狀態、PCIe 拓撲、檔案系統支援度）。
    • gdsio：執行純 GDS 讀寫基準效能壓測工具。

認證常見情境題型示例

• 題型：故障排除（Troubleshooting）
  • 題目：工程師執行訓練工作負載時，發現儲存吞吐量受限於 2 GB/s，且計算節點 CPU 核心使用率飆升至 95%。執行 gdscheck.py 發現 GDS 運作於 FALLBACK_TO_POSIX 狀態。請選出兩項可能原因。
  • 正確選項方向：
    1. 計算節點上的 nvidia-fs 驅動模組未載入或 NFS 掛載未使用 rdma 傳輸參數。
    2. 程式碼開啟檔案時未使用具備對齊需求的 Direct I/O（如未採用 O_DIRECT 或未透過 cuFileHandleRegister 註冊）。