Network on QSysArch - Quantum Computer System Architecture

NVQLink：英偉達的GPU-量子統一系統架構

Tue, 28 Oct 2025 00:00:00 +0000

我非常高興能成為 Qblox 團隊的一員，該團隊一直以來都在積極與 [Nvidia](https://www.nvidia.com/en-us/solutions/quantus/sum-link NVQLink 標準，以此作為連接在 GPU、CPU 和 QPU（量子處理器，包括 Qblox 正在開發的前端量子控制器）上計算的異質系統的一種方式。

NVQLink概覽 Link to heading

NVQLink 不是連接 GPU 和量子處理器的另一個“電纜”，而是一個完整的框架，允許互連從網路到軟體堆疊的異質設備：

圖片來源：[Nandod](https://www.naddod.com/blog/nvidia-nvqlink-introduction-connecting-quantum

效能規格 Link to heading

關鍵的「硬體」規格著重於網路和運算資源的效能：

網路吞吐量：從 GPU 到 QPU 最高可達 400 Gb/s。
網路延遲：往返延遲（FPGA → GPU → FPGA）小於 4.0 微秒。
GPU 硬體：基於 NVIDIA GB200 Grace Blackwell 超級晶片構建的即時主機，具有大量的 TFLOPS。

為什麼需要 NVQLink Link to heading

你可能會問：“這為什麼重要？”

它創建了一個開放標準，將量子硬體與加速的 GPU 計算緊密整合。
它支援混合工作流程：神經網路校準、量子糾錯（QEC）等。
它提供了一個將軟體和硬體整合在一起的開放平台，使任何人都能與量子電腦進行交互，而無需淹沒在浩瀚的知識海洋中，這要歸功於Cuda-Q。

GPUDirect RDMA：RoCE 封包的生命週期

Sat, 18 Oct 2025 00:00:00 +0000

本備忘錄旨在了解 RDMA 的內部原理，特別是創建與 PCIe 子系統互連的「符合 RDMA 標準的網卡」所需的技術，例如與 DGX Spark 整合的 2000-2000-000000033）圖。

RDMA 作為「客戶端/伺服器」協定 Link to heading

讓我們先概述一下 RDMA 協定。

RDMA 設定 Link to heading

設定 RDMA 資料通道時，需要先將記憶體緩衝區註冊到網路卡才能使用。註冊過程包括以下步驟：

固定內存，使其無法被作業系統交換。
將位址轉換資訊儲存於網路卡。
設定記憶體區域的權限。
建立遠端金鑰+本機金鑰，供網路卡在執行 RDMA 動詞時使用。

RoCEv2：InfiniBand傳輸協議

Mon, 22 Sep 2025 00:00:00 +0000

我曾在Spirent公司工作，這是一家測試測量公司，專門開發高效能網路測試系統。我們的產品名為Test Center，當時我們與一支才華橫溢的團隊一起開發用於測試RoCEv2系統的系統。我的工作重點是優先權流控制（PFC），以及如何將其應用於基於800Gbps FPGA的「資料包分析器和產生器」（也稱為PGA）。

然而，我從未真正了解過第 4 層，這份備忘錄試圖透過闡述 InfiniBand 傳輸層 (L4) 的關鍵要素並用一些圖表將其視覺化來彌合這一差距。

RoCEv2框架 Link to heading

讓我們從實際的 RoCEv2 幀開始：

基本傳輸頭 (BTH) Link to heading

BTH 標頭中包含的關鍵字段：

操作碼：用於指定 RDMA 操作的類型，例如 RDMA_WRITE、RDMA_READ 等。
目標佇列對：用於區分資料包的不同目標佇列對。
確認請求：指示接收端是否需要對此資料包傳回 ACK。
資料包序號 (PSN)：用於資料包序列跟踪，以確保可靠交付。

由於UDP協定不可靠，訊框可能會遺失、亂序或重複，因此使用PSN來確保訊框的正確傳輸。然而，這也意味著IBTL需要有一種方法來請求幀重傳。這可以透過AETH頭部來實現，具體內容將在下文中描述。

擴展傳輸頭 (ETH) Link to heading

InfiniBand傳輸層包含多個擴展頭部，用於特定功能。對於RDMA而言，最值得關注的兩個擴充頭部是RETH和AETH。

RDMA 擴充傳輸頭 (RETH) Link to heading

RDMA_WRITE 操作需要多個元素，這些元素在 RETH 擴充標頭的各個欄位中表示。此報頭會將寫入操作的詳細資訊告知接收硬件，包括：

RDMA 和 InfiniBand 的複雜世界

Tue, 16 Sep 2025 00:00:00 +0000

在GPU領域，與RDMA相關的術語層出不窮：GPU-direct、NvLink、NVLink Fusion、InfiniBand、Quantum InfiniBand、GPUNetIO和DOCA。這令人眼花撩亂，但或許不必如此？

本文以個人備忘錄的形式寫成，試圖闡述各種技術，並用一些圖表將其視覺化。

GPU Direct 與 RDMA：行銷與科技。 Link to heading

讓我們從官方 Nvidia 文件中令人困惑的 GPUNetIO 頁面開始：

請注意，RDMA 是遠端直接記憶體存取協定的縮寫，該協定允許從一台電腦的記憶體向另一台電腦的記憶體進行遠端直接記憶體訪問，而無需任何一台電腦的作業系統參與。 ……請勿將其與 GPUDirect RDMA 混淆，後者與 RDMA 協定無關。

明白了，GPUDirect RDMA 和 RDMA 協定並不相同！但是，GPUDirect RDMA 至少是否使用了 RDMA 協定呢？我希望如此；否則，那就太令人困惑了。

GPUDirect RDMA 是 NVIDIA GPUDirect 技術家族中的一項技術。它使網卡能夠直接存取 GPU 內存，繞過 CPU 內存複製和作業系統例程，從而實現資料的收發。任何支援乙太網路、InfiniBand 或 RoCE 的網路框架都可以啟用 GPUDirect RDMA。

好的，至少有一點很明確：GPUDirect RDMA 可以實現在任何傳輸層上，無論是乙太網路 (ETH) 還是 InfiniBand (IB)。但是，GPUNetIO 是什麼？它與 RDMA 又有什麼關係呢？答案很簡單。顧名思義，GPUNetIO 是基於網路的 GPU Direct RDMA 實現，透過網路卡實現。這並不意味著 GPU Direct 必須由網路卡驅動，而只是說 GPUNetIO 是針對特定網路卡類型的專用版本。