Network on QSysArch - Quantum Computer System Architecture

NVQLink：NVIDIAのGPU-量子統合システムアーキテクチャ

Tue, 28 Oct 2025 00:00:00 +0000

私は、Qblox のチームの一員になれたことを大変嬉しく思っています。このチームは、Nvidia と積極的に協力し、NVQLink 標準を推進しています。これは、GPU、CPU、および QPU (量子プロセッサ、Qblox が開発している最前線の量子コントローラを含む) 上で計算される異種システムを相互接続する方法です。

NVQLinkの概要見出しへのリンク

NVQLinkは、GPUと量子プロセッサを接続するための単なる「ケーブル」ではなく、ネットワークからソフトウェアスタックまで、異種デバイスを相互接続できる包括的なフレームワークです。

画像提供: Nannod

パフォーマンス仕様見出しへのリンク

主要な「ハードウェア」仕様では、ネットワークおよびコンピューティングリソースの性能が重視されます。

ネットワークスループット：GPUからQPUまで最大400Gb/s。
ネットワーク遅延：往復遅延（FPGA → GPU → FPGA）が4.0マイクロ秒未満。
GPUハードウェア：NVIDIA GB200 Grace Blackwellスーパーチップをベースに構築されたリアルタイムホストで、非常に高いTFLOPS性能を備えています。

NVQLinkが必要な理由見出しへのリンク

あなたは「なぜこれが重要なのか？」と疑問に思うかもしれません。

量子ハードウェアと高速化されたGPUコンピューティングを緊密に統合するためのオープンスタンダードを作成します。
ハイブリッドワークフローを可能にします：ニューラルネットワークのキャリブレーション、量子誤り訂正（QEC）など。
これは、ソフトウェアとハードウェアを1つに統合したオープンなプラットフォームを提供し、CUDA-Qのおかげで、誰もが知識の海に溺れることなく量子コンピュータとやり取りできるようにします。

NVQLink仕様：アーキテクチャ設計見出しへのリンク

NVQLinkのホワイトペーパーがhttps://arxiv.org/abs/2510.25213から入手可能になったので、提案されているアーキテクチャの詳細を詳しく見ていきましょう。

システムアーキテクチャ

(ホワイトペーパーに掲載されている元の画像を基に作成したシステム図)

予想通り、詳細はNannodによる概要と一致しています。コンポーネントの観点から見ると、NVQLinkアーキテクチャはリアルタイムホスト（RTH）とQPU制御システム（QSC）で構成されています。これら2つのコンポーネントは、低遅延でスケーラブルなリアルタイムインターコネクト（RTI）で接続されています。RTHには、CPUやGPUといった従来のHPCコンピューティングリソースが搭載されています。QSCには、通常、QPUを制御するパルス処理ユニット（PPU）が含まれています。

この図では、重要なキーワードである「fn」と「NI」を紹介します。NVQLinkのメンタルモデル（「プログラミングモデル」）では、CPU、GPU、PPU（またはその他の専用IC/FPGA）はそれぞれ「デバイス」と呼ばれ、NVQLinkはこれらのデバイスのいずれに対してもリモートプロシージャコール（「コールバック」または「fn」）を実行できるようにします。これは非常に強力なソリューションであり、NVQLinkは異種システムを繋ぐ接着剤として機能します。「fn」ランタイムの実際の実装は高度に最適化されており、マーシャリングも自動的に処理されます。これにより、数マイクロ秒のレイテンシを実現できます。「NI」はネットワークインターフェースの略で、すべての関係者が統一された相互接続システムを構築するために使用できる、小型でオプションのネットワークカード/インターフェース/ケーブルとして概念化されています。

時間領域見出しへのリンク

NVQLinkでは、時間領域という非常に重要な概念も導入されています。これは、システムに関わるすべての「処理ユニット」が「同じクロック」に従うとは限らないため必要となります。

クロック、つまり時間ドメインには、速いものから遅いものまで4つのカテゴリがあります。

物理時間領域 (PTD): 通常は QPU クロック。

GPUDirect RDMA: RoCE パケットの寿命

Sat, 18 Oct 2025 00:00:00 +0000

このメモは、RDMA の内部構造、特に DGX Spark (右の画像) に統合された 200Gb connectX-7 などの PCIe サブシステムと相互接続する「RDMA 準拠 NIC」を作成するために必要なことを理解することを目的としています。

RDMAを「クライアントサーバー」プロトコルとして使用する見出しへのリンク

このメモは、RDMAプロトコルの概要から始めましょう。

RDMA設定見出しへのリンク

RDMAデータチャネルを設定する際、メモリバッファは使用する前にネットワークカードに登録する必要があります。登録プロセスは以下の手順で構成されます。

メモリをピン留めして、オペレーティングシステムによってスワップされないようにする。
アドレス変換情報をNICに保存します。
メモリ領域のアクセス許可を設定します。
NICがRDMA動詞を実行する際に使用するリモートキーとローカルキーを作成します。

RDMAキューペア見出しへのリンク

RDMA通信は3つのキューのセットに基づいています

SQ: 送信キュー
RQ: 受信キュー
CQ: 完了キュー

RDMAキューペア、または「QP」とは、送信キューと受信キューを指します。

RDMAワークキュー要素見出しへのリンク

アプリケーションは、ワークリクエスト（ワークキュー要素（WQE）とも呼ばれる）を使用してジョブを発行します。ワークリクエストは、バッファへのポインタを持つ小さな構造体です。

送信キューでは、送信するメッセージへのポインタです。
受信キューでは、受信したメッセージをどこに配置すべきかを示します。

作業依頼が完了すると、アダプタは完了キュー要素を作成し、それを完了キューに追加します。

RoCEv2: InfiniBandトランスポートプロトコル

Mon, 22 Sep 2025 00:00:00 +0000

私は以前、高性能ネットワーク向けテストシステムを開発する計測機器メーカーであるSpirent社に勤務していました。製品はTest Centerと呼ばれ、非常に優秀なチームと共に、RoCEv2システムのテストに使用されるシステムを開発していました。私の主な担当は、優先フロー制御（PFC）と、800GbpsのFPGAベースの「パケットアナライザおよびジェネレータ」（PGAとも呼ばれる）でPFCを有効にする方法でした。

しかし、私はレイヤー4を実際に見たことがなかったので、このメモでは、InfiniBandトランスポート層（L4）の主要な要素を明確にし、いくつかの図を用いて視覚化することで、このギャップを埋めようと試みます。

RoCEv2フレーム見出しへのリンク

まずは実際のRoCEv2フレームから見ていきましょう。

ベーストランスポートヘッダー (BTH) 見出しへのリンク

BTHヘッダーに含まれる主要フィールド：

オペコード: RDMA_WRITE、RDMA_READなどのRDMA操作の種類を指定するために使用されます。
宛先キューペア: パケットの異なる宛先キューペアを区別するために使用されます。
確認応答要求: 受信側がこのパケットに対してACKを返す必要があるかどうかを示します。
パケットシーケンス番号（PSN）：確実な配信のためのパケットシーケンス追跡に使用されます。

UDPは信頼性の低いプロトコルであり、フレームが失われたり、順序が狂ったり、重複したりする可能性があるため、PSNを使用して正しい配信を保証します。しかし、これはIBTLがフレームの再送信を要求する方法が必要であることも意味します。これは、後述するAETHヘッダーを使用して実現されます。

拡張トランスポートヘッダー (ETH) 見出しへのリンク

InfiniBandトランスポート層には、特定の機能に使用される拡張ヘッダーがいくつかあります。RDMAの場合、最も重要なのはRETHとAETHの2つです。

RDMA拡張トランスポートヘッダー（RETH）見出しへのリンク

RDMA_WRITE操作にはいくつかの要素が必要であり、それらはRETH拡張ヘッダーのフィールドで表現されます。このヘッダーは、受信側のハードウェアに対して、書き込み操作の詳細（以下を含む）を伝えます。

仮想アドレス：データが書き込まれるメモリ上のアドレス
リモートキー (R_Key): メモリ領域へのアクセス権限を検証するアクセスキー
長さ：転送するデータのサイズ

ACK 拡張トランスポートヘッダー (AETH) 見出しへのリンク

前述のとおり、IBTLは信頼性の低い送信の場合に送信者に通知する必要があります。これは、以下のフィールドを含むEATH拡張機能を使用して行われます。

シンドローム: フロー制御情報とともに、成功 (ACK)、エラー状態 (NAK)、または受信側準備未完了 (RNR) ステータスを示す応答コードを含むフィールド
メッセージシーケンス番号 (MSN): 直近に完了したメッセージのシーケンス番号を示し、シーケンス番号が小さいメッセージはすべて正常に受信されたことを意味します。

カスタム拡張機能見出しへのリンク

IBTL仕様書（第9章を参照）には、かなりの数の拡張機能が含まれており、そのうちのいくつかは私の注意を引きました。

比較と交換: ロックフリー同期が可能になります。
送信と書き込み：前者は制御フローに使用され、後者はデータフローに使用されます。
即時拡張：転送されるメモリとともにサイドチャネルメタデータの交換を可能にする。

RDMAとInfiniBandの複雑な世界

Tue, 16 Sep 2025 00:00:00 +0000

GPUの文脈におけるRDMAに関連するバズワードは数多く存在します。GPUダイレクト、NVLink、NVLink Fusion、InfiniBand、Quantum InfiniBand、GPUNetIO、DOCAなどです。これらは紛らわしいものですが、必ずしもそうである必要はないのかもしれません。

この記事は個人的なメモ形式で書かれており、様々な技術について説明し、いくつかの図を用いて視覚化することを試みています。

GPU DirectとRDMA：マーケティングとテクノロジー。見出しへのリンク

では、まずはNVIDIA公式ドキュメントの紛らわしいGPUNetIOページから始めましょう。

RDMAという略語は、一方のコンピュータのオペレーティングシステムを介さずに、もう一方のコンピュータのメモリへリモートで直接メモリアクセスを可能にするプロトコルを表しています。…これは、RDMAプロトコルとは無関係なGPUDirect RDMAと混同してはいけません。

なるほど、つまりGPUDirect RDMAはRDMAプロトコルとは異なるんですね！でも、GPUDirect RDMAは少なくともRDMAプロトコルを使用しているのでしょうか？そうだといいのですが。そうでなければ、本当に混乱してしまいます。

GPUDirect RDMAは、NVIDIAが提供するGPUDirectテクノロジーファミリーに含まれる技術の一つです。これにより、ネットワークカードはCPUメモリのコピーやオペレーティングシステムのルーチンを介さずに、GPUメモリに直接アクセスしてデータを送受信できます。GPUDirect RDMAは、イーサネット、InfiniBand、またはRoCEに対応したあらゆるネットワークフレームワークで有効化できます。

さて、少なくともGPUDirect RDMAはイーサネット（ETH）でもInfiniBand（IB）でも、どのトランスポート層でも実装できることは明らかです。では、GPUNetIOとは何でしょうか？そして、RDMAとどのように関係しているのでしょうか？答えは簡単です。GPUNetIOは、その名前が示すように、ネットワークカード上でGPU Direct RDMAを実装するネットワークベースのものです。これは、GPU Directがネットワークカードから駆動される必要があるという意味ではなく、GPUNetIOがネットワークカードの種類に特化したバージョンであるという意味です。

上記の図の GPUNetIO ドキュメントにある「CUDA」ボックスは少し分かりにくいです。これは GPU 上で実行されるカーネルだと推測されますが、ドキュメントに何が書かれているか確認してみましょう。

従来のアプローチでは、CPU 中心のモデルに依存することが多く、CPU は NIC と連携して GPUDirect RDMA を使用して GPU メモリにパケットを受信します。その後、CPU は GPU 上の CUDA カーネルにパケットの処理を通知します。… DOCA GPUNetIO は、CPU をクリティカルパスから排除する GPU 中心のソリューションを提供することで、この課題に対処します。

私にはまだ完全には理解できていません。クリティカルパスは「GPU中心」とありますが、クリティカルパスとは何でしょうか？図に示されているステップ(1)から(4)のことでしょうか？そして、CPUは依然として何のために必要なのでしょうか？答えを見つけるには、「非同期カーネル開始」モードを確認する必要があります。これは、「GPU CUDAカーネルがネットワーク通信を制御してデータを送受信する」可能性として説明されています。GPUDirect IKAは以下を可能にします。

GPUはイーサネット通信（イーサネット/IP/UDP/TCP/ICMP）を制御できます。
GPUはRDMA通信を制御できます（InfiniBandまたはRoCEをサポート）。
アプリケーションのクリティカルパスではCPUの介入は不要です

つまり、これは100％明確です。

GPU Direct RDMAは、CPUによるステージングコピーなしで、GPUメモリとの間で直接データ転送を可能にします。
GPU Direct AKIは、GPUがネットワークカードを「制御」することを可能にします。
GPUNetIOは、GPUダイレクトRDMAとAKIの両方のテクノロジーを処理するソフトウェアコンポーネントです。
DOCAは、NVIDIAがGPUNetIO対応ハードウェア（その他）をプログラミングするために提供するSDKです。

混乱の原因は、「AKI」を「GPU Direct RDMA + AKI」と表記すべきであるという事実にあると思われます。なぜなら、AKIはCPUをバイパスできるRDMA機能を補完するものだからです。

Network on QSysArch - Quantum Computer System Architecture

NVQLink：NVIDIAのGPU-量子統合システムアーキテクチャ

NVQLinkの概要 見出しへのリンク

パフォーマンス仕様 見出しへのリンク

NVQLinkが必要な理由 見出しへのリンク

NVQLink仕様：アーキテクチャ設計 見出しへのリンク

時間領域 見出しへのリンク

GPUDirect RDMA: RoCE パケットの寿命

RDMAを「クライアントサーバー」プロトコルとして使用する 見出しへのリンク

RDMA設定 見出しへのリンク

RDMAキューペア 見出しへのリンク

RDMAワークキュー要素 見出しへのリンク