GPU編譯器架構：CUDA、Triton和DeepSeek

Sun, 16 Nov 2025 00:00:00 +0000

在為 NVIDIA GPU 編譯程式時，CUDA 通常被視為參考編譯框架。但編譯器究竟是如何運作的呢？編譯器在為 GPU 建立「執行檔」時需要產生哪種指令集架構 (ISA)？編譯器究竟是如何運作的？它使用哪種架構來產生可以從 CPU 啟動並在 GPU 上執行的程式碼？

這份週日早晨備忘錄旨在對NVIDIA GPU編譯器架構進行高階概述。內容涵蓋GPU指令集、CUDA框架中的NVCC編譯器，以及最終面向GPU指令集的其他架構。

底層GPU架構 Link to heading

當針對 GPU 等裝置進行程式設計時，我們需要一套指令集。以 NVIDIA 為例，該裝置是串流多處理器 (SM)，如右圖所示。圖中值得注意的是，它包含許多並發單元，例如 IN32 加法器、特殊功能單元、GEMM+++ 張量核心等，編譯器需要確保以最高效的方式（管線式）使用這些單元（效率定義為最小化空閒時間）。

以下是所使用的術語：

ISA（指令集架構）：指令集。

機器代碼：指令的緊湊二進位表示。

組合語言：指令的較冗長的文字表示形式

NVIDIA GPU 有兩種指令集架構 (ISA)：

PTX:並行執行緒執行 - 編譯 Cuda 核心時所使用的中間彙編。
SASS: Streaming ASSembly（串流彙編）。底層彙編語言，特定於每個 GPU 架構。

假設我們要編譯這個內核：

  
__global__ void normalizeVector(float* x, float* y, float* z, int n)
{
 int i = blockIdx.x * blockDim.x + threadIdx.x;

 float vx = x[i], vy = y[i];
 float len2 = vx*vx + vy*vy;
 float invLen = rsqrtf(len2); // Use SFU fast reciprocal square root
 z[i] = invLen; // Normalized length
}

這裡的神奇之處在於，rsqrtf 應該被分發到 SFU 管道。它是如何運作的呢？ _float invLen = rsqrtf(len2);_ 這行程式碼會被轉換成 PTX 格式的 rsqrt.approx.ftz.f32，然後轉換成 SASS 格式的 MUFU.RSQ，如下圖所示（來自[godbolt](https://godbolt.org/#g:!((g:!((g:!((h:codeEditor,i:(filename:'1',fontScale:14,fontUsePx:'0',j:1,lang:cuda, selection:(endColumn:2,endLineNumber:15,positionColumn:2,positionLineNumber:15,selectionStartColumn:2,selectionStartL ineNumber:15,startColumn:2,startLineNumber:15),source:’global+void+normalizeVector(float*+x,+float*+y,+float*+z,+ int+n)%0A%7B%0A++++int+i+%3D+blockIdx.x++blockDim.x+%2B+threadIdx.x%3B%0A%0A++++float+vx+%3D+x%5Bi%5D%3B%0A++++float+vx+%3D+x%5Bi%5D%3B%0A++++float +vy+%3D+y%5Bi%5D%3B%0A++++float+len2+%3D+vxvx+%2B+vyvy%3B%0A%0A++++//+使用+SFU+快速+倒數+平方+根%0A++++flo at+invLen+%3D+rsqrtf(len2)%3B+%0A%0A++++//+標準化+向量%0A++++x%5Bi%5D+%3D+vx++invLen%3B%0A++++y%5Bi%5D+%3D+ vy+*+invLen%3B%0A%7D’),l:‘5’,n:‘0’,o:‘CUDA+C%2B%2B+source+%231’,t:‘0’)),k:33.333333333333336,l:‘4’,n’’n,’’,0:0:’,’’,0:0’,’n,’’,0:’,0:’,0:’,0:’,0:’,0:’,0:’,0:’,0:’,0:’,0:’,0:’,0:’,0:’s 0’),(g:!((h:compiler,i:(compiler:nvcc130u2,filters:(b:‘0’,binary:‘1’,binaryObject:‘1’,commentOnly:‘0’,debugCalls:‘1’, demangle:‘0’,directives:‘0’,execute:‘1’,intel:‘0’,libraryCode:‘0’,trim:‘1’,verboseDemangling:‘0’),flagsViewOpen:‘1’,f ontScale:14,fontUsePx:‘0’,j:1,lang:cuda,libs:!(),options:’-arch+sm_90+-use_fast_math+-O3’,overrides:!(),selection:(en dColumn:1,endLineNumber:1,positionColumn:1,positionLineNumber:1,selectionStartColumn:1,selectionStartLineNumber:1,sta rtColumn:1,startLineNumber:1),source:1),l:‘5’,n:‘0’,o:’+NVCC+13.0.2+(Editor+%231)’,t:‘0’)),k:33.333333333333336,l:’ ,n:‘0’,o:’’,s:0,t:‘0’),(g:!((h:device,i:(compilerName:‘NVCC+13.0.2’,device:‘SASS+(sm_90)’,editorid:1,fontScale:14,fon tUsePx:‘0’,j:1,selection:(endColumn:6,endLineNumber:21,positionColumn:1,positionLineNumber:1,selectionStartColumn:6,s electionStartLineNumber:21,startColumn:1,startLineNumber:1),treeid:0),l:‘5’,n:‘0’,o:‘Device+Viewer+NVCC+13.0.2+(Edito r+%231,+Compiler+%231)’,t:‘0’)),k:33.33333333333333,l:‘4’,n:‘0’,o:’’,s:0,t:‘0’)),l:‘2’,n:‘0’,0:’’,‘’t.

Cuda on QSysArch - Quantum Computer System Architecture

GPU編譯器架構：CUDA、Triton和DeepSeek

底層GPU架構 Link to heading