xPUs：人工智慧推理硬體加速微架構

Sun, 28 Jun 2026 00:00:00 +0000

xPU：它是專用處理單元 (PU) 的一個統稱，其中「x」可以代表任何針對特定工作負載定制的運算架構。常見的變體包括 GPU（圖形）、TPU（張量/AI）、NPU（神經）、DPU（資料）或 PPU（脈衝，主要用於量子控制堆疊）。

這份超短備忘錄旨在深入分析應用於人工智慧推理的 xPU 市場格局。

市場概況 Link to heading

在檢視人工智慧推理ASIC的市場格局時，最有價值的指標或許並非原始效能，而是供應商的差異化優勢能否在未來3-5年內保持競爭力。從這個角度來看，可以歸納出三個集群：

通用平台：NVIDIA 與 垂直整合商：AMD、Google
當前挑戰者 Groq、Cerebras、FuriosaAI、Positron、SambaNova、Axelera AI。
未來挑戰：Extropic、Normal Computing、Unconvential、Mottronix、Akhetonics！部分 xPU 製造商

通用平台 Link to heading

NVIDIA

架構：GPU（2024 年採用 Blackwell 架構）
核心優勢：生態系鎖定、軟體堆疊深度、完整的系統集成
目標工作負載：通用 — 大規模 LLM 訓練與推理 - 圖形著色器
缺點：成本高、功耗高；未針對稀疏計算進行最佳化

垂直整合商 Link to heading

Google

架構：TPU，客製化ASIC（脈動）
核心優勢：垂直整合；Google規模下成本最低
目標工作負載：Google Cloud 工作負載、Gemini 推理

通用矩陣乘法 (GEMM) 內核

Sat, 28 Mar 2026 00:00:00 +0000

本備忘錄將回歸GPU基礎知識，重點介紹深度學習的核心運算：矩陣乘法。首先，我將描述其基本實作和理論方法。然後，我將探討如何優化GPU效能，使其發揮最大效用。

理解樸素矩陣乘法器 Link to heading

讓我們從一個你在教科書中經常看到的簡單例子開始。

  
/**
* Kernel to perform matrix multiplication C = A × B
* A is of size N x M, B is M x N, and C is N x N
* Each thread computes one element of matrix C.
*/

__global__ void naive_matrix_multiply(float* A, float* B, float* C) {

// Calculate global row and column for this thread
int row = blockIdx.y /* 0...16 */ * blockDim.y + threadIdx.y;
int col = blockIdx.x /* 0...16 */ * blockDim.x + threadIdx.x;

if (row < N && col < N) {
float sum = 0.0f;
for (int k = 0; k < M; k++) {
// C[row][col] = sum(A[row][i] * B[i][col])
sum += A[row * N + k] * B[k * N + col];
}
C[row * N + col] = sum;
}

}