xPUs：人工智能推理硬件加速微架构

Sun, 28 Jun 2026 00:00:00 +0000

xPU：它是专用处理单元 (PU) 的一个统称，其中“x”可以代表任何针对特定工作负载定制的计算架构。常见的变体包括 GPU（图形）、TPU（张量/AI）、NPU（神经）、DPU（数据）或 PPU（脉冲，主要用于量子控制堆栈）。

这份超短备忘录旨在深入分析应用于人工智能推理的 xPU 市场格局。

市场概况链接到标题

在审视人工智能推理ASIC的市场格局时，最有价值的指标或许并非原始性能，而是供应商的差异化优势能否在未来3-5年内保持竞争力。从这个角度来看，可以归纳出三个集群：

通用平台：NVIDIA 和 垂直整合商：AMD、Google
当前挑战者 Groq、Cerebras、FuriosaAI、Positron、SambaNova、Axelera AI。
未来挑战：Extropic、Normal Computing、Unconvential、Mottronix、Akhetonics！部分 xPU 制造商

通用平台链接到标题

NVIDIA

架构：GPU（2024 年采用 Blackwell 架构）
核心优势：生态系统锁定、软件栈深度、完整的系统集成
目标工作负载：通用 — 大规模 LLM 训练和推理 - 图形着色器
缺点：成本高、功耗高；未针对稀疏计算进行优化

垂直整合商链接到标题

谷歌

架构：TPU，定制ASIC（脉动）
核心优势：垂直整合；谷歌规模下成本最低
目标工作负载：Google Cloud 工作负载、Gemini 推理
漏洞：仅可通过 Google 云获得；无法从 Google 购买 TPU 内核。

通用矩阵乘法 (GEMM) 内核

Sat, 28 Mar 2026 00:00:00 +0000

本备忘录将回归GPU基础知识，重点介绍深度学习的核心运算：矩阵乘法。首先，我将描述其基本实现和理论方法。然后，我将探讨如何优化GPU性能，使其发挥最大效用。

理解朴素矩阵乘法器链接到标题

让我们从一个你在教科书中经常看到的简单例子开始。

  
/**
* Kernel to perform matrix multiplication C = A × B
* A is of size N x M, B is M x N, and C is N x N
* Each thread computes one element of matrix C.
*/

__global__ void naive_matrix_multiply(float* A, float* B, float* C) {

// Calculate global row and column for this thread
int row = blockIdx.y /* 0...16 */ * blockDim.y + threadIdx.y;
int col = blockIdx.x /* 0...16 */ * blockDim.x + threadIdx.x;

if (row < N && col < N) {
float sum = 0.0f;
for (int k = 0; k < M; k++) {
// C[row][col] = sum(A[row][i] * B[i][col])
sum += A[row * N + k] * B[k * N + col];
}
C[row * N + col] = sum;
}

}

乍一看，这似乎很简单。你只需要计算输出矩阵 C 的每个单元格即可。这段内核代码看起来确实能完成这项任务。下面是该内核的更直观的表示。

Gpu on QSysArch - Quantum Computer System Architecture

xPUs：人工智能推理硬件加速微架构

市场概况 链接到标题

通用平台 链接到标题

垂直整合商 链接到标题

通用矩阵乘法 (GEMM) 内核

理解朴素矩阵乘法器 链接到标题

市场概况链接到标题

通用平台链接到标题

垂直整合商链接到标题

理解朴素矩阵乘法器链接到标题