我曾在Spirent公司工作,这是一家测试测量公司,专门开发高性能网络测试系统。我们的产品名为Test Center ,当时我和一支才华横溢的团队一起开发用于测试RoCEv2系统的系统。我的工作重点是优先级流控制(PFC),以及如何将其应用于基于800Gbps FPGA的“数据包分析器和生成器”(也称为PGA)。
然而,我从未真正了解过第 4 层,这份备忘录试图通过阐述 InfiniBand 传输层 (L4) 的关键要素并用一些图表将其可视化来弥合这一差距。
RoCEv2框架 链接到标题
让我们从实际的 RoCEv2 帧开始:

基本传输头 (BTH) 链接到标题
BTH 标头中包含的关键字段:
操作码:用于指定 RDMA 操作的类型,例如 RDMA_WRITE、RDMA_READ 等。
目标队列对:用于区分数据包的不同目标队列对。
确认请求:指示接收端是否需要对此数据包返回 ACK。
数据包序列号 (PSN):用于数据包序列跟踪,以确保可靠交付。
由于UDP协议不可靠,帧可能会丢失、乱序或重复,因此使用PSN来确保帧的正确传输。然而,这也意味着IBTL需要有一种方法来请求帧重传。这可以通过AETH头部来实现,具体内容将在下文描述。
扩展传输头 (ETH) 链接到标题
InfiniBand传输层包含多个扩展头部,用于特定功能。对于RDMA而言,最值得关注的两个扩展头部是RETH和AETH。
RDMA 扩展传输头 (RETH) 链接到标题

RDMA_WRITE 操作需要多个元素,这些元素在 RETH 扩展报头的各个字段中表示。该报头会将写入操作的详细信息告知接收硬件,包括:
虚拟地址:数据将写入的目标内存地址
远程密钥 (R_Key):用于验证内存区域权限的访问密钥
长度:要传输的数据的大小
ACK 扩展传输标头 (AETH) 链接到标题
如前所述,IBTL 需要在传输不可靠时通知发送方。这是通过 EATH 扩展实现的,该扩展包含以下字段:
综合征:包含响应代码的字段,这些响应代码指示成功 (ACK)、错误情况 (NAK) 或接收器未就绪 (RNR) 状态,以及流控制信息。
消息序列号 (MSN):表示最近完成接收的消息的序列号,这意味着所有序列号低于此值的消息都已成功接收。
自定义扩展 链接到标题
IBTL 规范(参见第 9 章)确实包含相当多的扩展,其中一些引起了我的注意:
比较和交换:可以实现无锁同步。
发送与写入:前者可用于控制流,后者可用于数据流。
立即扩展:允许在传输内存的同时交换侧信道元数据。
我也一直在思考如何知道标头中包含哪些扩展名。答案很简单:对于每个操作码,都有一个待解析的扩展名列表——该列表是静态定义的,是规范的一部分。
大象流挑战 链接到标题
GPU 之间的通信会产生海量的数据流,支持 RDMA 的网卡会以线速传输这些数据流。这些数据流很容易导致后端网络拥塞。
RDMA 能够以线速生成流量,这令人惊叹。但这同时也带来了一个问题,即流单元大小(两个连续非活动时间段之间的流量大小)会受到影响,在使用 RDMA 大流量时,访问“非活动间隙”的概率会显著降低。
负载均衡挑战 链接到标题
另一个复杂之处在于脊叶拓扑结构的负载均衡,当使用“数据包喷射”负载均衡时,单个队列对上的数据包可能会乱序接收。这造成了一定的复杂性,而英伟达通过引入一种名为“RDMA 只写”的新型 RDMA 操作解决了这个问题。
原图来源: 《网络时报》
# 结论
这是一份“动态”备忘录,我会随着找到更多关于 IBTL 的信息而不断更新。
目前还没有定论,但可以肯定的是,RDMA 是一种非常优雅的解决网络效率挑战的方法,同时也带来了一系列新的挑战。
References:
图片来自: