RoCEv2网络部署实践

最新推荐文章于 2025-06-21 14:56:25 发布
最新推荐文章于 2025-06-21 14:56:25 发布
阅读量4.4k 收藏 11
点赞数 1
CC 4.0 BY-SA版权
分类专栏： # 无损网络 文章标签： 网络 rocev2 rdma 无损以太网
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33681684/article/details/129305497

延续上篇RoCE网络的介绍，我们知道承载ROCEv2流量必须有一张无损网络。
本章主要介绍在以太网环境部署无损网络的关键点。
首先是QoS，包含流分类和队列调度两部分。
流分类：在网络接入设备（TOR）配置if-match类的语句，根据报文的特征（五元组、vlan等）打上相应的标记（802.1p、DSCP）。当然如果也可以事先规划好终端侧在发送特定流量时打上相应标记，这样在网络接入侧就省去了流分类环节。

队列调度：出向时，将不同标记的流量放到不同队列，通常信令类流量绝对优先，ROCEv2和普通流量加权重轮询调度，也就是SP+WRR。
以上做完可以保证ROCEv2流量可以和普通流量区分开。
如下图：ROCEv2放在Q5，普通流放在Q1，权重各是50%，这样在信令优先转发后，ROCEv2和普通流会按1:1比例轮询转发。
在这里插入图片描述

然后是PFC
可以在接收方拥塞时基于队列做反压。我们一般会在ROCEv2的队列配置PFC，普通流量的队列默认不设置。
这样在链路拥塞时，ROCEv2的队列上游受到反压降低流速不会丢包，而普通流量队列则会丢包。
下图中Spine接口的Q5队列是启用了PFC的，
在这里插入图片描述
当链路拥塞时，Spine反压Leaf减少发包量避免Q5队列丢包，Q1因为没有FPC则会丢包。

最低0.47元/天 解锁文章

200万优质内容无限畅学
RDMA 协议中的王者：RoCE v2网络，低延迟、高吞吐量！
网络技术联盟站
02-13 4248
RoCE（RDMA over Converged Ethernet）是一种基于以太网的远程直接内存访问协议，旨在通过以太网网络实现高性能、低延迟的数据传输。RoCE早期版本（RoCE v1）存在一些局限性，随着技术的不断发展，RoCE v2应运而生，弥补了先前版本的一些缺陷。远程直接内存访问（RDMA）是一种数据传输方式，它允许数据在不涉及主机CPU的情况下从一台计算机的内存传输到另一台计算机的内存。这种方式降低了传统TCP/IP协议栈的开销，提高了数据传输效率。
rdma rocev2报文格式总结
热门推荐
qq_38158479的博客
02-15 1万+
rdma rocev2报文格式总结
RDMA RoCEv2标准协议快速掌握.rar
03-17
详细分析介绍RDMA RoCEv2标准协议，报文格式，消息内容。原创总结InfiniBand Architecture Secification Volume1 Release 1.2.1 标准的关键点. 力求读者5分钟掌握RDMA标准。同时附有标准原文档，包括RoCEv2 标准。
H3C&思科&锐捷&盛科交换机如何配置RDMA（RoCE）流控？
qq_27815483的博客
06-24 4194
本文主要总结整理了华三（H3C）、思科（Cisco）、锐捷（ruijie）、盛科（Centec）交换机如何在交换端配置RDMA流控。
什么是RoCE网络技术
最新发布
weixin_42795092的博客
06-21 1326
是一种基于以太网的远程直接内存访问（RDMA）技术，旨在通过标准以太网基础设施实现低延迟、高带宽的数据传输。它将 RDMA 的高效数据传输能力与以太网的兼容性结合，主要用于数据中心高性能计算（HPC）、云计算和大规模存储集群等场景。技术本质绕过操作系统内核直接访问应用内存，减少 CPU 参与数据传输的开销实现 “零拷贝” 数据传输，避免数据在内存中的多次复制支持低延迟（微秒级）和高吞吐量（数十到数百 Gbps）的通信。
RoCEv2 高性能传输协议与 Lossless 无损网络
烟云的计算
02-22 2452
它是 DCB (Data Center Bridging）标准的一部分，用于将流量分配到不同的队列，为每个队列分配一个权重，控制每个流量队列能够使用的带宽百分比，保证高优先级的流量，如 RDMA 流量通常会分配足够的带宽资源。因此，一旦出现丢包，就只能采用 go back N 重传机制，比如：网络链路上已经发送了 1，2，3，4，5 个数据包，假如当 2 这包丢掉了，那么 3，4，5 这三个包都要重传，重传的成本非常大。如下图所示，一旦发生丢包重传，RDMA 的性能就会急剧下降。
【RDMA】无损网络 RoCE v2
tyzyumi的专栏
01-18 1195
QoS是一种机制，它给一个网络流赋予一个优先级，并且管理它的最低需求(guarantees)，极限能力(limitations)和它相比其他网络流的优先级服务。这是通过一个2/3阶段的过程将用户层的优先级映射到一个硬件层流量类(hardware Traffic Class)上实现的。流量类（traffic class）被赋予QoS属性(缓存分配，流控制，排队，调度，随机早期检测，显式拥塞通知等等)，并且不同的流按照这些对应的属性被服务。
RoCE Overlay
sunshuying1010的博客
05-19 2660
1. RoCE over vxlan 配置vxlan封装的RoCE流量，可以在PF switchdev模式下利用ovs bridge，或直接设置tc rules。下面将基于一对NIC互联的服务器介绍两种方式的使用，并分析封装后的数据包结构。 1.1. 基本配置 - VF与switchdev 首先创建VF，并为两个host设置PF的switchdev模式。使用ovs bridge或tc rules，...
RoCEv2网络部署----Mellanox网卡配置
老网工的岁月独白
11-01 1万+
mlnx_qos -i ens1np0 -s ets,ets,ets,ets,ets,ets,strict,strict -t 10,10,10,50,10,10,0,0 设置出向队列调度，tc7，tc6严格优先级，tc0-5按权重轮询。mlnx_qos -i ens1np0 -f 0,0,0,1,0,0,0,0 开启priority 3 pfc。mlnx_qos -i ens1np0 -r 0,0,0,0,0,0,30,20 队列限速。设置队列3 PFC，后面打流测试让RoCEv2流量跑在队列3中，
某实验中心RDMA RoCE v2 网络实施（100G网络）
qq_29109843的博客
08-14 3589
QoS RoCE v2 Mellanox NVIDIA
使用Soft-RoCE实践RDMA
wq897387的专栏
07-23 1909
使用Soft-RoCE实践RDMA
Annex17_RoCEv2 (1).pdf
04-21
This document is an annex to Volume 1 release 1.2.1 of the InfiniBand Architecture, herein referred to as the base specification. This annex is Optional Normative, meaning that implementation of the feature described by this annex is Optional, but if present, the implementation must comply with the compliance statements contained within this annex. This specification follows the spirit of the RoCE Annex (Annex A16 to the base specification) in defining a new InfiniBand protocol variant that uses an IP network layer (with an IP header instead of InfiniBand‘s GRH) thus allowing IP routing of its packets.
RoCEv2和rdma标准文档
05-18
RoCEv2和rdma标准文档 This document is an annex to Volume 1 release 1.2.1 of the InfiniBand Architecture, herein referred to as the base specification. This annex is Optional Normative, meaning that implementation of the feature described by this annex is Optional, but if present, the implementation must comply with the compliance statements contained within this annex. This specification follows the spirit of the RoCE Annex (Annex A16 to the base specification) in defining a new InfiniBand protocol variant that uses an IP network layer (with an IP header instead of InfiniBand‘s GRH) thus allowing IP routing of its packets.
【RoCEv2部署不求人】：一步步教你打造高性能网络环境
RoCEv2（RDMA over Converged Ethernet version 2）是一种高速网络技术，它结合了RDMA（Remote Direct Memory Access）技术的优势与以太网的融合能力，为高性能计算、数据中心以及虚拟化环境提供低延迟和高带宽的...
【数据中心网络升级】：一步到位的RoCEv2部署与配置秘籍
![【数据中心网络升级】：一步到位的RoCEv2部署与配置秘籍]... 参考资源链接：[InfiniBand Architecture 1.2.1: RoCEv2 IPRoutable Protocol Extension](https://wenku.cs
RoCEv2配置专家课：高效部署的最佳实践与技巧分享
[RoCEv2配置专家课：高效部署的最佳实践与技巧分享](https://wiki.valiantcom.com/wp-content/uploads/2022/11/qos.jpg) # 摘要 RoCEv2是一种基于RDMA（Remote Direct Memory Access）技术的网络传输协议，它通过...
华三（H3C）交换机 RoCEv2 优化配置指南
guganly的专栏
03-25 1430
本文档基于华三交换机通用配置，具体实现可能因设备型号、软件版本略有差异，请以官方文档为准。本文档详细说明如何在华三（H3C）交换机上配置。及相关优化参数，包括。
配置InfiniBand (IB) 和 RDMA over Converged Ethernet (RoCE) 网络
NTD_huachen的博客
09-08 2535
配置InfiniBand (IB) 和 RDMA over Converged Ethernet (RoCE) 网络。
RDMA Soft-RoCE实验操作
qq_38158479的博客
04-06 1221
手上没有特定的硬件去做这个RoCE的实验，不过可以使用soft-roce去做这个实验，模拟数据包的发送以及接收过程。 使用内容： 使用两台机器，使用Soft-RoCE技术让两台机器互相通信。 参考文章 1：实验操作参考 2：视频 在看篇文章的时候，了解到了perftest性能测试工具，有点范迷糊，这又是什么东东，于是，马上开始面向百度进行了搜索， 找到了一篇说perf觉得还算是比较容易理解的博文， 1：perf简单介绍 ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值