通信方式、点对点通信、集合通信

已于 2025-02-21 18:47:55 修改
阅读量710 收藏 4
点赞数 2
CC 4.0 BY-SA版权
分类专栏： AI大模型 & AI集群 文章标签： NCCL
于 2025-02-02 15:08:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LIZHUOLONG1/article/details/145420251

文章目录

B站视频

在这里插入图片描述

集合通讯思维导图：通信算法、通信链路、通信操作（原语）、通信域管理

在这里插入图片描述

传统组网互联

在这里插入图片描述

大模型组网互联：超高带宽、超低延迟、超高可靠性

在这里插入图片描述

☆☆☆ AI计算集群互联方式：Die间、片间、集群间

AI计算集群互联演变方式：Die间互联、片间、集群间

在这里插入图片描述

Die间：SoC架构转向 Chilplet 异构（多Die）、UCIe标准

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

IO Die & Base Die

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
一个die 一个rank

节点内 NPU 间互联：PCIe、共享内存、私有协议直连

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
形成一个环，执行一个 all reduce、reduce together、all gather 的操作，都是要形成一个环
在这里插入图片描述

Ascend 服务器形态

在这里插入图片描述
这一代还没有NVLink的出现

☆☆☆ 片内互联挑战与技术壁垒

在这里插入图片描述

其他AI厂商可以做AI芯片，AI芯片比较新
但是通讯这玩意儿，不是想做就能做的，国内估计只有华为能做
网络协议的适配，也需要大量的工程经验和技术积累的

Die间是已经有对应的技术标准的了
片间 AMD&谷歌提出的 UALink 协议

在这里插入图片描述

掌握 片间高速互联网络和私有协议 的公司，在AI训练服务器 形成绝对垄断的地位！
华为这几年还是能走的非常的好

☆☆☆ 节点间互联：需要跨 RDMA 的就是1个节点

在这里插入图片描述
在这里插入图片描述

RDMA 主要实现方式，由第三方的公司可以买到！

在这里插入图片描述
在这里插入图片描述__________________________

InfiniBand

在这里插入图片描述

RoCE

在这里插入图片描述
在这里插入图片描述

Altas 900 A2 PoD集群基础单元 - 计算节点

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
（1）NVIDIA NVL72 是一个机柜，那么这个机柜应该就属于是一个节点
（2）可能还不是，要是 L2 NVSwitch 的话 还连接着别 NVL72 机柜，都是在NVSwitch下面，还没有跨RDMA 访问别的节点（可能是这个意思）

RDMA

在这里插入图片描述
在这里插入图片描述
（1）左边的图是TCP/IP，右边的是RDMA
（2）左边的几个蓝色方框，在传递的时候 需要经过好几次的用户的内存拷贝，对大数据执行起来会非常的缓慢，数据量越大的时候，这个延迟是很难去接受的！
（3）而RDMA新的协议，就是用户直接跳过kernel层，直接传到远端的服务器，数据绕过CPU，直接通过RDMA设备，对远端的虚拟内存直接进行访问读和写；

（4）既然是机器间通信，那么不同机器间是通过以太网连接的
（5）Q：RDMA是通过网线连接的吗？
在这里插入图片描述

~

从硬件PCIE、NVLINK、RDMA原理到通信NCCL、MPI原理！

通信实现方式：机器内通信、机器间通信

计算机通网络通讯中最重要的两个衡量指标是：带宽、延迟

在这里插入图片描述

内存共享：比如 多个应用共享手机里面的同一块内存
PCIe：最明显的方式就是 gpu 与 cpu 之间的通信，大部分都通过之间的PCIe插槽进行的
NVLink（直连模式）：GPU 与 GPU 之间进行一个互通

在这里插入图片描述
Q：不同机柜之间的GPU的访问，不是通过NVSwitch进行全互联的吗。那这个机器间的通信，都传输什么信息呢？通讯、互传数据、等待和同步相关的问题，这些信息是走什么传输的呢？
---- 如果是NVLink通信的话，它应该还是属于 机器内通信，而不是机器间通讯（TCP/IP、RDMA）

蓝色的线：通过网线进行连接
AI集群里面，可能更多的用到 RDMA 的网络模型通信

通信实现方式：通讯协调

在这里插入图片描述

通信实现方式：机器内通信：PCIe（硬件）

在这里插入图片描述

通信实现方式：机器内通信：NVLink（硬件）

在这里插入图片描述

通信实现方式：机器间通信：RDMA（硬件 需要跨 RDMA 的就是1个节点 ）

通信协调：软件篇

在这里插入图片描述

通信协调：软件篇：MPI（视频：《NCCL/HCCL 的基础 MPI 通信介绍》需要再看一下理解，第一遍完全没有看懂，感觉很多视频是都需要温故知新！！！）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
OSI只是一个模型概念，并不提供具体的实现方法。实际上的网络的标准是TCP/IP

在这里插入图片描述
在这里插入图片描述

MPI：集合通信

在这里插入图片描述

MPI：进程启动与收发数据顺序：broadcast

在这里插入图片描述

MPI：进程启动与收发数据顺序：gather

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
优化通信框架的性能，那不就是用到了之前学习到的 二叉树的结构了

在这里插入图片描述
在这里插入图片描述

通信协调：软件篇：NCCL

在这里插入图片描述
（1）对网络拓扑进行一个感知，topo是长什么样子的，回环是怎么组织的
（2）对网络拓扑进行一个搜索，找到一个最好的通信的策略
（3）使能CUDA的kernel 对数据进行通信

在这里插入图片描述

点对点通信（TCP/IP、RDMA）、集合式通信（TCP/IP、NCCL）

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

~

通信域

什么是通信域？一个通信域对应一个进程组、RankID

在这里插入图片描述

同一个进程可以参与不同的通信域，互不干扰

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

TP && PP 通信域

在这里插入图片描述
（1）左侧：NPU0 NPU1都是单个的进程，两个变成一个进程组；右侧：NPU0 4 8 12 也组成了一个进程组，在同一个通信域

DP && MP 通信域

在这里插入图片描述

后端通信库支持

在这里插入图片描述

Stream 基本概念

在这里插入图片描述

Event基本概念

在这里插入图片描述

Srtream & Event 通信计算并行

在这里插入图片描述
（1）计算流、通信流是不同的线程、不同的线程执行不同的 kernel
（2）串行：一个算子执行之后，下发到XCCL1，执行完之后，再执行另外一个算子

————
在这里插入图片描述

在这里插入图片描述
（1）第一个query：下载OP1给NPU之后，需要查询 OP1 是否执行完；没有执行完就给NPU2 发一个等待的指令，等待OP1执行完之后再发指令给NPU2执行OP2
————
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

————

集合通信的输出作为计算流上算子的输入

在这里插入图片描述
通信 与 计算 并行操作，数据可能有依赖性，就通过上面的 同步与异步 保证相关的顺序！
在这里插入图片描述

~

通信原语

在这里插入图片描述
在这里插入图片描述
对模型进行切分，每个服务器又需要相互通信，把一个大的网络模型切分成很多小的网络模型，每个小的网络模型之间是相互依赖的，需要就需要跨节点对数据进行同步
涉及到同步，中间的过程就需要通信，跨节点的通信，跨网络的通信，跨卡的通信；

集中式通信方式：一对多 broadcast

（1）把 NPU0 的数据同步到其他 3 份里面
在这里插入图片描述
在这里插入图片描述

集中式通信方式：一对多 scatter

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对一 reduce

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对一 gather

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对多 all reduce（用的特别多）

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对多 all reduce 的两种实现方式

在这里插入图片描述

集中式通信方式：多对多 all reduce = reduce + broadcast （聚合到一张卡）

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对多 all reduce = reduce-scatter + all-gather

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

木桶原理，强同步的！（大模型对AI集群训练的诉求：大带宽、强同步）

集中式通信方式：多对多 all gather

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

集中式通信方式：多对多 reduce scatter

在这里插入图片描述
在这里插入图片描述

集中式通信方式：多对多 all to all

在这里插入图片描述
假设每个NPU上面都有一个A的数据，A的数据在计算完之后，希望进行通讯，都变成一块卡的数据，再进行聚类处理

在这里插入图片描述

~

集合通信算法：all reduce 算法

在这里插入图片描述

all reduce 算法：Ring算法

在这里插入图片描述

在这里插入图片描述
右图：也是组成一个环

在这里插入图片描述
在这里插入图片描述

all reduce 算法: Halving-Doubling 算法

在这里插入图片描述
在这里插入图片描述在这里插入图片描述

在这里插入图片描述

all reduce 算法：其他算法

在这里插入图片描述

拓扑感知 All Reduce 算法：Torus拓扑、Dragonfly拓扑

在这里插入图片描述
谷歌 TPU 就非常推崇 Torus 架构

☆☆☆ 在网计算（通信与计算融合）：把All Reduce 操作放到交换机 或者 路由器 中去执行

不是特别懂，NPU 之间不是通过 NVLINK等其他直连的方式 传输数据的吗，那这个经过这个DPU是怎么冒出来的？难道不是直连模式了吗，也不是PCIe、内存共享中的吧

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

总结：性能提升方向：通信与计算融合

在这里插入图片描述

【转载】分布式训练和集合通信
李响
10-28 1066
分布式深度学习的通信库选择目前比较通用的是基于MPI的实现(如OpenMPI)、NVIDIA的NCCL实现，如果是在使用NVIDIA-硬件的情况下，主流的选择是NVIDIA自家的NCCL。关于NCCL、OpenMPI、Gloo的Allreduce对比，可以参考开源项目mlbench-benchmarks。该项目使用pytorch框架，在相同的GPU及软硬件环境一致的情况下，对NCCL、OpenMPI、Gloo三种通信库的Allreduce作了性能测试。
mpi4py 中的集合通信
自可乐的博客
03-29 603
本文从本人简书博客同步过来 在上一篇中我们简要总结了 mpi4py 中的组与通信子的基本概念和用途，下面我们将进行集合通信的介绍。 集合通信的主要功能是对一组进程进行通信、同步、计算等。 集合通信根据信息的传递方向可大致分为两大类：单向的集合操作和双向的集合操作。对于具有根进程的集合操作，如 Bcast，Scatter，Gather 等，传输通过根进程的一个参数来定义为单向，此时对包含了根进...
组通信与点对点通信
ZDF19的博客
12-19 2780
通信子（communicator）：是指一组可以相互发送消息的进程集合。   集合通信（collective communication）：也叫组通信，是指设计通信子中所有进程的通信函数。   点对点通信（point-to-point communication）:函数对（两个函数）之间的通信。   集合通信和点对点通信的区别:   1）通信子中的所有进程都必须调用相同的集合通信函
AllToAll通信为什么用于EP并行？
xyz3120的专栏
05-23 495
EP并行一般使用在MOE层，先了解下什么是MOE。
NCCL 集合通信--Collective Operations
greatcoder的博客
07-25 2341
N个设备参与的broadcast，root是函数中指定的introot（以上图为例则是2)，初始状态下，rank为root（上图中2）的设备上的sendbuffer长度为count。运行结束后，所有参与broadcast的N个设备上的recvbuffer长度为count，且所有N个rank的recvbuffer部分的数据均来自于root设备的sendbuffer的拷贝。,in_N-1，运行结束后，N个设备上的recvbuffer内容均相同，长度均为。..................
MPI——通信集合
绝尘
09-19 5541
通信集合 树形结构通信 一开始1、3、5、7号进程都将它们的值发送给0、2、4、6。然后0、2、4、6进程都将接收到的值加到它们自己原有的值，整个过程重复两次。 但是这个解决的方案不是最理想的，因为其中一半的进程的工作量与原来方案相同。原来的方案需要0号进程接收comm_sz-1=7次。而新的方案中0号进程只需要3次接收和3次加法，并且其他进程所有的接收与加法操作不超过2次。所以，如果所有进程几...
MPI 集体通信（collective communication）
保持写作习惯，完成知识沉淀
01-28 1524
MPI_REDUCE将组内每个进程输入缓冲区中的数据按给定的操作op进行运算，并将其结果返回到序列号为root的进程的输出缓冲区中。
MPI笔记（三）集合通信
David
04-16 3611
1. 同步 2. 数据传递 3. 规约 /* 集合通信： 集合操作的三种类型： 1. 同步，等待所有进程都就绪 2. 数据传递，广播、分散、收集、全部到全部 3. 规约，集合中的其中一个进程收集所有进程的数据并计算（类似MapReduce） 集合操作是阻塞的 只支持MPI的标准数据类型，不支持派生类型 函数： MPI_Barrier MPI_Barrier (com...
java实现点对点通信[汇编].pdf
10-11
本文档描述了一个使用Java实现的点对点通信程序，该程序涉及了软件开发中的网络通信、用户交互和数据传输等多个方面。设计的目标包括用户聊天、私聊、聊天内容定制、用户注册与登录、消息加密、文件传输和消息提醒等...
通信原理知识点.docx
04-21
通信方式主要可以分为单工、半双工和全双工通信。单工通信是信号单向传输，半双工通信可以双向传输但不能同时进行，全双工通信则可以同时双向传输。 随机过程是通信原理中的一个重要概念，它是随时间作随机变化的...
无线通信工程师求职试题集合模板.docx
最新发布
06-16
无线通信工程师的求职试题集合涉及众多专业领域知识，包括无线通信原理、信号处理、网络协议、通信系统设计、编码技术等。下面对部分内容的知识点进行详细阐述。 首先，计算某地球站接受天线所对应的方位角、仰角和...
史上最牛的VB通信例程资源帖！VB大集合！太全了！_调试例程_测试例程_whethero3t_VB通信例程资源帖！_ust6u_
10-02
6. "VB串口传输文本,实现2台PC间的通信,类似简单的聊天工具.rar"：演示了如何使用VB构建简单的点对点通信应用，对于网络通信基础的理解有很大帮助。 7. "VB串口与伺服电机DSP2407通讯完整代码源程序.rar"：涉及到了...
十大算法集合
05-04
dijkstra Floyd算法 动态规划 分治算法 概率算法 灰色预测 聚类算法 类比法 蒙特卡洛 模拟退火，禁忌搜索，遗传算法，神经网络-MATLAB程序合集 模拟退火算法 神经网络 搜索算法 贪婪算法 图论 网上matlab 遗传算法 遗传退火法 组合算法 免疫算法 穷举法求解0-1整数规划的matlab程序
蓝牙串口通信工具Demo.zip
01-25
2. **串口通信**：串口通信是一种古老的通信方式，通过串行数据传输，一次传输一个比特位。在硬件层面，它通常指的是RS-232标准。在软件层面，串口通信涉及到波特率、数据位、停止位、校验位等参数的设置。在蓝牙...
MPI学习2--------集合通信
k5722166的博客
07-05 440
集合通信
集合算法
weixin_42122527的博客
06-27 1265
set_union(),set_intersection(),set_difference()  set_union: 构造一个有序序列，包含两个有序序列的并集。  set_intersection: 构造一个有序序列，包含两个有序序列的交集。  set_difference: 构造一个有序序列，该序列保留第一个有序序列中存在而第二个有 序序列中不存在的元素。 ...
集合通信算法源码解读视频教程 Open MPI 5.0，NCCL可参考
爱串门的小马驹博客
05-04 608
NCCL、MPI中有各种各样的集合通信原语/接口，像Broadcast、Allreduce、reduce、allgather、scatter、alltoall、gather、reducescatter等。每个集合通信原语，都有多套算法实现。例如Broadcast，由于应用场景的不同，参与通信的通信实体数量，每次发送的数据量各不相同等，导致难以有一种集合通信算法在各种条件下都是最优的，因此出现了一个集合通信原语，有多套集合通信算法实现。
使用集合通信实现向量的加法
weixin_42391176的博客
03-11 523
目的：对向量x，y求和得到z并输出 x，y的分量个数为n comm_sz：进程数目 my_rank：进程编号 MPI_Comm：表示通信子，所有的操作必须同一个通信子中完成 local_n：每个进程操作的分量数目 基本步骤 先利用 Read_vector()读取数据并从0号进程发送给其他进程。MPI提供了MPI_Scatter（）函数，可以实现0号进程读入整个向量，将分量按照块划分的方式发送给其他...
学习笔记：MPI组通信全互换ALLTOALL
10-28 9165
MPI_Alltoall 在使用MPI_Alltoall时，每一个进程都会向任意一个进程发送消息，每一个进程也都会接收到任意一个进程的消息。每个进程的接收缓冲区和发送缓冲区都是一个分为若干个数据块的数组。MPI_Alltoall的具体操作是：将进程i的发送缓冲区中的第j块数据发送给进程j，进程j将接收到的来自进程i的数据块放在自身接收缓冲区的第i块位置。 MPI_Alltoall与MPI_All...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值