Telegram
科技圈🎗在花频道📮DeepSeek开源周第4天:优化并行策略
✅ DualPipe - 一种双向管道并行算法,专为V3/R1训练中的计算-通信重叠优化。
✅ EPLB - 一种专家并行负载均衡器,适用于V3/R1。
📊 分析V3/R1中的计算-通信重叠。
X|DualPipe|EPLB|通信重叠
📮投稿 ☘️频道 🌸聊天 🗞️𝕏
Telegram
科技圈🎗在花频道📮DeepSeek开源周第4天:优化并行策略
✅ DualPipe - 一种双向管道并行算法,专为V3/R1训练中的计算-通信重叠优化。
✅ EPLB - 一种专家并行负载均衡器,适用于V3/R1。
📊 分析V3/R1中的计算-通信重叠。
X|DualPipe|EPLB|通信重叠
📮投稿 ☘️频道 🌸聊天 🗞️𝕏