大不同手游网:为互联网用户提供安全可靠的手机应用资源下载!

摩尔线程全面拥抱DeepSeek开源周-加速AI模型训练与推理

2025-03-03 10:15:28 来源|互联网

摩尔线程在DeepSeek开源周活动中大放异彩,宣布全面支持多项开源项目。这家智能科技公司昨日晚间宣布,他们已成功实现对DeepSeek各个开源项目的广泛兼容,涵盖了FlashMLA、DeepEP、DeepGEMM、DualPipe以及Fire-Flyer文件系统(3FS)等多个关键组件。

据摩尔线程介绍,FlashMLA作为一款专为加速MLA(Multi-Head Latent Attention)机制计算而设计的开源推理内核,尤其适用于DeepSeek系列模型。摩尔线程依托其最新的MUSA Compute Capability 3.1计算架构,提供了原生FP8计算能力,并通过升级高性能线性代数模板库MUTLASS,迅速推出了MT-FlashMLA开源仓库,确保了对DeepSeek FlashMLA的快速兼容部署。

DeepEP则是专为MoE(混合专家)模型训练和推理打造的开源EP(expert parallelism,专家并行)通信库,特别适用于大规模模型训练。摩尔线程基于MUSA Compute Capability 3.1全功能GPU,第一时间适配了DeepEP,支持高效优化的All-to-All通信、MTLink + GPU节点内通信以及原生FP8数据分发等多项特性,显著提升了训练效率。

DeepGEMM则是支持密集矩阵与MoE矩阵乘法的FP8 GEMM库,为V3/R1的训练与推理提供了强大支持。摩尔线程基于MUTLASS在全新GPU架构上进行了优化,实现了FP8矩阵乘法,成功支持了DeepGEMM的相应功能。

DualPipe是DeepSeek-V3提出的双向流水线并行算法,通过计算与通信的完全重叠,显著减少了设备空闲等待时间,大幅提升了资源利用率与训练效率。摩尔线程依托其深度学习框架Torch-MUSA和MUSA软件栈的全方位兼容性,实现了对DualPipe算法的高效支持,并成功接入了摩尔线程的MT-Megatron框架和即将开源的MT-TransformerEngine框架。

Fire-Flyer文件系统(3FS)作为一种并行文件系统,充分利用了现代SSD和RDMA网络的带宽,成为V3和R1训练与推理过程中的关键支撑。摩尔线程在极短时间内完成了3FS的搭建,并开发了存储插件,成功实现了与夸娥智算集群的无缝集成,为AI训练、推理和科学计算等场景提供了全栈存储加速方案。

最新
更多

摩尔线程全面拥抱DeepSeek开源周-加速AI模型训练与推理

摩尔线程在DeepSeek开源周活动中大放异彩,宣布全面支持多项开源项目。这家智能科技公司昨日晚间宣布,他们已成功实现对DeepSeek各个开源项目的广泛兼容,涵盖了FlashMLA、DeepEP、D

欧美、日韩与国产MV网站有哪些特色与未来趋势-你了解过这些平台的差异吗

在现代互联网的潮流下,视频已经成为了我们日常生活的一部分,尤其是随着欧美、日韩及国内各种MV网站的兴起,人们对视频内容的需求呈现出爆发式增长。无论是欧美音乐的高质量制作,还是日韩MV的独特艺术性,抑或

今天世界将聚焦于天禄!TYLOO击败EF-晋级仅一步之遥

EPL S21 入围赛 第二日 TYLOO对阵EF,一上来图一TYLOO在自己的选图上发挥不佳被EF拿到9-3领先,好在下半场找回状态追上比分成功拖入加时,进入加时赛的TYLOO延续火热的手感以4-1

CG91ZONE是什么-带你深入了解CG91ZONE的独特魅力与价值

在当今数字化的时代,各种新奇的概念和平台层出不穷,而 CG91ZONE 便是其中一个引人瞩目的存在。但你是否真正了解 CG91ZONE 是什么?接下来,让我们一同深入探究,揭开它那神秘的面纱,领略其独

崩坏星穹铁道如何高效添加好友?深度攻略与实用技巧揭秘

在崩坏星穹铁道这款备受欢迎的游戏中,与好友互动不仅能增加游戏的乐趣,还能帮助玩家更好地完成各种任务和挑战,许多玩家在尝试添加好友时可能会遇到一些困惑,本文将深度解析崩坏星穹铁道中如何添加好友,同时揭示

如何利用w17.c-起草官网提高企业文档管理效率:从功能到安全性的全方位分析

在数字化时代,企业需要依靠先进的技术和平台来提升工作效率和服务质量。w17 c-起草官网作为一种现代化的企业管理工具,为用户提供了专业的文档起草与管理解决方案。它不仅适用于各类企业的文档编写需求,还能

本站所有软件来自互联网,版权归原著所有。联系方式:anptzw@163.com 网站地图

Copyright©2025 大不同手游网  All Rights Reserved 备案号:粤ICP备2021027678号-1