大不同手游网:为互联网用户提供安全可靠的手机应用资源下载!

国产显卡动作神速!摩尔线程官宣成功实现对DeepSeek开源的全面支持

2025-03-03 13:05:09 来源|互联网

根据快科技的消息称,日前摩尔线程宣布,随着DeepSeek开源周收官,摩尔线程在短时间内,成功实现对DeepSeek各个开源项目的全面支持,涵盖FlashMLA、DeepEP、DeepGEMM、DualPipe 以及 Fire-Flyer文件系统(3FS)。

国产显卡动作神速!摩尔线程官宣成功实现对DeepSeek开源的全面支持

摩尔线程表示,这一成果充分验证了MUSA架构和全功能GPU在生态兼容与快速适配方面的强大优势!

国产显卡动作神速!摩尔线程官宣成功实现对DeepSeek开源的全面支持

以下是摩尔线程支持DeepSeek开源周“全家桶”代码合集:

FlashMLA:

FlashMLA是一款高效的MLA(Multi-Head Latent Attention)推理内核开源仓库,旨在加速MLA机制的计算,特别适用于DeepSeek系列模型(如DeepSeek-V2、V3和R1)。

摩尔线程基于全新MUSA Compute Capability 3.1计算架构,可提供原生FP8计算能力,同时升级了高性能线性代数模板库MUTLASS,快速支持了FlashMLA。

借助MUTLASS 0.2.0,摩尔线程发布开源仓库MT-FlashMLA,能够快速对DeepSeek FlashMLA进行兼容部署。

MT-FlashMLA开源地址:

https://github.com/MooreThreads/MT-flashMLA

MUTLASS FlashAttention3地址:

https://github.com/MooreThreads/mutlass/tree/main/experimental/mp31_flash_attention_fwd

DeepEP:

DeepEP是一个用于MoE(混合专家)模型训练和推理的开源EP(expert parallelism,专家并行)通信库,主要适用于大模型训练,特别是需要EP的集群训练。

它通过优化通信信道的使用率,显著提升了训练效率。摩尔线程基于MUSA Compute Capability 3.1全功能GPU,第一时间适配了DeepEP。

MT-DeepEP开源地址:

https://github.com/MooreThreads/MT-DeepEP

DeepGEMM:

DeepGEMM是一个支持密集矩阵与混合专家(MoE)矩阵乘法的FP8 GEMM库,为V3/R1的训练与推理提供强大动力。

这个开源仓库基于高性能通用矩阵乘法(GEMM)的C++模板库进行开发,摩尔线程基于MUTLASS在全新GPU架构上优化实现了FP8矩阵乘法,支持DeepGEMM的相应功能。

MUTLASS FP8 GEMM地址:

https://github.com/MooreThreads/mutlass/tree/main/examples/02_mp31_fp8_gemm_with_collective_builder

https://github.com/MooreThreads/mutlass/tree/main/examples/03_mp31_fp8_scaling_gemm

DualPipe:

DualPipe是DeepSeek-V3提出的双向流水线并行算法,通过前向计算与后向计算阶段的计算与通信完全重叠,显著减少了“流水线气泡”(设备空闲等待)。

与传统流水线并行相比,DualPipe 采用双向数据流设计,使数据从两端相向处理,大幅提升了资源利用率与训练效率。

摩尔线程依托深度学习框架Torch-MUSA(已开源)和MUSA软件栈全方位的兼容性,实现了对DualPipe这一算法的高效支持。

MT-DualPipe可以完整接入摩尔线程 MT-Megatron框架和MT-TransformerEngine框架(即将开源),实现DeepSeek V3训练流程的完整复现。

MT-DualPipe开源地址:

https://github.com/MooreThreads/MT-DualPipe

Torch-MUSA开源地址:

https://github.com/MooreThreads/Torch_MUSA

3FS:

Fire-Flyer文件系统(3FS)是一种利用现代SSD和RDMA网络的全部带宽的并行文件系统,可以把固态硬盘的带宽性能利用到极致。

摩尔线程在一天内完成了高性能分布式文件系统3FS的搭建,并高效开发了存储插件,成功实现与夸娥智算集群的无缝集成,为AI训练、AI推理、科学计算等场景提供全栈存储加速方案。

3FS CSI Driver地址:

https://github.com/MooreThreads/csi-driver-3fs

最新
更多

国产显卡动作神速!摩尔线程官宣成功实现对DeepSeek开源的全面支持

根据快科技的消息称,日前摩尔线程宣布,随着DeepSeek开源周收官,摩尔线程在短时间内,成功实现对DeepSeek各个开源项目的全面支持,涵盖FlashMLA、DeepEP、DeepGEMM、Dua

崩坏星穹铁道,蓝发商人桑博,他的智慧与狡黠究竟有多深?

在浩瀚的银河之旅中,每一位角色都承载着独特的使命与故事,而在崩坏:星穹铁道这款充满奇幻与冒险的游戏中,桑博·科斯基无疑是一个让人印象深刻的存在,他,一位在地表与地底之间来去自如的行商,以其独特的魅力、

Win11新版Outlook遇BUG-微软急查:第三方账号收发邮件受阻

近期,微软公司针对Windows 11系统上新推出的Outlook版本发布了一项重要通知。在2月27日公布的支持文档中,微软坦承新版本Outlook存在一项显著问题,用户在使用过程中可能会碰到一条错误

如何找到高清中文电影和电视剧资源:在大地资源二平台免费观看的技巧和方法

在如今互联网的普及下,越来越多的观众希望能够在网上观看高清电影和电视剧。而“地资源二中文高清免费看”这一关键词则代表了人们对便捷、高质量视频内容的需求。在追求更高观看体验的同时,大家也希望能够找到最简

哪个阵营搭配最强势-闯荡江湖阵营卡组演变史专题揭秘!

在浩瀚的游戏世界中,策略卡牌类游戏以其独特的玩法和丰富的策略性深受玩家喜爱。“闯荡江湖”系列游戏更是以其丰富的角色设定、多样的卡牌搭配以及深度的策略玩法,吸引了无数玩家的目光,本文将围绕“同阵营搭配更

乖离性百万亚瑟王异界联动-巴麻美制服卡牌测评-能否预见全新玩法革命

在乖离性百万亚瑟王这款深受玩家喜爱的卡牌游戏中,每一次新卡牌的推出都伴随着无尽的期待与讨论,本次推出的异界型巴麻美制服卡牌,不仅以其独特的角色设计和强大的技能属性吸引了众多玩家的目光,更让我们看到了未

本站所有软件来自互联网,版权归原著所有。联系方式:anptzw@163.com 网站地图

Copyright©2025 大不同手游网  All Rights Reserved 备案号:粤ICP备2021027678号-1