作者 | 中国AI算力大会

6月26日，2025中国AI算力大会在北京热烈召开。从国产AI算力的突围与崛起，到智算中心深层软硬件技术创新解决算力落地产业难题，近30位重量级嘉宾与会带来致辞、报告、演讲和对话，全方位解构DeepSeek引爆的AI算力变局。

摩尔线程副总裁王华在主会场以《基于FP8的国产集群训练》为题进行了主题演讲。在演讲中他提到2020至2025年间，大模型训练的算力需求激增近1000倍 ，而驱动力来自参数规模与数据量双向增长。

王华认为，大集群和FP8成为大模型现阶段的最强需求。对此，他围绕大模型算力需求、混合精度训练、FP8训练技术演进等方面进行了深入浅出地剖析阐释。

此外，王华还分享道，摩尔线程提供包括FP8在内的全精度算力，构建了支持多种不同数据类型的混合精度训练方案，还可以提供万卡集群开箱即用的产品，可以满足大模型的算力需求，并大幅提升其训练效果。

以下为王华的演讲实录精华：

一、5年，大模型训练算力需求增长千倍

首先来看一下大型训练需求的趋势。2020年，算力需求训练需求最高是在1023flops。到25年，训练算力需求最高的是xAI的Grok3，算力需求差不多到了1026flops。从1023到1026，算力需求增长了1000倍。

增长主要来自两个方面：一是模型参数。大模型的模型参数规模是在不断增加的，最近的模型动辙都是数千亿甚至到万亿的参数规模；第二是训练数据量。早期训练数据量可能到几百B，稍微多一点到1T，但现在基本都是十几T。

所以，算力需求和模型参数数量与训练数据量的乘积成正比，而这两个维度的增长，带来模型训练算力需求的大幅增长。

再举一个例子，比如，Llama 3 70B大概是在1024flops左右，然后更大一点Llama 3 405B在1025flops左右,GPT 4也在1025左右,早期的Llama 2大概在1023flops左右。虽然Llama 2与Llama 3的模型参数和模型结构比较类似，但是因为Llama 2的训练数据量低一个数量级，所以它要求的算力也会低一个数量级。

不只是算力，这些大规模训练所需要的集群也越来越大。为了校正所需要的算力，用H100的千卡、五千卡到万卡量级的集群来作类比。表格中的数据是按照MFU算的，当然不同模型的参数大小对MFU有影响，另外集群规模增大之后由于加速比效应，MFU会下降，所以这里只是大致的估算。

这个量级中，DeepSeek V3的算力需求大概在3.4×1024flops。在千卡集群上，1024的训练时间大概是97天，五千卡集群需要22天，到万卡级别就只需要13天了。再举一个例子，Qwen 3 235B，虽然模型参数小一些，但因为数据集更大，它的实际算力会更高，所以Qwen 3 235B计算量约为4.75×1024flops。再看一下训练时间，这个计算量在千卡集群上需要136天，五千卡上是37天，到万卡就只需要18天。这是两个比较典型的国内MOE模型的例子。

再比如说Llama 3 370B，这是比较典型的Dense模型（稠密模型），训练数量也差不多在1024flops左右，训练时间也与Qwen 3差不多。

更大的模型，比如GPT 4，训练数量有1025flops，这几乎是千卡不可能完成的任务，到这个量级基本需要万卡级别的集群来支撑。尤其是现在大模型的训练参数基本都在向着万亿发展，数量级十分巨大，所以后续训练需要的算力也会非常大。

二、混合精度训练缓解算力需求激增难题

为了解决算力需求，摩尔线程采用混合精度训练的方法。在整个模型训练过程中，识别出对精度要求不高的操作，将其替换为低精度计算。

更低精度带来的优势，首先体现在算力层面：精度降低一半，算力翻倍，同时显存占用、显存带宽及传输带宽消耗均减半。本质上，采用更低精度的数据类型进行训练，相当于实现了算力的翻倍。但需注意，低精度替换只能部分进行，无法完全替代，精度敏感的环节仍需保留高精度计算。因此，降低精度可在一定程度上提升算力或降低模型训练的算力需求。

在精度策略的设计上，可从两个维度考量：第一个维度是模型权重。以相同算力条件为例，对比多参数低精度模型与少参数高精度模型,如100B参数规模的FP16模型和200B参数规模的FP8模型，从数学表达能力来看，其可表达的理论空间是等价的。

但当前行业趋势更倾向于优先扩展模型参数规模。这是因为模型训练中实际使用的精度范围仅占理论值域的一部分，造成“精度空间浪费”，而增大参数规模能有效提升模型效果。

从行业技术演进来看，精度格式正沿着FP32→TF32→FP16/BF16→FP8的路径发展。此前业界对FP8的应用尚处探索阶段，而DeepSeek已将其成功应用于模型训练，预计未来会有更多模型采用FP8精度。

三、FP8训练挑战解析：数值范围局限与精度损失引发的梯度问题

FP8训练面临什么挑战？首先我们看一下不同浮点数的值域。因为指数位不同，取值范围其实差别很大。比如BF16，忽略正负号，可以看到值域靠低端的部分可以到2-126，然后高端的可以到2127。FP16的值域会小很多，但有十位尾数，值域靠低端部分接近2-14，然后高端部分是六万多。

FP8有E4M3和E5M2两种，可以看到，E4M3的取值范围其实非常窄，只有2-6到448，E5M2跟FP16类似，但其实跟现在广泛用的BF16比，取值范围还是小很多。这里面有两个因素，一个是取值范围，一个是精度。

取值范围就是刚刚讲到的从小数到大数的范围，因为FP8的数值范围小，很可能在计算过程中遇到数值上溢和下溢的问题，如此就会带来一个典型问题：梯度爆炸和梯度消失。

精度就是尾数部分能够表达的数量。精度低会带来舍入误差的问题。例如在做数值转换的时候，可能BF16能表示的数在FP8里就会丢失掉一些小数。另外就是一个大数加一个很小的数，由于小数部分太小了，两者就相当于没加，这样就会造成信息丢失，对模型训练过程会带来梯度无法更新的问题。

四、FP8训练技术不断演进，4大创新攻克低精度核心难题

这两年FP8训练技术取得多项进展，已经应用在一些模型的训练中。

模型训练中不同操作对精度的需求是不一样的：

1、矩阵乘操作：作为两数相乘的基础运算，FP8的数值范围易于控制，可通过值域限定避免溢出，对精度要求较低；

2、累加与规约操作：矩阵乘中隐含的累加过程（尤其大矩阵运算时多数相加）存在值域溢出风险，对精度要求处于中等水平；

3、非线性函数运算：如指数函数等场景，数值易快速超出值域，对精度要求最高。

基于此，训练中可对不同操作采用差异化精度策略，通过中间过程的量化与反量化实现精度适配。

Tensor Core技术提供了混合精度运算的硬件支持。自2017年引入以来，该技术持续进化，现可支持以FP8格式矩阵为输入，通过硬件级混合精度运算输出高精度矩阵结果。

此外，训练框架也在支持混合精度训练。例如在BF16与FP32的混合训练中，多数操作采用BF16执行，但权重更新时会切换至FP32，通过维护FP32权重副本确保训练稳定性。

还有就是Tensor Scaling（张量缩放）技术。在进行高精度向低精度转换时，由于值域范围不同，会出现信息丢失问题。因此在数据类型转换前，需先将高精度值域乘以Scaling Factor（缩放因子）参数，使其缩放到低精度值域范围内，以此确保转换过程中尽可能减少数据丢失。

Scaling Factor的选择可以有不同的策略。在时间维度上来看可以是在量化前直接计算，也可以采用基于历史数据的Delayed Scaling Factor（延迟缩放因子）。

从颗粒度来看，既可以对整个 Tensor 应用统一的Scaling Factor，也能进行更精细的选择，比如Per-Channel（逐通道）缩放，甚至还能进一步细化到Per-Channel的子区域。DeepSeek在其论文中提及，他们采用的是Per-Block（逐块）的缩放策略。

简单说一下DeepSeek的论文。DeepSeek-V3就使用了FP8混合精度训练，其中主要采用了以下策略：

1、前向和后向传播的3次GEMM使用FP8；

2、激活值的缓存和传输使用FP8；

3、Embedding、激活函数等模块使用高精度浮点数；

4、主权重、权重梯度、优化器状态使用高精度浮点数。

五、摩尔线程全栈支持FP8训练，性能提升20%~30%，对标主流水平

那我们说回到摩尔线程在采用FP8训练上面的一些工作。

首先，摩尔线程的全功能GPU计算卡在精度上的支持非常全面，摩尔线程是国内少数可以支持FP8精度的GPU供应商。不同计算精度可以用在图形、计算等不同场景，摩尔线程计算卡的优势就是支持全精度计算。

第二点就是在集群方面的工作。摩尔线程可以说是在集群这一方面投入很大的国产GPU公司。我们的夸娥（KUAE）智算集群系列产品可以让客户实现开箱即用，已经做到千卡规模，可支持万卡，未来还会向着更大规模集群前进。

在这一整个过程中，我们积累了很多实践。摩尔线程搭建了完整的软硬件栈，从硬件设计到集群管理、调度等全部包含。在大规模集群的运维方面也积累了丰富的经验。在大规模训练时，经常会出现计算错误、卡异常等情况，如何快速定位出现故障的部分将其替换是很重要的。我们采用了分布式的故障监测方法，实现分钟级的故障定位和恢复。

另外还有支持FP8训练的摩尔线程软件栈。我们开源了3个组件：提供MUSA后端加速支持的Torch-MUSA、混合并行训练框架MT-MegatronLM以及主要用于Transformer的高效训练和推理优化的MT-TransformerEngine。基于摩尔线程软件栈，我们成功复现了DeepSeek-V3满血版训练。

在此之上我们做了一系列的实验，基于我们自己的夸娥（KUAE）集群，在性能方面，在Llama3 8B、Qwen、DeepSeek-V2 16B以及V3 30B上，目前采用FP8混合训练可以带来20%~30%的性能提升，且引入FP8前后loss曲线基本一致，在采用FP8训练方面，摩尔线程的GPU计算卡与国际主流的卡做精度对比也基本吻合。

此外，摩尔线程在Scaling Factor的选择上也做了许多探索，例如：amax的统计信息表明Per-Tensor的Scaling Factor适合采用Delayed Scaling策略，而Per-Block则适合采用JIT Scaling策略。我们还用摩尔线程GPU计算卡做了Smooth SwiGLU论文的复现，我们发现，通过Smooth SwiGLU可以有效降低outlier的影响。

今天我给大家汇报的内容就是这些，谢谢。

被执行1.8万，与蔚来汽车有关执行法院为上海市静安区人民法院天眼查法律诉讼信息显示，9月17日，上海蔚来汽车用户服务有限公司新增一则被执行人信息，执行标的1.8万元，执行法院为上海市静安区人民法院。上海蔚来汽车用户服务有限公司成立于2017年6月，法定代表人为夏庆华，注册资本2.5亿人民币，经营范围包括保险经纪业务、出版物零售、