智东西10月15日报道，刚刚，一款刚登上OpenRouter Token全球使用量周榜第二的大模型，开源了！
阶跃星辰正式开放Step 5 Preview的模型权重，BF16、FP8两个版本同步上线HuggingFace和ModelScope。
Hugging Face：https://huggingface.co/stepfun-ai/Step-5-Preview
ModelScope：https://modelscope.cn/models/stepfun-ai/Step-5-Preview
Step 5 Preview采用稀疏MoE架构，总参数量600B、激活参数仅27B，支持100万Token上下文窗口。在Artificial Analysis 的Intelligence Index榜单中取得44分，位居全球开源模型前三。
正式发布后，该模型很快进入全球开发者视野。截至2026年10月15日，Step 5 Preview的Token用量在开放模型平台OpenRouter的周榜、日榜均位列第二，近七日用量约18.8万亿Token。
根据Step 5 Preview发布时的Artificial Analysis评测数据，其单任务平均成本仅为Claude Opus 5的1/8，前者单次总开销0.71美元（约合人民币4.75元），后者为5.86美元（约合人民币39.22元）。
在基准测试方面，据阶跃团队公布，在公开和内部评估中，Step 5 Preview在复杂的软件工程任务（包括长程规划任务）、专业知识工作和金融领域等基准测试中展现出较为均衡的综合能力。
在Agents’ Last Exam的CLl子集ALE-CLI、金融投资研究评测FrontierFinance，以及跨领域深度研究评测DRACO上优于Kimi K3、GLM-5.3，仅次于 GPT-6 Astra或Claude Opus 5。
Step 5 Preview 在榜单和实际使用中展现出的表现，也让人好奇：这款模型背后，究竟有哪些不同的技术设计？我深扒了Step 5 Preview的技术博客，试图找到答案。
一、92层窄深架构，从架构层面提高计算效率
Step 5 Preview由92个Transformer模块堆叠而成，模型深度与Qwen 3.8 Max、Kimi K3等万亿参数级开源大模型相当，但总参数量不足这些模型的1/4，激活参数不足1/3。
为什么深度如此重要？
阶跃星辰的解释是：智能体任务中，模型需要不断调用外部工具，每次调用都可能带来大量新文本。考虑到Token效率，模型未必有机会通过显式思维链充分推理，因此更加依赖读取上下文时的“隐式推理”。
在Transformer中，信息沿着token时间方向和网络深度逐层传播。如果层数不够，多跳依赖的信息可能还没完成传递就耗尽了网络深度，长文本中的复杂推理便可能无法完成。
行业内还有一条技术路线是通过循环或递归结构增加等效深度，阶跃星辰则选择了更直接的做法：加深层数、控制网络宽度。
这套“窄而深”的设计，一方面是为多跳推理提供更长的信息传递路径，另一方面可以控制参数规模以及响应计算开销，从而让模型获得与万亿级模型相当的长程任务能力。
在注意力机制的配置上，Step 5 Preview按3:1的比例交错布置两类注意力层：3/4是高效的Gated滑动窗口注意力层，1/4是稀疏全注意力层。
阶跃星辰称，团队在对比多种线性注意力方案后发现，各方案性能差距其实很小，但滑动窗口注意力结构最简单，且对投机解码更为友好。
二、用Sparse GQA给百万token上下文的注意力“瘦身”
模型有了更深的推理路径，下一步是控制上下文带来的注意力计算开销。
当上下文长度达到100万token时，全注意力层会成为训练和推理共同的效率瓶颈。
阶跃星辰的解法是在全注意力路径上采用一种名为Sparse GQA的稀疏注意力机制，即在标准的分组查询注意力（GQA）中引入稀疏索引，模型不必对全部历史信息做注意力计算，而是先筛选、再计算。
这一思路并非阶跃首创，此前DeepSeek的DSA等工作已做过类似探索。
阶跃星辰称，其实际部署中需要跨越三道坎：筛选器本身的开销、筛选后碎片化计算的GPU利用率、以及筛选精度与数据读取量之间的权衡。
相比MQA（Multi-Query Attention，多查询注意力）和 MLA（Multi-Head Latent Attention，多头潜在注意力）结构，GQA其实会放大这三重矛盾。团队之所以选择GQA，是因为该结构在实验中的长上下文精度更好，且更利于多GPU并行推理。
▲稀疏GQA示意图1
但这三重矛盾也不能忽视，针对此问题，阶跃给出了Sparse GQA具体方案：
- 将相邻的历史位置压缩为“块”来降低筛选器成本，块大小设为8，筛选与选择环节的成本因此下降8倍；
- 利用相邻token语义相近、筛选结果高度重叠的特点，对相邻token的筛选结果取并集、合并计算，以改善GPU利用率；
- 经过反复试验，确定了每8个token为一组、共筛选4096个token的配置。文本越长，这套方案省下的计算越多，而信息覆盖率与更精细的参考方案几乎相同（78.06%对79.09%）。
在稀疏机制下，筛选器先将共享的索引键压缩为块表示，每个KV分组独立选出相关的历史块，主计算路径只读取被选中的原始K/V以及当前块内可见位置。
换言之，模型先粗选章节、再精读原文，避免了对百万级token全量计算注意力的开销。
▲稀疏GQA示意图2
三、用三层手段压住数值爆炸与梯度尖峰，实现更稳定的训练
前两步分别处理模型的推理路径和长上下文计算开销，但是这些设计要落地，还得让训练过程足够稳定。
阶跃星辰在训练中遇到的主要问题之一，就是数值爆炸和梯度尖峰。
训练过程中某些数值突然失控，轻则拖慢进度，重则让此前的训练成果作废。团队在FP8低精度训练框架下，给出了三项应对措施：
第一项是将隐藏状态转为FP32精度。
低精度训练速度快、成本低，但模型加深后，少数取值极大的数据点会在低精度格式下迅速失控。改用高精度存储这部分数据后，极端值下降了近十倍，额外成本则影响不大。
第二项是将归一化层的缩放因子转为FP32。
该模型归一化层采用零中心RMSNorm，其调节参数在低精度格式下一旦恰好停在临界值，就会让某个计算通道反复“开关”，引发输出震荡。把这个参数改为高精度存储后，输出震荡问题得到明显缓解。
第三项是细粒度梯度钳制。
团队观察到，梯度尖峰并非源自数据噪声或输出层，而是起于中间某些层，并在数层之内被放大数个数量级，数据重复似乎也会推波助澜；其成因可能与层冗余在反向传播中反复放大特定信号有关。
由于异常梯度极为稀疏，团队只需在每层的梯度中挑出极小的一部分（占比为0.00004%）进行限幅，就能抑制尖峰，让训练收敛曲线明显更平滑。
▲细粒度梯度钳制之前（蓝色）和之后（橙色）的LLM损失比较
结语：从架构优化到开放部署，模型能力走向真实任务
回看Step 5 Preview的技术设计，从92层窄深架构，到Sparse GQA，再到深层网络的训练稳定性优化，这些选择分别对应着模型推理、长上下文处理和训练工程中的不同问题。它们并非某一项单点技术的突破，而是一系列围绕模型能力与实际运行效率展开的设计取舍。
放到当下的大模型行业，参数、榜单分数只是入门门槛。模型只有扛得住开发者反复调试，方便企业大规模部署，并且能顺利接入真实业务流程，它的能力才能转化为看得见的生产力。
Step 5 Preview从两条路径推进落地：面向开发者，官方放出BF16、FP8两种精度权重，同步上线Hugging Face与ModelScope；面向普通使用者，模型接入腾讯WorkBuddy开放为期两周的免费试用。
两条渠道并行，让阶跃星辰的覆盖人群，从Agent开发者延伸到办公用户和有本地部署需求的研发人员。
对Step 5 Preview来说，模型权重开放也意味着这些技术设计将接受更多真实部署环境和复杂任务的检验，也让阶跃在架构与训练上的技术探索，有机会进入更广泛的实际应用场景。
模型能力的竞争仍在继续，但比拼的已不只是模型本身。如何让前沿模型的能力真正走进实际应用，或许是下一阶段大模型竞争中更值得关注的问题。