首字延迟降低 3.6 倍,腾讯混元提出 Stem 稀疏注意力算法,长文推理加速新 SOTA
腾讯混元宣布提出 Stem 稀疏注意力算法,已被机器学习顶会 ICML-26 收录。根据 Stem 算法×HPC 算子的全栈加速方案,算法层面,Stem 通过 Token 位置衰减(TPD)和输出感知度量(OAM)实现 25%预算下的近无损精度;算子层面,HPC 开源的 Stem+BSA 算子将稀疏收益转化为真实硬件加速,128K 上下文下首字延迟降低 3.7 倍。
 
 
Back to Top