小红书、北大开源面向大规模 MoE 训推的负载均衡方案 UltraEP
金十数据 7 月 20 日讯，小红书发文宣布其与北大提出 UltraEP，首次把基于“精确”路由信息的“实时”负载均衡引入生产系统：在每个 microbatch 和每一层动态复制热点专家，让真实训推也能逼近理想性能。据小红书方面介绍，UltraEP 平均达到理想性能的 94.3%，相比业界 SOTA 训推框架提升 1.49 倍，并应用在了大规模预训练的实际生产中。