中关村论坛由趋境科技与九源智能计算系统生态联合体主办的研讨会上,郑纬民院士表示未来的智能基础设施应围绕 Token 即服务(TaaS)进行重构,一是全系统异构协同,不同计算任务合理分配至 GPU、CPU、内存和 SSD,打破算力瓶颈;二是存算协同实现“以存换算”,通过前置 KV Cache 等技术,大幅降低重复计算量,提升推理效率;三是面向 SLO 的智能调度,精准地将用户业务需求“翻译”为底层资源决策。(界面)
 
 
Back to Top