首个产业级 2Bit 量化新突破，腾讯混元推出 0.3B 端侧模型
金十数据 2 月 10 日讯，基于首个产业级 2Bit 端侧量化方案，腾讯混元今天正式推出一款面向消费级硬件场景的“极小”模型 HY-1.8B-2Bit，等效参数量仅有 0.3B，内存占用仅 600MB，比常用的一些手机应用还小。通过对此前混元的小尺寸语言模型——HY-1.8B-Instruct 进行 2 比特量化感知训练（QAT）产出，这一模型对比原始精度模型等效参数量降低了 6 倍，并且在沿用原模型全思考能力同时，在真实端侧设备上对比原始精度模型生成速度提升 2—3 倍，可大幅提升使用体验。此次腾讯混元推出 HY-1.8B-2Bit 模型，可以在边缘设备上无压力部署。这也是首个在实现 2bit 产业级量化的端侧模型实践。
金十数据 2 月 10 日讯，基于首个产业级 2Bit 端侧量化方案，腾讯混元今天正式推出一款面向消费级硬件场景的“极小”模型 HY-1.8B-2Bit，等效参数量仅有 0.3B，内存占用仅 600MB，比常用的一些手机应用还小。通过对此前混元的小尺寸语言模型——HY-1.8B-Instruct 进行 2 比特量化感知训练（QAT）产出，这一模型对比原始精度模型等效参数量降低了 6 倍，并且在沿用原模型全思考能力同时，在真实端侧设备上对比原始精度模型生成速度提升 2—3 倍，可大幅提升使用体验。此次腾讯混元推出 HY-1.8B-2Bit 模型，可以在边缘设备上无压力部署。这也是首个在实现 2bit 产业级量化的端侧模型实践。
