面壁智能开源中国首个昇腾原生1.58比特端侧大模型BitCPM CANN

5月25日,面壁智能联合清华大学、OpenBMB开源社区开源BitCPM CANN,这是中国首个完全基于华为昇腾平台端到端训练并开源的1.58比特三值端侧大模型,推理阶段相比传统BF16精度释放约6倍显存。

BitCPM CANN包含0.5B、1B、3B、8B四个模型尺寸,与同尺寸MiniCPM4全精度家族对照评测,模型能力保留率维持在90%至97.2%。具体来看,据面壁智能公布数据,1B、3B和8B版本性能保留率分别为97.1%、97.2%和95.7%,0.5B版本保留率为90.1%。该模型采用量化感知训练技术路线,从训练初始阶段让模型主动学习用1.58比特的三值权重承载知识,将权重限制在负1、0、1三个值。在昇腾910B上,该模型量化训练吞吐为148 TFLOPs,对比全精度155 TFLOPs,额外计算开销约4.5%。训练底座基于MindSpeed与Megatron LM搭建,包含环境适配、32K长序列支持及融合算子。全系列模型权重已在HuggingFace和ModelScope开源。极低位宽量化将模型权重压缩6至8倍,4GB内存能放置16B模型,配合MoE与激活范围约束能放置32B,若内存扩大到8GB,模型参数可扩大到60B。

全球半导体供应链变动推高了终端设备的存储成本。据高盛报告指出,受AI服务器需求爆发影响,2026年存储价格预期上调,DRAM涨幅250%至280%,NAND涨幅200%至250%。面壁智能AI Infra负责人李宇轩表示,内存价格在过去一年内翻了约5倍,手机及终端厂商在产品迭代中存在显存焦虑,行业对于模型内存尺寸的要求更加严格,牵引Infra方向向更节约内存的路线优化。

此前在5月23日的华为鲲鹏昇腾开发者大会(KADC 2026)上,BitCPM CANN已完成首次技术亮相。

一个8B参数的BitCPM CANN大模型当前可运行在主流旗舰手机上。

市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

来源:市场资讯

发布于:北京市