乐鱼体育世界杯中国官网首页 面壁智能斡旋清华等开源中国首个基于华为昇腾磨练的 1.58-bit 端侧大模子 BitCPM-CANN

来源:乐鱼体育世界杯中国官网首页 作者: 发布时间: 浏览:76

乐鱼体育世界杯中国官网首页 面壁智能斡旋清华等开源中国首个基于华为昇腾磨练的 1.58-bit 端侧大模子 BitCPM-CANN

IT之家 5 月 25 日音书,面壁智能斡旋清华大学、OpenBMB 开源社区,今天负责发布并开源其在低比特大模子磨练标的的最新后果 ——BitCPM-CANN。

官方暗示,这是中国首个十足基于国产算力平台(华为昇腾)扫尾端到端磨练并开源的三值(1.58-bit)大模子。从量化算子、磨练算法到全链路框架,BitCPM-CANN 均在华为昇腾上原生完成,包含 0.5B、1B、3B、8B 四个模子尺寸,与同尺寸 MiniCPM4 全精度家眷逐项对照评测,性能弘扬优异。

米乐体育app2026世界杯中国官方下载

比拟传统 BF16 精度,BitCPM-CANN 在推理阶段开释约 6 倍显存红利,同期将模子时间保留率看守在 90%–97.2%。

官方暗示,乐鱼·体育世界杯(中国)官方网站敌手机产业来说,6 倍的显存红利意味着,一个 8B 参数的 BitCPM-CANN 大模子,不错平静启动在现时主流旗舰手机之上。

此外,面壁智能基于 MindSpeed × Megatron-LM 骨干搭建了齐备的低比特磨练底座乐鱼体育世界杯中国官网首页,包含环境适配、32K 长序列因循、并行战略、交融算子等齐备工程体系。从此,扫数面向昇腾的低比特磨练职责,都可开荒在吞并套世界基础花样之上。

BitCPM-CANN 0.5B / 1B / 3B / 8B 全系列模子权重现已开源,IT之家附王人集如下:

]article_adlist-->   声明:新浪网独家稿件,未经授权禁锢转载。 -->