【新智元导读】原生1bit大模型BitNet b1.58 2B4T再升级！微软公布BitNet v2，性能几乎0损失，而占用内存和计算成本显著降低。
即使将权重量化到1.58位，也能在极大降低推理成本（延迟、内存占用、吞吐量、能耗）的同时，保持与全精度模型相当的性能。
BitNet v2框架，首次实现对1比特LLMs的原生4比特激活值量化。
针对注意力机制和前馈网络中激活值的异常分布问题，在激活值量化前，H-BitLinear模块施加在线Hadamard变换（Hadamard transformation）。
这种变换能将尖锐的激活值分布转化为更接近高斯形态的平滑分布，从而适配低比特表示。
得益于下一代GPU（如GB200）等硬件的进步，深度学习领域正迅速采用量化和低比特推理技术。
然而，尽管BitNet b1.58将权重量化为1.58比特，缓解了内存带宽瓶颈，但它的激活值仍保持8比特精度。
实现更低比特宽度的激活值对于最大化硬件利用率至关重要，尤其是在批处理推理场景中，高效的内核设计尤为重要。
虽然注意力机制和前馈网络（FFN）层的输入通常呈现类高斯分布，适合量化，但中间状态（最终投影前的输出）往往包含显著的离群值，阻碍了激进的低比特量化。
图1下半部分：注意力层中输出投影Wo和前馈网络中下投影Wdown的激活分布情况
尽管性能损失较小，但稀疏化并不适合批处理推理场景的最大吞吐量需求，因为硬件更倾向于密集计算以提升效率。
为弥合这一差距并充分发挥1.58比特LLM在4比特计算中的潜力，研究团队提出了BitNet v2框架，实现了模型全流程的原生4比特激活值，框架核心创新是H-BitLinear。
BitNet v2模型基于类似LLaMA的组件构建，包括RMS归一化、SwishGLU激活函数，并完全移除了偏置项（bias）。
与先前的BitNet相比，BitNet v2在注意力模块的输出投影Wo和前馈网络（FFN）的下投影Wdown中，引入了H-BitLinear模块，以专门处理中间状态中出现的异常通道（outlier channels）。
随后，在保持权重量化不变的基础上,将所有线性层（除输入/输出embedding外）进一步微调为4位激活（INT4）。
注意力层和前馈网络中前置线性变换的输入激活，通常呈现高斯分布，较适合量化；
而注意力输出（Wo）和FFN下投影（Wdown）的中间状态激活，则往往包含大量离群通道（outlier channels），且大部分值集中于0附近，严重影响低位量化精度。
H-BitLinear可以取代注意力机制输出投影和FFN下投影的标准线性层。
H-BitLinear在激活量化前应用在线哈达玛变换），把中间状态中尖锐、易产生离群值的分布重塑为更易处理的类高斯分布，显著减少1.58比特模型中离群值的影响。
它的特点是每个元素只能是+1或-1，并且每行（或每列）之间的内积为0，表示彼此正交。
如图2和图3所示，引入Hadamard变换后，中间状态的分布更加接近高斯形态。
图3：采用8比特激活值时，BitNet b1.58与BitNet v2在前馈网络Wdown层和注意力机制Wo层的激活值分布对比。
对于8位激活（INT8）和4位激活（INT4）量化策略，分别采用下列策略：
研究团队从头开始使用8比特激活值训练BitNet v2，与BitNet b1.58相比性能损失微乎其微。
实验表明，4比特BitNet v2变体在性能上与BitNet a4.8相当，但在批处理推理场景中提供更高的计算效率。
此外，与后训练量化方法SpinQuant和QuaRot，则几乎全面领先。
在注意力机制和前馈网络（FFN）层的量化前引入哈达玛变换后，模型的困惑度（perplexity）下降极小。
对于8比特激活值，BitNet v2相较于BitNet b1.58表现出更高的性能，在1.3B、3B和7B模型规模上，终端任务的平均准确率分别提升了0.16%、0.49%和0.61%。
此外，BitNet v2支持所有线比特激活值，从而显著提升了批处理推理的效率。
在使用INT4（4比特整数）激活值时，BitNet v2的困惑度与BitNet a4.8相当，同时在3B和7B模型的下游任务中展现出更优的性能。
表2和表3分别总结了BitNet v2（8比特激活，a8）和BitNet v2（4比特激活，a4）在低比特注意力机制下的详细结果。
如表2和表3所示，采用3比特KV缓存的BitNet v2在3B和7B模型上的准确率与使用全精度KV缓存的模型相当。
表2：BitNet v2在终端任务上的零样本准确率，其中激活使用8位，而QKV状态的位宽则有所不同。
表3：BitNet v2在终端任务上的零样本准确率，其中激活使用4位，而QKV状态的位宽则有所不同。
BitNet v2 (a4)与主流的后训练量化基线方法进行了对比，包括SpinQuant和QuaRot，在1.3B参数规模的模型上进行了评测。
随后，这两种方法分别采用GPTQ和absmax策略，将权重和激活量化到4位。
由于BitNet b1.58沿用训练时使用的absmean函数进行权重量化，而非使用GPTQ。
另外，在Hadamard变换对不同模型尺寸（1.3B和3B）影响的实验（见表5）中，研究者发现：
引入Hadamard旋转（无论是权重+激活，还是仅激活），都能显著稳定低位训练，并提高最终准确率。
05月26日，福建非遗项目集中亮相世界汉学家大会，日博体育app官网下载，龙8游戏app手机网页版登录pt，澳门威尼斯登陆，ag8线日，“一人食”爆火的背后，亚美体育app官网，必威官网登录，芒果体育平台，龙域游戏大厅
05月26日，春运期间东航加大在湖北市场运力投放，365bet体育注册开户，牛牛抢庄什么意思，皇冠国际app安卓下载安装，云顶在哪里玩
05月26日北京八达岭石峡关谷环长城越野赛开跑 1200名国内外选手参赛明升体育注册英皇国际升级版本火狐体育官网iOS下载新澳门赌盘
05月26日北方大部升温显著华北最高温直逼20℃ 南方13日起迎大范围阴雨必威网址在哪找万利国际登录注册金莎9娱乐app下载官网威尼斯手机端
05月26日中新健康丨中国专家揭秘高龄供体心脏移植效果欠佳原因及解决之道im体育手机版注册博狗英亚官网下载bet366官网网址……
05月26日，纪念中马“乒乓外交” 马来西亚马六甲举办乒乓交流会，巴黎人彩世界是骗局吗，亿博登录，巴黎人在线，火狐体育官方
05月26日，贵州首趟中老跨境货物列车汽车专列发车，足彩大赢家，现金网注册送钱28，18luck体育登录，im电竞官方网站
05月26日福建福州：数字技术助力“建筑医生”把脉文物188宝金博体育沙巴体育足球外围网AG捕鱼官网天美棋牌新版官网
05月26日，陕西甘泉岳屯水库：一半冰封一半灵动 尽显冬日美景，AG亚洲游戏国际平网址，24k88平台，188体育正规网络，bg平台怎么样
05月26日，受贿1.08亿余元！广东省人大常委会原副主任陈如桂一审被判无期，爱博体育APP下载，环探体育下载app地址，下载威尼斯人全站app，AG平台捕鱼技巧
05月26日，尊宪崇法｜人民网评：坚定宪法自信 走好自己的路，下载就送体验金，欧博官网会员注册，AG asia gaming国际，亚洲赌场网址
05月26日西安市鄠邑区太平国有生态林场首次发现金钱豹ob体育官网app下载爱游戏app下载地址ag真人是真是假imsport体育下载
05月26日暴雨导致内涝 广东消防已营救转移被困群众1534人买球赛怎么玩必赢亚洲网站下载app阳明国际真人密室逃脱网络游戏家族排行榜
05月26日李鸿忠出席中国－葡语国家经贸合作论坛（澳门）第六届部长级会议开幕式九州体育在线买球在线真人斗地主真人德州进不去沙巴体育娱网
耗资20亿的古城 日均卖票不到20张，RNG战胜UP2023年安徽省粮食产量830.16亿斤 再创新高千亿国际网站多少澳门电子游戏平台下载伟德体育官网登录凯时国际娱乐网站
最美不是下雨天而是有人撑伞的遇见，广州塔再次为全红婵亮灯打call青春赋能乡村振兴 南京建起青年与乡村双赢纽带凯发娱乐登录网页版kok网页登录普京网络场赌真人AG是什么游戏
传统文化引领文旅消费新潮，中国篮协：结束与乔尔杰维奇合作西藏岗巴县岗巴镇雪村：过上喜气“羊羊”的好日子亚美体育下载官网诸神皇冠官网下载优博在线登录BOB体育官方
LV大秀明星生图，姜萍进博会在马来西亚举办推介会bd半岛·体育奥博平台怎么样知乎英皇体育买球威尼斯人官网是多少
小米集团股价大涨，超自然武装当哒当中国积极财政政策将重点从六个方面发力亚协体育官网bepkay体育官网手机买球APP下载环亚手机版app
黄博凯创造中国撑杆跳最佳成绩，山西大同左云县3.0级地震中美禁毒合作工作组启动 外交部：恢复中美禁毒合作进展来之不易英皇体育入口贝博平台登录澳门电子游戏app必威手机版官网登录
云南昭通市一干部主动投案，费沁源退出SNH48大陆居民赴金、马旅游热情高 国台办将续推赴岛内团体旅游和记娱乐手机版新沙巴体育手机赌博送28元现金平台网站