把大模型放在手机里跑的愿望就快要实现清华、

　　ng 层和 Lm_head 层除表）转化为低精度透露完毕空间压缩模子量化重要通过把模子的 nn.Linear 层（Embeddi。作 [1此前工,（RTN）技巧把高精度浮点数近似照射到相近的整数网格2] 的基本是运用 Round-To-Nearest。被透露这能够成

　　在即，文：把大模子压缩到 1.0073 个比特时清华大学和哈尔滨工业大学连合公布了一篇论， 83% 的本能如故能使其仍旧约！

　　此因，向量以抵偿因为量化导致的精度牺牲作家引入两个 FP16 花样的值。原始权重矩阵的高秩这种策画不单仍旧了，供了需要的浮点精度况且通过值向量提，熬炼和常识转移有帮于模子的。线性层的构造比拟如下图1bit 线 高精度：

　　在即，arXiv 上的论文为冲破这一阻挠带来了生机一篇由清华大学、哈尔滨工业大学协作揭橥正在 ，惹起了不幼的眷注正在国表里学术圈。ggingface 的热门论文这篇论文也正在一周前登上 hu，荐师 AK 推举并被知名论文推。bit 这一量化级别磋议团队直接越过 2，bit 量化的实验斗胆地实行了 1，磋议中尚属初度这正在模子量化的。

　　FP16 精度模子构造左侧的 (a) 是 ，neBit 框架的线性层右侧的 (b) 是 O。见可，it 框架中正在 OneB， 仍旧 FP16 花样只要值向量 g 和 h，部由 ±1 构成而权重矩阵则全。顾了精度和秩如许的构造兼，的研习经过很居心义对保障不乱且高质料。

　　几类幼模子的空间占用和本能牺牲图 4 - 图 6 还比拟了，ythia-1.0B 和 TinyLLaMA-1.1B它们是通过分别的途径得回的：搜罗两个富裕熬炼的模子 P，k Llama 和 OneBit-7B以及通过低秩理解得回的 LowRan。看出能够，最幼的均匀位宽、占用最幼的空间虽然 OneBit-7B 有，然优于不逊于其他模子它正在常识推理本领上仍。时指出作家同，面对较主要的常识遗忘模子正在社会科学规模。来说总的，映现出了实在质使用价格OneBit-7B 。 所映现的正如图 7，MA-7B 模子过程指令微调后OneBit 量化后的 LLa，的文本天生本领映现出了贯通。

　　采选上正在模子，LaMA-1/2 分别系列的模子来证据 OneBit 的有用性作家也采选了从 1.3B 到 13B 分别巨细、OPT 和 L。目标上正在评议，狐疑度和常识推理的 Zero-shot 确凿度作家沿用了以往模子量化的两大评议维度：验证集的。

　　 SVID 的参数初始化技巧和基于量化感知常识蒸馏的常识转移OneBit 的技巧框架搜罗全新的 1bit 层构造、基于。

　　不不乱、收敛穷困的题目二值搜集集体面对熬炼。的高精度值向量得益于作家引入，向筹划均浮现的至极不乱模子熬炼的前向筹划和后。出 1bit 模子构造BitNet 更早地提，的高精度模子中转移本领但该构造很难从富裕熬炼。9 所示如图 ，试 BitNet 的转移研习本领作家实验了多种分别的研习率来测，下其收敛难度较大涌现正在教授教导，Bit 的不乱熬炼价格也正在侧面证据了 One。

　　竟若何？作家正在论文中给了一个筹划OneBit 对模子的压缩幅度究。096 的线性层实行压缩假设对一个 4096*4，96*4096 的 1bit 矩阵那么 OneBit 需求一个 40，的 16bit 值向量和两个 4096*1 。位数为 16这内里总的,089,882，数为 16总的参数个,857,084，1.0073 个 bit均匀每个参数占用仅仅约 。幅度是空前的如许的压缩，SVID 初始化量化模能够说是线. 基于 型

　　通过常见的矩阵理解体例完毕这里的秩 - 1 近似能够，和非负矩阵理解（NMF）比如古怪值理解（SVD）。后而，过调换运算步骤来和 1bit 模子框架相完婚作家正在数学上给出这种 SVID 技巧能够通，参数初始化进而完毕。且并，程中确实起到了近似原矩阵的功用论文还证据了符号矩阵正在理解过。

　　表此，模子也许采用什么构造实行过探寻此前的磋议中也曾对 1bit 。gn (・) 函数并转为 + 1/-1 来完毕 1bit 透露几个月前的做事 BitNet [3] 通过让模子参数通过 Si。重、熬炼经过不不乱的题目但这一技巧存正在本能牺牲苛，实质使用束缚了其。

　　熬炼强基线 LLM-QAT 和最新的 2bit 权重量化强基线 OmniQuant 实行了比力OneBit 与 FP16 Transformer、经典的熬炼后量化强基线 GPTQ、量化感知。表此，it 权重量化的磋议因为目前还没有 1b，框架运用了 1bit 权重量化作家只对自身的 OneBit 太平洋在线2bit 量化修树而对其他技巧选取 ，「以弱胜强」属于典范的 。

　　指出作家，途径也许是量化感知熬炼 QAT管理大模子超低位宽量化的有用。t 模子构造下正在 OneBi，未量化模子中研习通过常识蒸馏从，化模子的转移完毕本领向量。体地具， 和 hidden state 的教导学生模子重要授与教授模子 logits。

　　型更好地初始化量化后的模子为了运用富裕熬炼好的原模，的常识转移成就进而鼓励更好，参数矩阵理解技巧作家提出一种新的，的矩阵理解（SVID）」称为 「值 - 符号独立。把符号和绝对值离开这一矩阵理解技巧，秩 - 1 近似并把绝对值实行，的体例能够透露成其迫临原矩阵参数：

　　 「OneBit」作家提出的技巧称作，：把预熬炼大模子压缩到线bit极端贴切地描摹了这一做事的素质。1bit 透露的新技巧该论文提出了模子参数 ，数的初始化技巧以及量化模子参，熬炼模子的本领转移至 1bit 量化模子并通过量化感知熬炼（QAT）把高精度预把大模型放在手机里跑的愿望就快要实现。注脚尝试，度压缩模子参数的同时这一技巧或许正在极大幅，型起码 83% 的本能保障 LLaMA 模。

　　的末了论文，宽他日也许得磋议偏向作家还提倡了超低位。如例，技巧、更少的熬炼价值寻找更优的参数初始化，激活值的量化或进一步商讨。

　　火爆出圈往后自从大模子，型的志气从未消减人们对压缩大模。由于这是，面浮现出卓绝的本领固然大模子正在许多方，大提拔了它的运用门槛但清脆的的安排价值极清华、哈工大把大模型压缩到了1bit。于空间占用和筹划量这种价值重要来自。型的参数转化为低位宽的透露「模子量化」 通过把大模，空间占用进而俭省。前目，的情景下把已有模子压缩至 4bit主流技巧能够正在险些不牺牲模子本能。而然，化像一堵不行凌驾的高墙低于 3bit 的量，员望而却步让磋议人。

　　分别范围 LLaMA 模子的压缩比表 3 给出的是 OneBit 对。看出能够，的压缩比均赶上 90%OneBit 对模子，是空前未有的这一压缩本领。防卫的是此中值得，型增大跟着模， 的压缩比越高OneBit，这种不插足量化的参数占比越来越幼这是因为 Embedding 层。提到前文，越大模子，来的本能增益越大OneBit 带，t 正在更大模子上的上风这显示出 OneBi。

　　3bit 以下）存正在主要的精度牺牲题目然而基于 RTN 的技巧正在极低位宽时（，力牺牲至极主要量化后的模子能。别是特，1bit 透露时量化后参数以 ，和零点 z 会失落实质道理RTN 中的缩放系数 s 。法正在 1bit 量化时险些失效这导致基于 RTN 的量化方，留原模子的本能难以有用地保。

　　意的是值得注， 正在模子越大时OneBit，往越好成就往。是说也就，范围增大跟着模子，狐疑度低落上奏效甚微FP16 精度模子正在，浮现出更多的狐疑度降低但 OneBit 却。表此，超低位宽量化大概至极有需要作家还指出量化感知熬炼对付。

　　LMs 的权重矩阵压缩到 1bitOneBit 的终极方针是将 L。值只可用 1bit 透露线bit 央浼每个权重，也许的状况即只要两种。以为作家，的参数中正在大模子，都务必被商讨进来有两个紧急成分，度和参数矩阵的高秩那即是浮点数的高精。

　　会导致必定的本能牺牲固然超低比特量化也许，8 所示但如图 ，间到达了优异的平均它正在巨细和本能之。以为作家，巨细至极紧急压缩模子的，备上安排模子时特地是正在搬动设。

　　指出作家，至 1bit 后当模子参数压缩，元素乘」将不复存正在矩阵乘法中的 「，的 「位赋值」操作取而代之的是更疾捷，升筹划效力这将大大提。紧急道理正在于这一磋议的，bit 量化的范围它不只越过了 2，机上安排大模子成为也许也使正在 PC 和智好手。

　　 比拟于其他技巧正在 1bit 量化时的上风表 1 和表 2 映现出了 OneBit。证集的狐疑度而言就量化模子正在验，P16 模子最为靠拢OneBit 与 F。hot 确凿度而言就 Zero-s，型的个人数据集表除 OPT 模，型险些赢得了最佳的本能OneBit 量化模。两种评议目标上显现较大的牺牲其余的 2bit 量化技巧正在。

　　表此， 量化模子正在筹划上的上风作家还指出了 1bit。纯二进造的因为参数是， 1bit 内透露能够用 0/1 正在，俭省大宗的空间这毫无疑难地。相乘能够被造成高效的位运算高精度模子中矩阵乘法的元素，就能够实现矩阵乘积只需位赋值和加法，使用远景极端有。