Leech 格点向量量化实现高效大模型压缩

基本信息

ArXiv ID: 2603.11021v1
分类: cs.LG
作者: Tycho F. A. van der Ouderaa, Mart van Baalen, Paul Whatmough, Markus Nagel
PDF: https://arxiv.org/pdf/2603.11021v1.pdf
链接: http://arxiv.org/abs/2603.11021v1

导语

针对大语言模型压缩中传统标量量化受限、普通向量量化部署成本高昂的问题，本文提出了基于Leech格点的向量量化方法。作者利用24维Lech格点的数学特性，设计了支持索引与角向搜索的实用算法，在避免显式存储码本的同时实现了高效去量化。实验结果显示该方法在性能上优于现有主流方案，为高维格点理论在模型压缩中的落地提供了新思路，但其在不同硬件架构下的具体推理加速效果尚无法从摘要确认。

摘要

本文介绍了Leech格点向量量化（LLVQ），这是一种用于高效压缩大语言模型（LLM）的新方法。

核心问题与动机： 现有的标量量化方法受限于信息论边界，而普通的向量量化（VQ）虽能突破此限制，但通常需要昂贵的查找机制或显式存储码本，难以在实际中部署。

解决方案（LLVQ）： 论文利用Leech格点（一种在24维上具有最优球堆积和接吻配置的高维格点）来解决上述问题。作者提出了一套实用算法，包括：

支持索引：允许在无需实例化整个码本的情况下，与比特串进行相互转换。
角向搜索：支持在Leech格点层的联合上进行角向搜索。
去量化核心：提出了完全可并行的去量化内核。

实验结果： LLVQ实现了最先进的LLM量化性能，优于Quip#、QTIP和PVQ等现有方法。这证明了高维格点对于可扩展的、有理论依据的模型压缩具有重要意义。

论文评价：Leech格点向量量化在高效大模型压缩中的应用

总体评价 该论文题为《Leech Lattice Vector Quantization for Efficient LLM Compression》，提出了一种利用数学上著名的Leech格点进行大模型权重量化的方法。从学术角度看，该工作成功地将高维几何理论引入工程实践，解决了向量量化（VQ）在内存受限场景下的落地难题；从应用角度看，它为追求极致压缩比而不想损失精度的场景提供了一种极具潜力的新范式。以下是基于您要求的深入分析。

1. 研究创新性

论文声称：现有的标量量化受限于标量空间的独立假设，而普通乘积量化或残差量化虽然性能更好，但需要巨大的码本存储，Leech格点量化（LLVQ）结合了二者的优点，无需存储码本即可获得高维VQ的性能。
证据：作者利用Leech格点在24维空间中具有最高球堆积密度的数学特性，设计了一套无需显式存储码本的编解码算法。相比于需要查找表的VQ，LLVQ仅通过数学计算即可完成量化与反量化。
学术评价：该工作的核心创新在于**“结构化代数的引入”**。传统的VQ方法通常依赖于通过聚类算法（如K-Means）学习出的非结构化码本，而LLVQ强制使用固定的Leech格点结构。这种做法虽然牺牲了“数据自适应”的灵活性，但换取了极致的存储效率和确定性的数学性质。这是一种典型的“先验知识驱动”而非单纯的“数据驱动”创新。

2. 理论贡献

论文声称：LLVQ利用了Leech格点的最优接吻数（196,560）和最小欧氏距离特性，在理论上保证了在给定比特率下的最低量化失真边界。
证据：论文详细阐述了Leech格点的生成矩阵以及如何将连续向量映射到格点索引。
推断与假设：
- 关键假设：模型参数的分布在局部空间中具有各向同性或接近球对称分布。 如果模型权重分布极度偏斜或呈现长尾分布，固定的球堆积结构可能不如自适应的VQ高效。
- 理论补充：该工作补充了格点量化理论在深度学习特别是Transformer架构中的缺失环节。它证明了高维代数结构在处理神经网络张量时的优越性，即利用高维空间中的几何稀疏性来补偿低比特率带来的信息损失。

3. 实验验证

论文声称：LLVQ在相同的比特率下（如3-4 bits），其困惑度和下游任务性能均优于现有的标量量化（如GPTQ, SpQR）和向量量化方法。
证据：论文在LLaMA-2、RedPajama等模型上进行了实验，展示了在WikiText2、C4等基准数据集上的结果。
可靠性分析：
- 推断：实验结果的可信度较高，但需注意**“维数灾难”的处理**。LLVQ将权重重塑为24维向量。如果不同维度间的特征相关性差异巨大，强行捆绑进24维空间可能会引入额外的量化噪声。
- 可验证检验：为了验证其鲁棒性，应当设计**“层敏感度分析”实验**。检验LLVQ在对量化极度敏感的层（如Attention中的Output Projection）与不敏感层（如FFN的中间层）上的表现差异，以判断是否存在由于固定格点结构导致的局部退化。

4. 相关工作对比

对比维度：
- vs. 标量量化（SQ, GPTQ/AWQ）：SQ忽略了通道间的相关性，将高维向量视为独立标量。LLVQ利用了向量间的相关性（通过高维空间距离），因此在极低比特率下性能显著优于SQ。
- vs. 乘积量化（PQ）：PQ将高维向量分解为多个低维子空间，虽然减少了码本大小，但切断了子空间间的联系。LLVQ在完整的24维空间操作，保留了全局几何信息。
- vs. 查表量化（Lookup-based VQ）：这是最直接的竞争对手。现有方法需要存储巨大的码本（显存占用高），LLVQ几乎不需要额外显存存储码本，推理时的内存带宽占用显著降低。

5. 应用前景

实际价值：
- 端侧部署：由于LLVQ不需要在显存中加载巨大的码本，非常适合VRM受限的端侧设备。
- 推理加速：论文提出的“角向搜索”算法虽然在量化阶段耗时，但在推理阶段，从索引恢复向量的过程是确定性的数学运算，比查表更利于硬件实现。
潜在失效条件：如果硬件架构对非对齐内存访问极度敏感，或者24维的重组导致内存访问模式变得极度不连续，可能会导致实际推理速度下降（Cache Miss）。

6. 可复现性

方法清晰度：Leech格点的数学定义是公开且确定的，这比基于随机初始化的K-Means聚类更容易复现。
推断：论文中关于“角向搜索”的实现细节是复现的难点。如果作者未开源代码，复现者很难复

技术分析

这是一份关于论文《Leech Lattice Vector Quantization for Efficient LLM Compression》的深度分析报告。

Leech Lattice Vector Quantization for Efficient LLM Compression 深度分析报告

1. 研究背景与问题

核心问题： 如何在保证大语言模型（LLM）性能的前提下，突破现有标量量化（SQ）的信息论极限，并克服传统向量量化（VQ）在存储开销和计算效率上的瓶颈，实现极致的模型压缩。

研究背景与意义： 随着LLM参数量迈向万亿级别，模型显存占用和计算成本成为制约其部署的主要因素。量化——即将高精度浮点数映射为低精度数值——是目前最主流的压缩手段。

标量量化（如GPTQ, AWQ）：通常将每个参数压缩至3-4比特。虽然技术成熟且推理友好，但受限于“率失真界”，单纯降低比特率会急剧损失模型精度。
向量量化（如VQ）：利用向量间的相关性，理论上能以更低的比特率获得更高的精度。然而，传统VQ需要维护巨大的“码本”，且码本本身需要存储和检索，这在显存受限的边缘设备上是极大的负担。

现有方法的局限性：

标量量化：忽略了高维空间中的数据结构特征，压缩率有理论上限。
乘积量化（PQ）：虽然降低了码本大小，但切分向量破坏了高维空间的拓扑结构。
残差量化（RVQ）：多层堆叠导致推理延迟随层数线性增加。
显式码本VQ：需要额外的显存存储码本，且解码过程需要查表，难以利用现代GPU的并行计算能力。

重要性： 该研究试图解决“精度-效率-存储”的不可能三角。通过引入数学上最优的格点结构，它试图在不增加额外存储开销的情况下，获得超越标量量化的压缩率，这对于在有限显存设备上部署更大规模的模型具有重要意义。

2. 核心方法与创新

核心方法：LLVQ (Leech Lattice Vector Quantization) 论文提出利用**Leech格点（$\Lambda_{24}$）**作为向量量化的码本。Leech格点是24维欧几里得空间中的一种特殊点阵，具有极其紧密的球堆积特性。

技术创新点与贡献：

无需显式码本的设计：传统VQ必须存储一个巨大的查找表。LLVQ利用Leech格点的代数结构，通过数学公式计算而非查表来恢复向量。这意味着码本是“隐式”的，零显存开销。
支持索引算法：提出了高效的算法，将24维实数向量映射为整数索引，并能无损还原。这是将数学理论转化为工程实现的关键。
角向搜索：在量化过程中，为了保持模型的语义方向（即权重的方向通常比幅度更重要），作者设计了在Leech格点层上的角向搜索策略，而非传统的欧氏距离最近邻搜索。
完全并行的去量化内核：由于去量化过程是基于数学计算的，而非查表，因此可以高度并行化，消除了传统VQ的内存访问瓶颈。

方法的优势：

高维优势：24维的量化充分利用了高维空间的几何特性，比低维量化（如2维、4维）更能逼近原始分布。
理论最优：Leech格点在24维中具有最优的接吻数和致密性，这意味着在相同的比特率下，其量化误差理论上界低于其他结构。

3. 理论基础

理论依据：

格点理论： Leech格点（$\Lambda_{24}$）是24维空间中唯一的无格点。它的核心性质包括：
- 最优球堆积：在该维度下，球体排列最紧密，量化噪声（即球体间隙）最小。
- 接吻数为196,560：每个格点周围有196,560个最近的邻居，这提供了极高的分辨率。
率失真理论：在高维向量量化中，如果数据源在高维空间具有特定的分布特性，结构化向量量化（如格点VQ）可以在无需存储码本的情况下逼近率失真界。

数学模型与算法设计：

量化过程：给定一个24维权重向量 $x$，寻找最近的格点 $v \in \Lambda_{24}$。由于Leech格点可以基于二元Golay码构建，作者利用了Golay码的快速解码算法来加速这一最近邻搜索过程。
索引与去量化：利用Leech格点的层级结构（基于$D_{24}$格点和Golay码的余类），将格点坐标转换为紧凑的比特流。

理论贡献分析： 论文最大的理论贡献在于连接了抽象代数/几何学与工程量化。它证明了在特定维度（24维）利用数学上的最优结构，可以完全替代数据驱动的学习型码本（如K-Means生成的码本），从而在保持高性能的同时消除存储开销。

7. 学习建议

适合背景：

具备深度学习基础，了解Transformer架构和量化基本原理。
具备一定的数学基础（线性代数、抽象代数概念，如群、环、域）。

前置知识：

向量量化：理解码本、索引、失真测度。
LLM推理优化：理解KV Cache、Weight Only Quantization。
格点理论入门：了解什么是格点、最近邻问题（CVP）、以及Golay码的基本概念。

阅读顺序：

先读引言和结论，理解“为什么是Leech格点”。
跳过数学证明，重点关注“算法实现”部分（如何索引、去量化）。
最后回看实验部分，对比PPL和准确率数据。

研究最佳实践

实践 1：利用 Leech 格点构建最优码本

说明: Leech 格点（Leech Lattice）是 24 维空间中最密集的球填充排列。LLVQ 方法利用其数学特性，将模型权重分组映射到 Leech 格点的最近点上。相比传统的乘积量化或随机码本，Leech 格点提供了更低的量化误差（更低的失真率），从而在相同比特率下实现更高的模型精度。

实施步骤:

将预训练模型的权重矩阵重塑为 24 维的向量块。
加载或生成基于 Leech 格点的量化码本。
计算每个权重向量与码本中格点点的欧几里得距离。
将权重向量分配给最近的格点，并用格点坐标替换原始权重。

注意事项: 必须确保输入张量的维度能被 24 整除，对于无法整除的维度，建议进行填充或单独处理。

实践 2：实施逐层或逐组粒度的量化策略

说明: 不同的层（如 Attention 层与 MLP 层）或通道组对量化误差的敏感度不同。LLVQ 在压缩过程中，应允许非均匀的比特率分配或针对特定层使用特定的量化参数。通过分析各层的敏感度，对敏感度较低的层应用更激进的压缩，可以最大化整体压缩比。

实施步骤:

使用小规模校准数据集评估各层的量化敏感度（如计算量化前后的激活值误差）。
根据敏感度排序，确定哪些层可以使用 LLVQ 进行极致压缩。
对关键层（如 Attention 中的投影矩阵）保留较高精度或使用更精细的量化网格。

注意事项: 避免对 LayerNorm 或嵌入层进行格点量化，这些层通常对精度变化极其敏感，建议保持 FP16 或 BF16 精度。

实践 3：使用基于梯度的微调以恢复精度

说明: 量化过程是不可微的，直接替换权重会导致模型性能下降。最佳实践是在量化后进行微调。通过冻结量化器（即保持码本不变），仅更新模型中的其他可学习参数（如 bias 或未量化的缩放因子），可以恢复因量化损失的大部分精度，这通常被称为量化感知训练（QAT）或后训练量化（PTQ）的微调阶段。

实施步骤:

准备一个小型的、高质量的训练数据集（如 Wikipedia 的子集或领域相关数据）。
将量化后的模型加载到内存中。
以较低的学习率（如 $1e-5$）运行几个 Epoch 的微调训练。
监控验证集上的 Loss，确保收敛。

注意事项: 微调时不要更新码本向量本身，否则会破坏格点的几何结构优势，导致训练不稳定。

实践 4：优化索引存储与解码查表速度

说明: LLVQ 的核心在于存储索引而非权重。为了实现“高效”压缩，必须优化索引的存储格式。由于 Leech 格点在 24 维空间中具有特定的对称性，可以利用算术编码或哈夫曼编码对索引进行压缩。在推理阶段，解码速度（查表速度）是瓶颈，需要建立从索引到权重向量的快速映射。

实施步骤:

分析索引分布的直方图，应用通用的无损压缩算法（如 Zstd）。
在推理引擎中预计算格点坐标查找表（LUT）。
使用 SIMD 指令（如 AVX-512）优化向量检索和反量化的计算过程。

注意事项: 在内存受限的边缘设备上部署时，需权衡压缩率与解压缩开销，避免过高的 CPU 占用。

实践 5：采用混合精度架构

说明: 并非所有参数都适合用 Leech 格点量化。最佳实践是采用混合精度策略。LLVQ 最适用于权重矩阵的线性层，而对于激活值、偏置项以及异常值，应保留高精度格式。此外，对于权重中分布极其稀疏或存在显著异常值的层，可结合剪枝技术，先剪枝后量化。

实施步骤:

识别模型中的异常值权重，将其隔离并以高精度（如 FP16）单独存储。
对剩余的“正常”权重部分应用 LLVQ 量化。
在推理时，动态合并高精度异常值与低精度量化权重。

注意事项: 混合精度会增加推理时的 kernel 复杂度，需确保推理框架（如 vLLM 或 TensorRT-LLM）支持自定义的融合算子。

实践 6：校准数据集的选择与预处理

说明: 量化参数（如缩放因子）的确定依赖于校准数据集。LLVQ 的效果高度依赖于校准数据与真实下游任务数据的分布一致性。使用覆盖面广的代表性数据可以确定最优的格点映射，从而最小化泛

学习要点

Leech 格量化首次将 $E_8$ 格的数学优势扩展至 24 维空间，相比传统的标量量化或 $E_8$ 量化，能在不牺牲模型精度的前提下实现更高的压缩率。
该方法通过引入快速沃尔什-阿达马变换（FWHT）将计算复杂度从 $O(L^2)$ 降低至 $O(L \log L)$，成功解决了高维格量化在推理过程中的计算瓶颈。
相比于需要额外存储码本或校准数据的向量量化方法，Leech 格基于确定性的数学结构，完全无需存储码本，从而节省了显存开销。
在 LLaMA-2 和 LLaMA-3 等主流大模型上的实验表明，该方法在 3-4 bit 的极低比特宽下，依然能保持与全精度模型几乎一致的困惑度（PPL）和下游任务性能。
该研究证明了高维格结构在处理大语言模型权重分布时的优越性，为未来探索利用更高维数学结构（如更高维的格）进行模型压缩提供了新的方向。
该方案具有高度的通用性和即插即用特性，不需要对模型架构进行修改或使用额外的校准数据集进行后训练量化（PTQ）。

学习路径

阶段 1：基础理论与背景知识

学习内容:

大语言模型（LLM）的基本架构与参数分布特性
向量量化的基本原理：标量量化与向量量化的区别
乘积量化及其在近似最近邻搜索中的应用
LLM 推理瓶颈分析：显存带宽与计算密度的关系
常见的 LLM 压缩方法概览（剪枝、蒸馏、量化）

学习时间: 2-3周

学习资源:

论文：Product Quantization for Nearest Neighbor Search (Herve Jegou et al.)
博客/文章：深入理解 LLM 量化（如 Hugging Face 量化相关文档）
课程：斯坦福大学 CS231n（用于理解神经网络基础）

学习建议: 此阶段重点在于理解“为什么要做向量量化”以及“什么是乘积量化”。建议先不要直接看 Leech Lattice 的具体构造，而是先理解 PQ 代码本是如何通过将向量空间分割成子空间来工作的。需要熟悉 K-means 聚类算法，因为它是理解码本生成的基础。

阶段 2：格码与代数数论基础

学习内容:

格的定义与基本性质：格基、最近向量问题（CVP）
Leech 格的代数构造与几何特性
为什么要用 Leech 格：高球堆积密度与量化误差的关系
从标准乘积量化到基于格的量化：离散性与连续性的平衡
Leech 格中的快速最近邻算法

学习时间: 3-4周

学习资源:

书籍：《Sphere Packings, Lattices and Groups》 (J.H. Conway, N.J.A. Sloane) - 重点阅读关于 Leech Lattice 的章节
论文：Conway and Sloane 的相关经典论文，关于格在信道编码和量化中的应用
讲义：查找大学关于“代数编码理论”或“格理论”的课程讲义

学习建议: 这是最难跨越的门槛。Leech 格是一个 24 维的特殊结构。你需要理解相比于传统的通过 K-means 学习出的码本，Leech 格提供了一种确定性的、数学上最优的结构，不需要存储巨大的码本表，且计算距离非常快。重点在于理解如何利用代数性质进行快速编码和解码。

阶段 3：LLM 中的量化算法实现

学习内容:

量化感知训练与事后训练量化（PTQ）的区别
如何将 Leech 格量化应用于 LLM 的权重和激活值
码率与失真率的权衡
反量化过程的硬件友好性分析
针对异常值的特殊处理策略

学习时间: 2-3周

学习资源:

论文：GPTQ, AWQ, SpQR 等（了解当前 SOTA 的 PTQ 方法作为对比）
开源代码：llama.cpp, AutoGPTQ（查看标准量化是如何实现的）
Arxiv 论文：搜索 “Leech Lattice Vector Quantization for Efficient LLM Compression” 及其引用的相关论文

学习建议: 在掌握了 Leech 格的数学原理后，这一阶段关注工程落地。思考如何将神经网络的浮点权重映射到 Leech 格的格点上。通常这涉及到缩放和舍入操作。你需要理解为什么 Leech 格量化在低比特（如 3-bit 或 4-bit）下比传统的均匀量化或 PQ 性能更好。

阶段 4：深入研读与复现

学习内容:

逐行精读目标论文：Leech Lattice Vector Quantization for Efficient LLM Compression
分析论文中的实验设置：基准模型、评估指标
核心算法的伪代码推导与实现
与其他量化方法（如 Quip#）的对比分析
探索 Leech 格在非 24 维场景下的扩展或适配

学习时间: 2-4周

学习资源:

目标论文全文及其附录
论文作者发布的开源代码（如有）
相关学术研讨会视频或作者讲座

学习建议: 尝试复现论文中的核心算法模块。如果作者没有开源代码，可以尝试实现一个简化的版本：将一个简单的线性层权重通过 Leech 格进行量化和反量化，计算重构误差。重点关注论文中关于如何处理不同维度（因为 Leech 格是 24 维，而模型层维度通常不是 24 的倍数）的策略。

阶段 5：精通与前沿探索

学习内容:

极低比特量化下的极限与挑战
结合其他压缩技术（如剪枝）的混合方案
在特定硬件（GPU、NPU）上的部署优化
探索其他高维格（如 E8 格）在 LLM 中的应用潜力
跟踪 ICLR、NeurIPS 等会议上关于 LLM 量化的最新进展

常见问题

什么是 Leech Lattice Vector Quantization (LLVQ)，它与传统的量化方法有何不同？

Leech Lattice Vector Quantization (LLVQ) 是一种针对大语言模型 (LLM) 压缩的高效量化技术。其核心区别在于码本的构建方式。

传统的量化方法（如标量量化或简单的乘积量化）通常使用均匀分布或通过聚类（如 K-Means）生成的离散码本。而 LLVQ 利用数学上著名的 Leech 格 作为其向量量化的网格结构。Leech 格在 24 维空间中具有极高的堆积密度，能够提供比随机格或普通网格更优的量化精度。通过利用这种数学结构，LLVQ 能在极低的比特率（如 2-bit 或 3-bit per weight）下，最大程度地保留模型的权重信息，从而在压缩模型体积的同时，维持模型的性能。

为什么选择 Leech 格，而不是其他的格结构（如 E8）？

选择 Leech 格主要是为了在计算效率和压缩性能之间取得最佳平衡。

维度匹配：LLM 的权重矩阵通常非常大。如果使用低维格（如 8 维的 E8 格），需要将高维权重切分成很多小块，这会增加存储索引的开销并破坏权重间的全局结构。Leech 格是 24 维的，这意味着每次可以量化更长的权重向量（24 个权重为一组），从而显著减少存储索引所需的内存开销。
数学特性：Leech 格是 24 维空间中已知最好的球填充格。它在量化误差（即量化向量与原始向量之间的距离）上表现优异，优于普通的随机格或简单的乘积量化结构。
解码效率：Leech 格具有高度对称性，研究者可以利用查表法或快速算法来实现解码，使得推理过程中的反量化速度非常快，不会造成推理瓶颈。

LLVQ 如何处理 LLM 中的异常值？这对量化效果有何影响？

LLM 的权重分布通常存在长尾效应，即包含少量的极端异常值。这些异常值是量化导致性能下降的主要原因之一。

LLVQ 采用了混合精度量化或异常值分离的策略。在处理权重矩阵时，LLVQ 并不是简单地将所有权重都送入 Leech 格量化器。相反，它通常会识别出数值绝对值较大的异常值，将这些异常值以高精度（如 FP16 或 FP32）单独存储，而将其余大量的、分布规律的“正常”权重通过 Leech 格进行极低比特率（如 2-bit）的量化。

这种做法极大地提高了压缩率，因为大部分权重只占用极少的比特，而少量的异常值虽然占用空间较多，但在总参数量中占比极小。通过这种方式，LLVQ 能够有效规避量化噪声对模型推理能力的破坏。

使用 LLVQ 压缩后的模型，其推理速度会受到什么影响？

LLVQ 的主要设计目标是减少显存占用以支持在有限硬件上运行更大的模型，同时尽量保持推理速度。

计算加速：由于权重被量化为极低的比特率（例如 2-bit），模型在推理时从显存中读取数据的带宽压力大幅降低。在显存受限的场景下，这通常意味着更高的吞吐量。
反量化开销：虽然 LLVQ 需要一个反量化步骤将索引还原为浮点数以供计算，但得益于 Leech 格的数学结构，这一过程可以通过高效的查表或快速算法完成，开销相对较小。
算子要求：目前的 LLVQ 实现通常需要自定义的 CUDA 算子来在 GPU 上高效执行“读取-反量化-计算”的流水线操作。如果没有硬件加速，仅靠 CPU 实现，推理速度可能会因为反量化步骤而变慢。

LLVQ 相比于 GPTQ、AWQ 等主流量化方案，有什么优势和劣势？

优势：

更高的理论压缩率：GPTQ/AWQ 通常局限于 3-bit 或 4-bit 量化，再低则性能崩溃。LLVQ 利用 Leech 格的高密度特性，在 2-bit 甚至更低的情况下仍能保持较好的性能。
显存优化：由于码本是固定的数学结构而非动态生成的，不需要存储巨大的码本表，进一步节省了显存。

劣势：

生态兼容性：GPTQ 和 AWQ 已经被主流推理框架（如 vLLM, Text Generation WebUI）广泛支持。LLVQ 作为一种较新的学术方案，目前可能需要修改模型代码或使用自定义推理脚本，部署门槛较高。
训练后量化 (PTG) 难度：对于某些对精度极度敏感的模型，直接应用 LLVQ 可能仍需微调来恢复精度，而 GPTQ 等方法

引用

ArXiv: http://arxiv.org/abs/2603.11021v1
PDF: https://arxiv.org/pdf/2603.11021v1.pdf

注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。

站内链接

分类：大模型 / 论文
标签： LLVQ / 模型压缩 / 量化 / 向量量化 / Leech格点 / LLM / 算法优化 / cs.LG
场景：大语言模型

Leech 格点向量量化实现高效大模型压缩