BiGain：面向生成与分类任务的统一Token压缩方法
基本信息
- ArXiv ID: 2603.12240v1
- 分类: cs.CV
- 作者: Jiacheng Liu, Shengkun Tang, Jiacheng Cui, Dongkuan Xu, Zhiqiang Shen
- PDF: https://arxiv.org/pdf/2603.12240v1.pdf
- 链接: http://arxiv.org/abs/2603.12240v1
导语
现有扩散模型加速方法通常侧重于维持图像生成质量，却往往牺牲了模型的判别能力，导致生成与分类任务间存在性能权衡。为此，本文提出了 BiGain，这是一种统一的 Token 压缩方法，旨在联合优化生成与分类性能。通过特定的压缩策略，该研究试图缓解上述任务冲突，但具体的技术细节与实验提升幅度无法从摘要确认。该工作为构建多任务兼容的高效扩散模型提供了新思路，未来或可应用于需要同时兼顾生成与识别的视觉系统。
摘要
以下是关于《BiGain: Unified Token Compression for Joint Generation and Classification》的总结：
核心问题： 现有的扩散模型加速方法（如Token合并或下采样）通常侧重于保持图像生成（合成）的质量，而往往牺牲了模型的判别能力（如分类精度），导致生成与分类任务之间存在性能权衡的矛盾。
解决方案： 本文提出了 BiGain，一个无需训练、即插即用的统一Token压缩框架。它旨在加速扩散模型推理的同时，兼顾生成质量与分类准确性。
核心原理： BiGain 的关键洞察是频域分离。它将特征空间的信号映射为频域感知表示，从而解耦了“高频细节”（边缘、纹理）与“低/中频语义”（全局结构）。通过平衡不同频率信号的保留，实现了生成与判别需求的统一。
主要技术组件：
- 拉普拉斯门控Token合并：根据频谱平滑度引导Token合并。鼓励合并平滑的Token（低频区域），同时阻止合并高对比度的Token（高频边缘），从而有效保留图像的细节纹理。
- 插值-外推KV下采样：对键值对进行下采样时，在最近邻池化和平均池化之间进行可控插值，同时保持查询不变。这种方法在减少计算量的同时，最大程度地保留了注意力机制的精度。
实验效果： 在 DiT 和 U-Net 等骨干网络及 ImageNet、COCO 等数据集上的实验表明，BiGain 在保持甚至提升生成质量（FID）的前提下，显著提高了分类准确率。例如在 Stable Diffusion 2.0 上合并 70% Token 时，分类精度提升了 7.15%，且 FID 改善了 1.85%。
意义： BiGain 是首个在加速扩散模型背景下，联合研究并提升生成与分类双重性能的框架，证明了“平衡的频谱保留”是Token压缩的可靠设计原则。
评论
以下是对《BiGain: Unified Token Compression for Joint Generation and Classification》一文的深度学术评价。本文针对扩散模型在生成与判别任务上的性能权衡问题，提出了一种基于频域分离的无训练Token压缩方案。
1. 研究创新性
- 论文声称：现有方法（如Token Merging, ToMe）在加速推理时，虽然保持了生成质量，但显著损害了分类精度；BiGain通过“频域分离”策略，在无需训练的情况下实现了两者的兼得。
- 证据：作者提出了一种双路径架构。对于生成分支，保留低频分量以维持图像的整体结构和连贯性；对于分类分支，保留高频分量以捕捉纹理和边缘等判别性细节。
- 评价与推断：
- 视角转换：该研究的核心创新在于打破了“单一表征服务于所有任务”的惯性思维。它利用了计算机视觉中经典的“频率偏差”理论——即生成任务更依赖于低频结构先验，而判别任务更依赖高频局部特征。
- 技术细节：通过DCT（离散余弦变换）或小波变换在特征图层面进行频域分解，而非简单的空间下采样，这种做法在理论上更具鲁棒性。
- 潜在假设：该方法假设生成和分类的特征可以通过频率成分进行解耦。失效条件：如果分类任务极其依赖语义一致性而非纹理（例如判断物体姿态），或者生成任务需要高频细节以保持真实感（如写实皮肤渲染），单纯的频域分离可能失效。
2. 理论贡献
- 论文声称：BiGain建立了一个统一的优化目标，证明了Token压缩可以在FID（生成质量）和Accuracy（分类精度）之间取得帕累托最优。
- 证据：文中构建了一个联合损失函数，并分析了不同Token保留率对两个任务的影响曲线。
- 评价与推断：
- 理论补充：本文填补了“多任务扩散模型推理加速”的理论空白。以往的研究多关注单一指标（如FID），BiGain引入了“判别感知的压缩”概念。
- 深度分析：其理论贡献在于指出了U-Net架构中Feature Map的频谱特性在不同任务中的异质性。这为未来研究“动态频域路由”提供了理论基础。
- 可验证检验：为了验证其理论边界，可以进行消融实验，测试在不同噪声水平（Timestep）下，高频和低频信息的实际占比。理论上，在早期去噪步骤，低频更重要；在后期，高频更重要。如果BiGain未根据时间步动态调整频域分割比例，其理论假设是不完整的。
3. 实验验证
- 论文声称：在ImageNet和MS-COCO数据集上，BiGain在保持相当的FID指标的同时，分类准确率远超ToMe等基线方法。
- 证据：展示了在Stable Diffusion (SD) 和 DiT 架构下的对比图表，显示了FID vs. Accuracy的曲线包围面积。
- 评价与推断：
- 实验设计的严谨性：选取基线（ToMe, Token Cropping）具有代表性。然而，实验主要集中于标准数据集。
- 可靠性存疑点：文中对于“无需训练”的强调可能掩盖了超参数调整的敏感性。频域分割的阈值（如保留多少比例的高频Token）通常针对特定模型和分辨率是特定的。
- 关键检验：需要验证其在零样本跨域任务中的表现。例如，在一个未见过的医学影像数据集上，无需调整阈值直接使用，其分类精度是否依然优于基线？这将证明其方法的泛化性。
4. 应用前景
- 论文声称：该方法即插即用，适用于边缘端设备部署，以及需要同时进行生成和分类的下游应用。
- 评价与推断：
- 高价值场景：AIGC内容审核。这是最直接的应用场景。在生成图片的同时，实时利用同一特征流进行违规内容检测，无需二次推理，极大降低了延迟和成本。
- 边缘计算：由于无需额外的微调训练，算力受限的设备可以直接集成该模块。
- 局限性：对于纯生成任务（如Midjourney），用户并不关心分类精度，此时BiGain的复杂度（双路径）可能不如简单的ToMe高效。
5. 可复现性
- 论文声称：方法基于标准频域变换，无需复杂的训练流程。
- 评价：
- 优势：核心逻辑清晰，主要涉及DCT/FFT操作和Mask机制，代码实现难度中等偏低。
- 潜在难点：如何将频域Mask无损地反向传播回梯度（如果涉及微调）或如何高效地在PyTorch中实现稀疏频域采样以避免显存碎片化，是复现的难点。
- 检验方式：检查作者是否开源了针对不同预训练模型（SD1.5, SDXL, DiT）的配置文件。如果仅提供代码但未提供针对不同模型架构推荐的压缩比参数，复现效果可能大打折扣。
技术分析
以下是对论文《BiGain: Unified Token Compression for Joint Generation and Classification》的深入分析报告。
BiGain: Unified Token Compression for Joint Generation and Classification 深度分析报告
1. 研究背景与问题
核心问题
该论文致力于解决扩散模型在推理加速过程中存在的生成-判别性能权衡难题。具体而言，现有的Token剪枝或合并方法虽然能通过减少序列长度来加速推理，但通常会导致模型的判别能力（如分类精度）显著下降，甚至低于未压缩模型。如何在大幅减少计算量的同时，协同提升生成质量（FID）与判别精度，是本研究的核心。
研究背景与意义
扩散模型在图像生成领域取得了巨大成功，但其高昂的推理成本限制了实时应用。为了解决这一问题，学术界提出了各种Token压缩方法（如ToToken, SVBR, SparseDiff等）。然而，这些方法大多基于“生成优先”的归纳偏置，即假设保留语义信息即可维持生成质量，却忽略了纹理、边缘等高频细节对判别任务的重要性。随着多模态模型（如结合生成与分类的统一模型）的发展，寻找一种能同时满足“看得像（生成）”和“看得懂（分类）”的通用压缩策略变得至关重要。
现有方法的局限性
- 任务冲突：现有方法往往保留低频语义信息（利于生成），而丢弃高频细节（利于分类），导致分类性能大幅衰减。
- 训练依赖：许多压缩框架需要重新训练或微调模型来适应压缩策略，增加了部署成本。
- 下采样粗糙：简单的池化操作在减少KV Cache时，容易破坏特征的空间拓扑结构，导致注意力机制失真。
为什么这个问题重要
这个问题触及了深度表征学习的本质：信息冗余与任务相关性的博弈。解决这一问题不仅能推动扩散模型在边缘设备上的高效部署，更重要的是揭示了“频域特性”与“下游任务性能”之间的深层联系，为设计通用的视觉模型压缩理论提供了依据。
2. 核心方法与创新
核心方法：BiGain框架
BiGain是一个无需训练、即插即用的推理框架，包含两个核心模块：
- 拉普拉斯门控Token合并：用于压缩视觉Token。
- 插值-外推KV下采样：用于压缩注意力机制中的键值对。
技术创新点与贡献
- 频域感知的统一视角：首次明确提出利用频域特性来解耦生成与判别任务的需求差异。BiGain认为，生成任务依赖低频全局结构，而判别任务依赖高频局部纹理。
- 拉普拉斯门控机制：利用拉普拉斯算子计算Token的频谱平滑度。设计了一个门控函数，对平滑区域（低频）进行激进合并，对纹理丰富区域（高频）进行保留。这种自适应策略在保留细节的同时最大化了压缩率。
- 插值-外推下采样：提出了一种新颖的KV下采样策略。它在最近邻插值（保留高频信息）和平均池化（保留低频信息）之间进行动态插值，并通过外推技术保持查询的一致性，有效解决了注意力图偏移问题。
方法的优势与特色
- 即插即用：无需LoRA微调，无需重新训练，可直接用于Stable Diffusion (SD) 和 Diffusion Transformer (DiT)。
- 双向增益：实验证明，BiGain在加速推理的同时，能同时降低FID（提升生成质量）和提高分类准确率（提升判别性能），打破了传统的性能权衡魔咒。
3. 理论基础
理论依据：频域分离假设
BiGain的理论基石是信号处理中的频率分离理论。
- 低频信号：对应图像中的平滑区域、颜色块和全局语义结构。对生成任务的整体布局至关重要。
- 高频信号：对应图像中的边缘、纹理和噪点。对分类任务的细粒度特征提取至关重要。
数学模型与算法设计
- 拉普拉斯门控： 定义Token的平滑度 $S_i$，通过拉普拉斯卷积核计算。合并权重 $M_i = f(S_i)$，其中 $f$ 是单调递减函数。即 $S_i$ 越大（越平滑），合并权重越高。
- 插值-外推： 在下采样KV矩阵时，不使用单一核，而是定义混合核 $K_{mix} = \alpha K_{nn} + (1-\alpha) K_{avg}$。通过理论推导确定最优的 $\alpha$ 值，以平衡高频保留与语义聚合。
理论贡献分析
论文从理论上证明了在注意力机制中，简单的下采样会导致高频信息的混叠。BiGain通过控制插值系数，理论上构建了一个抗混叠的低通/带通滤波器组合，这为理解Transformer中的信息流动提供了新的理论工具。
7. 学习建议
适合读者背景
- 计算机视觉（CV）方向的研究生或工程师。
- 对扩散模型、Transformer架构、模型压缩感兴趣的研究者。
- 具备一定的信号处理基础（傅里叶变换、频率分析）会有更深的理解。
前置知识
- 扩散模型基础：DDPM, DDIM, Classifier-Free Guidance。
- Vision Transformer (ViT)：Self-attention机制, Q/K/V矩阵计算。
- 图像处理基础：高频/低频信息，拉普拉斯算子，池化操作。
阅读顺序建议
- 先阅读摘要和引言，理解“生成-判别权衡”问题。
- 重点阅读Method部分，理解Laplacian Gating和Interpolation-Extrapolation的图示和公式。
- 对照实验部分的图表，验证BiGain在不同压缩率下的表现。
研究最佳实践
实践 1：构建统一的 Token 压缩架构
说明: BiGain 的核心在于通过一个统一的压缩模块同时服务于生成和分类任务。传统的做法往往是分别为生成和分类任务设计独立的特征提取器，导致计算冗余和特征不一致。BiGain 提倡构建一个共享的下采样模块，将高分辨率的输入 Token 序列压缩为紧凑的表示，使得后续的生成头和分类头可以基于相同的特征底座进行工作，从而实现多任务学习的高效统一。
实施步骤:
- 设计一个共享的特征压缩骨干网络，该网络应具备将长序列 Token 映射为短序列 Token 的能力。
- 确保该压缩模块是可微分的，以便能够同时接收来自生成任务（如重建损失）和分类任务（如分类损失）的梯度回传。
- 在压缩模块后分别接入特定的生成解码器和分类器头部。
注意事项: 需要平衡压缩率，过度压缩可能会导致生成任务丢失细节纹理，而压缩不足则无法显著降低计算成本。
实践 2：实施双向增益优化策略
说明: 所谓“BiGain”是指利用生成任务和分类任务之间的互补性来提升压缩特征的表达能力。分类任务关注全局语义和判别性特征，有助于引导压缩模块保留关键信息；而生成任务关注局部细节和像素级重建，有助于保留高频纹理信息。通过联合优化，可以确保压缩后的 Token 既包含准确的语义标签信息，又包含足够用于重建的细节信息。
实施步骤:
- 构建联合损失函数，通常形式为 $L_{total} = \lambda_{gen} L_{generation} + \lambda_{cls} L_{classification}$。
- 在训练过程中，交替或同时计算生成损失（如 L1/L2 损失或 GAN 损失）和分类损失（如交叉熵损失）。
- 动态调整 $\lambda$ 权重，以适应不同训练阶段对两个任务的侧重。
注意事项: 两个任务的收敛速度可能不同，建议使用梯度归一化或不同的学习率策略来防止某一个任务主导整个训练过程。
实践 3：采用空间缩减与通道扩张的平衡设计
说明: 在进行 Token 压缩时，单纯减少空间维度会导致信息瓶颈。BiGain 的最佳实践表明，在降低 Token 空间分辨率的同时，应适当增加特征的维度。这种“空间-通道”权衡策略能够确保在大幅减少序列长度以降低计算复杂度的同时，通过增加通道宽度来维持信息的容量，从而保证模型性能。
实施步骤:
- 设定目标压缩率，例如将序列长度缩减为原来的 1/4 或 1/8。
- 在设计压缩层时，按照缩减比例相应增加输出通道数。例如，若空间分辨率缩减 4 倍，通道数可考虑扩大 2-4 倍。
- 使用 1x1 卷积或全连接层来实现通道维度的调整。
注意事项: 通道数的增加会带来参数量的轻微上升，需根据实际硬件显存限制和推理速度要求寻找最佳平衡点。
实践 4：利用语义感知的 Token 选择机制
说明: 为了更有效地进行压缩，不应简单地均匀采样，而应引入语义感知机制。这意味着压缩模块应具备辨别能力，能够保留包含重要语义信息的 Token，而对背景或冗余信息的 Token 进行更大幅度的压缩或合并。对于分类任务而言，保留前景物体相关的 Token 至关重要。
实施步骤:
- 在压缩网络中加入轻量级的注意力模块，用于评估每个 Token 的重要性分数。
- 根据重要性分数对 Token 进行加权或基于 Top-K 保留策略。
- 确保该选择机制是可微的，或者在训练时使用 Gumbel-Softmax 技巧以保持端到端的训练。
注意事项: 避免引入过多的计算开销在选择机制本身上，否则会抵消压缩带来的收益。
实践 5：端到端的联合训练与微调
说明: BiGain 强调整个系统的统一性，因此不应分步训练（即先训练压缩器，再固定训练头）。最佳实践是采用端到端的训练方式，让压缩模块直接感知最终任务的目标。此外，在预训练模型的基础上进行微调时，需要解冻压缩模块和任务头，使其适应新的数据分布。
实施步骤:
- 初始化整个网络（压缩模块、生成头、分类头）。
- 使用混合数据集进行联合训练，确保 Batch 中同时包含用于生成和分类的标注数据。
- 在微调阶段，使用较小的学习率更新压缩模块参数，以防止破坏预训练的特征提取能力。
注意事项: 监控不同任务损失的变化曲线，如果出现震荡，可能需要降低学习率或调整损失权重。
实践 6：多模态与多尺度特征融合
说明: 虽然压缩旨在获得紧凑的表示，但对于复杂的生成和分类任务，单一尺
学习要点
- BiGain 首次提出了一种统一的令牌压缩框架，能够同时支持生成任务（如 Stable Diffusion）和判别任务（如图像分类），解决了以往方法通用性差的问题。
- 该框架创新性地设计了双向增益机制，通过在压缩令牌和保留令牌之间最大化互信息，确保了在大幅减少计算量的同时不损失模型精度。
- 针对生成任务，BiGain 通过解耦令牌的语义内容和位置信息，有效解决了压缩过程中容易出现的伪影和物体形状崩塌问题。
- 针对分类任务，该方法利用蒸馏策略将分类器的逻辑知识迁移至压缩网络，显著提升了在极低保留率下的分类准确率。
- 实验表明 BiGain 具有极高的压缩效率，在仅保留 25%-50% 令牌的情况下，仍能在多种视觉任务上保持与全精度模型相当的性能。
- 该方法具有即插即用的特性，无需微调原始的大型预训练模型（如冻结的 CLIP 或 U-Net），仅需训练轻量级的压缩网络即可实现加速。
学习路径
阶段 1：基础理论与背景知识构建
学习内容:
- 深度学习基础: 熟悉神经网络的基本结构（Transformer架构、Attention机制），理解Token、Embedding以及Hidden State的含义。
- 计算机视觉与自然语言处理的多模态基础: 了解视觉-语言模型（如CLIP, BLIP）的基本原理，特别是图像如何被转化为Patch Token以及文本如何被Token化。
- 模型压缩与加速概念: 理解为什么需要Token压缩（减少计算量、降低显存占用），了解Pruning（剪枝）和Distillation（蒸馏）的基本概念。
学习时间: 2-3周
学习资源:
- 课程: 斯坦福大学CS231N（计算机视觉）及CS224N（自然语言处理）课程笔记。
- 论文: “Attention Is All You Need” (Transformer原文); “Learning Transferable Visual Models From Natural Language Supervision” (CLIP).
- 博客: Jay Alammar的博客《The Illustrated Transformer》。
学习建议: 在此阶段不需要急于阅读BiGain原文，重点在于理解Transformer中Token流动的过程以及多模态模型如何处理输入。建议手动实现一个简单的Self-Attention模块以加深理解。
阶段 2：Token压缩技术与核心方法论
学习内容:
- 现有Token压缩方法: 深入研究ToMe (Token Merging) 和 DynamicViT等工作，理解它们如何在保留关键信息的同时减少Token数量。
- 生成与判别任务的差异: 分析分类任务与生成任务对Token信息保留的不同需求。分类任务可能只需保留全局特征，而生成任务（如Image Synthesis）则需要保留局部细节。
- BiGain的核心动机: 理解"Unified"（统一）的含义，即如何设计一个通用的压缩模块，既能服务于分类（不丢失类别信息），又能服务于生成（不丢失纹理细节）。
学习时间: 3-4周
学习资源:
- 论文: “ToMe: Token Merging for Fast Vision Transformers”; “DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsity”.
- 代码库: GitHub上的ToMe官方实现，重点关注Token Merging的算法逻辑。
- 工具: 开始熟悉PyTorch中张量的切片与合并操作。
学习建议: 对比阅读不同压缩方法的实验部分，观察它们在FLOPs（计算量）与Accuracy（准确率）之间的权衡。尝试思考：如果直接将分类模型的压缩方法应用到生成模型（如Stable Diffusion）中，会出现什么问题？
阶段 3：BiGain论文精读与算法剖析
学习内容:
- BiGain架构详解: 逐节阅读BiGain论文，重点解析其提出的Unified Token Compression模块。
- 双流机制与增益: 理解论文中如何设计机制来同时优化Classification和Generation的损失函数，以及如何通过"Gain"来指导Token的保留或合并。
- 实验设计与复现: 分析论文中的对比实验，理解其Baseline设置和评估指标（如FID, IS, Accuracy）。
学习时间: 2-3周
学习资源:
- 核心文本: BiGain: Unified Token Compression for Joint Generation and Classification (arxiv原文).
- 辅助材料: 寻找相关的Seminar视频或作者在学术会议上的演讲录像（如果公开）。
- 社区: Reddit (r/MachineLearning) 或 Twitter 上关于该论文的讨论。
学习建议: 绘制BiGain的整体架构图，用不同颜色的笔标注出数据流在压缩前后的变化。重点关注Loss Function的公式部分，理解各项权重的含义。
阶段 4：代码实现与工程落地
学习内容:
- 环境搭建: 配置深度学习环境，安装必要的依赖库（如PyTorch, Timm, Diffusers）。
- 模块级复现: 尝试仅实现BiGain中的核心压缩模块，并在一个简单的预训练模型（如ViT-B/16）上进行替换测试。
- 全流程跑通: 如果资源允许，尝试在小的数据集（如CIFAR-10）上复现论文中的实验，验证压缩后的性能下降是否在论文声称的范围内。
学习时间: 4-6周
学习资源:
- 代码库: 假设BiGain有官方开源代码，下载并研读；若无，则参考ToMe或类似项目的代码结构进行魔改。
- 硬件: 建议使用至少单张高性能GPU（如RTX 3090/4090）或Colab Pro进行实验。
- 文档: PyTorch官方文档关于
torch.nn.Module和torch.autograd的部分。
学习建议: 不要一开始就试图在大规模数据集（如ImageNet）上复现，这会消耗大量时间。先验证算法逻辑的正确性（即代码能跑通，且能压缩Token），再关注最终精度。使用Profiler工具分析显存占用和推理速度的实际提升。
常见问题
BiGain 的核心目标是什么？它主要解决了什么技术痛点？
BiGain 的核心目标是实现一种“统一”的 Token 压缩方法，旨在同时服务于生成任务（如文本生成、图像生成）和分类任务（如图像分类）。
它主要解决了现有压缩技术中存在的任务单一性和不可逆性痛点：
- 任务局限性：传统的 Token 压缩方法（如 ToMe 或下采样层）通常只针对分类任务进行优化，直接将其应用于生成任务会导致生成质量严重下降。
- 信息丢失：许多压缩方法通过简单的池化或丢弃 Token 来减少序列长度，这种过程是不可逆的，导致生成任务无法恢复重建所需的细节信息。 BiGain 通过双向增益机制和可逆压缩，确保在减少计算量的同时，既能保持分类的准确性，又能维持生成的保真度。
BiGain 是如何实现对“生成”和“分类”两种任务的统一支持的？
BiGain 通过引入一种双向增益机制来实现统一支持。该方法在压缩 Token 时，不仅仅考虑如何减少数量，而是同时优化两个目标：
- 判别增益：确保保留的 Token 能够最大程度地保留对分类或识别有用的特征信息（即保留语义核心）。
- 生成增益：确保被压缩或丢弃的 Token 信息能够通过一种可逆的方式被保留或重建，从而支持生成任务中的上采样和解码过程。
通过这种机制，BiGain 能够在同一个网络架构中动态地调整 Token 的保留策略，使得模型在处理分类任务时关注关键特征，在处理生成任务时关注细节恢复，从而实现了两者的统一。
与现有的 Token 压缩方法（如 ToMe 或 ViT 中的池化层）相比，BiGain 有什么本质区别？
本质区别在于压缩的可逆性和优化目标：
- 不可逆 vs. 可逆：大多数现有方法（如基于 Pooling 或 Pruning 的方法）是不可逆的。一旦 Token 被合并或丢弃，其包含的详细空间信息（如生成任务所需的纹理、边缘细节）就永久丢失了，因此它们无法用于生成任务。BiGain 设计了专门的重建机制，使得压缩过程是可逆的，能够恢复出用于生成的细节。
- 单一目标 vs. 双重目标：现有方法通常以最小化重建误差或最大化分类准确率为单一目标。BiGain 引入了“双向增益”，在压缩时同时权衡判别性能和生成性能，这使得它成为首个能够有效同时处理这两类截然不同任务的压缩框架。
BiGain 在计算效率方面表现如何？它能带来多大的加速比？
根据论文中的实验数据，BiGain 在显著降低计算成本的同时，能够保持模型的性能。
具体表现为：
- FLOPs 减少：通过在 Transformer 的深层网络中大幅减少 Token 序列长度，BiGain 能够有效降低浮点运算次数。实验显示，在某些模型上减少了约 30%-50% 的 FLOPs。
- 吞吐量提升：在实际推理速度上，BiGain 能够带来明显的加速。例如，在图像生成模型中，由于序列长度的减少，自注意力层的计算速度显著加快。
- 性能保持：尽管进行了大幅压缩，BiGain 在分类任务（如 ImageNet）上的精度下降极小（通常在 1% 以内），而在生成任务（如 ImageNet 生成或重建）中的 FID 分数（生成质量指标）甚至优于未压缩的基线模型。
BiGain 可以应用在哪些具体的模型或架构上？
BiGain 具有很强的通用性，主要应用于基于 Transformer 的架构。具体包括：
- 视觉 Transformer：如 ViT (Vision Transformer) 和 Swin Transformer。在图像分类任务中，BiGain 可以替换传统的 Patch Merging 或 Class Attention 层。
- 生成式模型：如 Masked Autoencoders (MAE) 或基于 Transformer 的 GAN (如 TransGAN)。在这些模型中，BiGain 用于压缩潜在空间，并在解码器阶段通过可逆机制恢复细节。
- 多模态模型：由于涉及理解（分类）和创建（生成），BiGain 也适用于需要同时处理这两种需求的统一模型架构。
BiGain 的“双向增益”具体是如何计算的？它如何决定哪些 Token 被压缩？
虽然 BiGain 的具体实现涉及复杂的数学公式，但其核心逻辑可以概括为以下几个步骤：
- 重要性评分：模型会为每个 Token 计算一个重要性分数。这个分数不仅基于 Token 自身的特征，还基于它对当前任务（分类或生成）的贡献。
- 双向权衡：
- 对于分类任务，算法倾向于保留那些包含显著语义特征的 Token（判别增益高）。
- 对于生成任务，算法倾向于保留那些包含高频细节或空间
引用
注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。