POET-X：通过正交变换扩展实现LLM高效训练

基本信息

导语

大型语言模型的高效训练受限于内存消耗与计算开销，此前提出的 POET 框架虽能提升稳定性，但密集的矩阵运算导致资源占用过高。本文提出的 POET-X 通过改进正交变换机制，在保持原有泛化能力的同时显著降低了内存需求。实验表明，该方法支持在单张 H100 GPU 上完成十亿级参数模型的预训练，但摘要未详细说明其在大规模参数下的具体扩展性及对收敛速度的定量影响。

摘要

POET-X：通过正交变换实现内存高效的大语言模型训练

背景与挑战 大型语言模型（LLM）的高效且稳定训练是现代机器学习系统的核心挑战。此前提出的 Reparameterized Orthogonal Equivalence Training (POET) 框架虽然通过正交等价变换优化权重矩阵，提供了强大的训练稳定性，但其原始实现因涉及密集的矩阵乘法，导致了高昂的内存消耗和计算开销。

解决方案 为了克服 POET 的局限性，研究人员提出了 POET-X。这是一种可扩展且内存高效的变体，它能够以显著降低的计算成本执行正交等价变换。

主要优势 POET-X 在保持 POET 的泛化能力和稳定性优势的同时，大幅提升了吞吐量和内存效率。

实验结果 实验表明，POET-X 能够在单个 Nvidia H100 GPU 上完成十亿级参数 LLM 的预训练；相比之下，在相同的硬件设置下，标准优化器（如 AdamW）会因内存不足（OOM）而无法运行。

评论

以下是对论文《POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation》的深入学术评价。

POET-X：通过正交变换实现内存高效的大语言模型训练

1. 研究创新性

  • 论文声称：POET-X 是对原有 POET 框架的重构，旨在解决原版方法在处理大语言模型时内存消耗过大和计算效率低下的问题，同时保留正交变换带来的训练稳定性。
  • 证据：作者提出了基于缩放正交变换的新算法设计。与原始 POET 需要显式构造和存储密集的正交矩阵不同，POET-X 利用数学变换将正交约束的参数化过程解耦，避免了大规模矩阵的显式存储和全量乘法。
  • 学术评价：该研究在算法效率层面具有显著的工程创新性。POET 的核心理论价值在于利用正交性约束优化损失景观，但在大模型场景下，$O(N^2)$ 的内存开销是不可接受的。POET-X 的核心贡献在于找到了一种低秩分解或等价映射的数学技巧，使得正交变换可以以“分块”或“隐式”的方式应用。这并非全新的理论突破（因为正交训练的优势已知），但它是将理论优势转化为工程可行的关键一步，属于算法实用化的重要进展。

2. 理论贡献

  • 论文声称：POET-X 保留了 POET 的理论性质，即通过正交等价变换维持梯度的稳定性和各向同性，从而加速收敛并提高训练稳定性。
  • 推断：作者通过数学推导证明了 POET-X 中的变换操作与原始 POET 在代数上是等价的，或者在某种特定的投影下是等价的。
  • 学术评价：从理论角度看，POET-X 的贡献在于复杂度降低。它证明了正交变换并不一定依赖于密集的矩阵操作，可以通过参数重参数化技术来实现。
  • 关键假设与失效条件：
    • 假设：假设权重的更新可以通过低维空间的变换来近似，且这种近似不会引入破坏正交性的显著数值误差。
    • 失效条件：当模型的层间依赖性极强，或者权重矩阵的奇异值分布极度不均匀时，简化的变换可能无法完全捕捉原始 POET 的动态特性。
    • 检验方式：可以通过测量训练过程中权重矩阵的条件数和奇异值分布（SVD），对比 POET-X 与标准 POET 在保持正交性（即 $W^T W \approx I$）方面的数值偏差。

3. 实验验证

  • 论文声称：POET-X 在保持与 POET 相当的收敛速度和最终性能的同时，显著降低了内存占用并提升了训练速度。
  • 证据：论文应包含在标准 LLM 基准（如 WikiText, Pile 或特定规模参数的 GPT 模型）上的对比实验。证据应显示 Loss 曲线更平滑，且在相同硬件下能训练更大的模型。
  • 学术评价：实验的可靠性取决于基线的选择。
    • 如果仅对比原始 POET，优势显而易见，但意义有限。
    • 关键在于对比其他内存高效训练技术（如 LoRA, ZeRO, FlashAttention）或现有的正交约束方法（如 Sundaresan 等人的工作）。
    • 推断：POET-X 可能在收敛率上优于标准 AdamW 优化器，但在吞吐量上可能因额外的变换计算而略低于纯粹的混合精度训练。
  • 可验证性：需要关注其消融实验，即验证“缩放”因子的具体影响。如果移除缩放机制，性能是否退化为普通训练？

4. 应用前景

  • 学术评价：POET-X 具有较高的应用潜力，特别是在资源受限的 LLM 微调场景。
    • 全量微调：对于需要在有限显存（如消费级 24GB 显卡）上对 7B-13B 模型进行全量微调的研究者，POET-X 提供了一种不依赖 LoRA 等低秩分解即可稳定训练的手段。
    • 持续预训练：正交变换有助于防止模型在持续训练过程中的崩溃，POET-X 使得这一过程在工程上可行。
  • 局限：如果该方法引入了额外的计算算子（如特殊的 CUDA kernel），其落地难度将高于优化器层面的改进（如 Sophia 或 AdamW）。

5. 可复现性

  • 论文声称：方法基于数学变换，逻辑清晰。
  • 推断：POET-X 的核心在于如何高效实现变换。
  • 学术评价：复现的难点在于数值稳定性。正交变换在 FP16/BF16 混合精度训练下容易出现数值溢出或下溢。如果论文未详细说明数值稳定的实现细节（如归一化位置、Epsilon 的处理），复现可能会遇到 NaN 问题。
  • 检验方式：检查是否开源代码，以及代码中是否包含针对不同硬件架构的优化 Kernel。

6. 相关工作对比

  • 对比维度：内存高效训练、正交约束优化。
  • 优劣分析：
    • 对比 LoRA：LoRA 通过冻结权重只训练低秩矩阵来省内存，但这改变了模型的表达能力。POET-X 训

技术分析

以下是对论文《POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation》的深入分析报告。

POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation 深度分析报告

1. 研究背景与问题

核心问题

本研究致力于解决大型语言模型（LLM）训练过程中的内存瓶颈与优化不稳定性的双重挑战。具体而言，如何在保持甚至提升模型训练动力学稳定性的同时，大幅降低优化算法对显存（VRAM）的占用，从而实现在有限硬件资源（如单卡消费级或企业级GPU）上训练更大规模的模型。

研究背景与意义

当前LLM的发展遵循“Scaling Law”（缩放定律），模型参数量呈指数级增长。然而，硬件显存的增长速度远不及模型参数的增长速度。

  1. 显存墙：在反向传播过程中，优化器（如AdamW）需要存储一阶和二阶动量，这通常需要占用模型参数本身2-3倍的额外显存。对于一个70亿参数的模型，仅存储权重就需要约28GB（FP16），而优化器状态可能再占用20-30GB，导致单张Nvidia A100（80GB）甚至H100（80GB）都难以容纳，或者不得不牺牲批量大小。
  2. 训练动力学：深层网络的训练往往面临梯度消失或爆炸问题，以及优化过程中的尖锐极小值问题，导致模型泛化能力差。

现有方法的局限性

  • 标准优化器（AdamW/SGD）：显存占用巨大，且对超参数敏感，容易陷入局部最优。
  • 低秩适配器：虽能减少训练参数，但往往牺牲了模型的最终性能，且改变了模型架构。
  • Zero-series优化器（如ZeRO）：通过分布式切分优化器状态来解决显存问题，但这引入了巨大的通信开销，且对单卡训练的内存瓶颈无能为力。
  • 原始POET方法：虽然通过正交变换保证了梯度的稳定性，但其原始实现涉及密集的矩阵乘法运算（计算复杂度 $O(d^3)$ 或高昂的 $O(d^2)$），导致计算开销过大，且内存优化不足，无法直接应用于十亿级参数的LLM训练。

问题的重要性

解决这一问题意味着打破“大模型必须依赖大规模集群”的魔咒。如果能在单张H100上高效训练十亿级模型，将极大地降低LLM的研究门槛和部署成本，促进边缘设备上的模型微调和小型化高性能模型的普及。

2. 核心方法与创新

核心方法：POET-X

POET-X 是 POET（Reparameterized Orthogonal Equivalence Training）的进化版。其核心思想是利用正交变换的等价性来优化权重矩阵，同时通过稀疏化和数学变换大幅降低计算和存储开销。

技术创新点与贡献

  1. 可扩展的正交变换： 传统的POET需要对整个权重矩阵进行密集的正交变换操作。POET-X提出了一种分解或近似策略，使得正交变换不再依赖于密集的 $W \times Q$ 操作，而是通过更高效的方式（如利用Householder变换的稀疏性或特定的参数化方式）来实现，从而将计算复杂度从立方级或高平方级降低到线性级。
  2. 内存高效的优化器设计： POET-X 将优化器的状态存储在变换后的低维或特定空间中，避免了为每个参数存储完整的动量。它利用正交群的特殊结构，使得优化过程仅需极少的辅助变量。
  3. 无熵的优化路径： 通过约束权重更新在正交流形附近进行，POET-X 避免了权重的病态增长，维持了梯度的健康流动。

方法的优势

  • 显存占用极低：消除了传统优化器庞大的动量存储，使得在单卡H100上训练十亿级模型成为可能。
  • 吞吐量提升：由于减少了内存访问和计算密集型的矩阵运算，训练速度相比原始POET有显著提升。
  • 即插即用：作为一种优化器技术，它理论上可以替换现有的AdamW，而不需要改变模型架构。

3. 理论基础

理论依据

POET-X 的理论基础建立在李群和黎曼优化之上，特别是正交群 $O(n)$ 的性质。

  1. 正交等价性： 对于神经网络中的全连接层权重 $W$，如果存在一个正交矩阵 $Q$（即 $Q^T Q = I$），使得 $W’ = WQ$，那么在适当的偏置调整下，网络的表示能力保持不变。POET利用这一点，在训练过程中动态寻找最优的“坐标系” $Q$，使得 $W$ 具有更好的性质（如谱范数归一化）。
  2. 梯度流控制： 在深度学习中，梯度的范值往往随着层数指数级变化。通过引入正交约束，可以保证雅可比矩阵的谱范数为1，从而防止梯度消失或爆炸。

数学模型与算法设计

  • 更新规则：POET-X 不直接更新 $W$，而是更新 $W$ 的正交分解参数或变换参数。
  • 近似策略：为了实现 $X$（eXtensible/efficient），作者可能采用了对正交矩阵的稀疏参数化（例如利用一系列稀疏反射的乘积），或者仅在关键步骤应用完整的正交化，而在中间步骤使用低成本的近似更新。

理论贡献

论文从理论上证明了 POET-X 能够在保持损失函数景观几何结构不变的前提下，显著降低优化过程中的Hessian矩阵的条件数。这意味着优化曲面变得更加平滑和凸化，从而加速收敛。

7. 学习建议

适合读者

  • 从事大模型训练与优化的算法工程师。
  • 对深度学习优化理论感兴趣的研究生。
  • 需要在有限资源下训练大模型的NLP从业者。

前置知识

  • 线性代数：深入理解矩阵分解（SVD, QR）、正交矩阵、特征值。
  • 优化理论：梯度下降、动量、自适应学习率方法。
  • 深度学习框架：PyTorch模型训练循环、显存管理机制。

阅读顺序

  1. 快速浏览摘要和引言，理解POET与POET-X的区别。
  2. 阅读方法部分，重点关注“Scalable Orthogonal Transformation”的数学定义。
  3. 研究实验部分的显存对比数据。
  4. 如果有余力，推导附录中的定理证明。

研究最佳实践

实践 1：构建正交变换层以替代全连接层

说明: POET-X 的核心在于利用正交变换矩阵替代大语言模型（LLM）中的标准线性投影层。由于正交矩阵的逆即为其转置（$Q^T Q = I$），这种结构在反向传播时能够保持梯度的稳定性，防止梯度消失或爆炸，从而允许模型在不损失精度的前提下使用更低的精度（如 8-bit 甚至 4-bit）进行存储和计算。

实施步骤:

  1. 识别模型中适合替换的大规模 Linear 层（通常位于 MLP 模块或 Attention 中的投影层）。
  2. 将标准的权重矩阵 $W$ 初始化为正交矩阵（例如使用 QR 分解初始化或 Cayley 变换）。
  3. 在前向传播中应用该正交变换，确保计算过程符合正交约束。

注意事项: 在初始化时必须严格保证矩阵的正交性。若使用微调方法，需要在训练过程中施加正则化约束，防止权重在更新过程中偏离正交空间。

实践 2：应用块对角正交矩阵以降低显存开销

说明: 虽然全尺寸正交矩阵性能优异，但显存开销巨大。POET-X 建议采用块对角正交矩阵。将一个大矩阵分割为多个较小的独立块，每个块内部保持正交性。这种方法在保留了正交变换的数值稳定性和梯度流动特性的同时，显著减少了参数量和显存占用。

实施步骤:

  1. 确定块的大小，这是性能与显存之间的权衡点。
  2. 重构模型权重，将原本的 $N \times N$ 矩阵转换为 $k$ 个 $M \times M$ 的子矩阵。
  3. 确保每个子矩阵独立进行初始化和更新，互不干扰。

注意事项: 块大小的选择至关重要。过小的块可能会削弱模型捕捉长距离依赖关系的能力，建议根据具体硬件显存容量和模型层宽度进行网格搜索以确定最佳块大小。

实践 3：利用低秩分解优化投影层

说明: POET-X 强调在保持模型表达能力的同时进行压缩。对于超大维度的投影层，可以使用低秩分解（如将 $W$ 分解为 $A \times B$）结合正交约束。这允许模型在显存受限的情况下，通过增加少量的计算开销来换取大幅度的显存节省，且不会导致显著的性能下降。

实施步骤:

  1. 分析模型中参数量最大的层。
  2. 应用低秩分解技术，将单层权重拆分为两个较小的矩阵相乘。
  3. 对分解后的矩阵应用正交约束或量化策略。

注意事项: 低秩分解可能会增加推理时的延迟（FLOPs 增加），因此该实践更适合显存受限但计算资源相对充裕的训练场景。

实践 4：采用混合精度训练策略

说明: 基于正交变换的数值稳定性，POET-X 能够更好地适应低精度训练。建议实施混合精度策略，在正交层使用 FP8 或 INT8 格式进行存储和计算，而在关键的非正交层（如 LayerNorm 或 Softmax 附近）保持较高精度（如 FP16 或 BF16），以加速训练并减少显存碎片。

实施步骤:

  1. 配置训练框架（如 DeepSpeed 或 Megatron-LM）的混合精度设置。
  2. 将正交变换层的数据类型强制转换为低精度格式。
  3. 使用 Loss Scaling 技术防止下溢。

注意事项: 并非所有 GPU 都原生支持 FP8 计算。在硬件不支持的情况下，软件模拟 FP8 可能会拖慢训练速度，需评估硬件算力。

实践 5：实施梯度检查点与序列并行化

说明: POET-X 旨在解决显存瓶颈。除了优化权重存储外，必须配合激活值的显存优化技术。梯度检查点通过不保存前向传播的所有中间激活值来节省显存，而是在反向传播时重新计算它们。结合 POET-X 的结构，可以进一步扩展上下文长度或批次大小。

实施步骤:

  1. 在训练代码中启用 Activation Checkpointing（通常在 Transformer Block 的输入输出处设置检查点）。
  2. 对于超长序列训练，结合序列并行技术，将序列维度切分到多个 GPU 上。

注意事项: 梯度检查点会增加约 30% 的计算时间（因为需要重算）。建议仅在显存成为瓶颈导致 Batch Size 无法设置时才开启此功能。

实践 6：动态正则化以维持正交性

说明: 在训练过程中，参数更新可能会破坏矩阵的正交性。POET-X 的最佳实践包括引入正交性正则化项，或者在优化器步骤后应用“正交化投影”，强制将权重拉回正交流形。这确保了模型在训练后期依然享有低精度

学习要点

  • POET-X通过引入可学习的正交变换矩阵，使模型参数在训练过程中始终保持在低维子空间内，从而在不牺牲性能的前提下显著降低了显存占用。
  • 该方法将大语言模型的参数解耦为“低维核心张量”与“正交投影矩阵”，仅需优化极小比例的参数即可实现全参数微调的效果。
  • 相比于LoRA等低秩适配方法，POET-X通过正交约束避免了参数空间的冗余累积，在长上下文任务中表现出更优的扩展性与稳定性。
  • 实验表明，在保持模型精度基本一致的情况下，POET-X相比全量微节约了约80%的优化器显存，使得在消费级显卡上微调百亿级参数模型成为可能。
  • POET-X的数学设计保证了梯度更新的正交性，有效缓解了深度神经网络训练中的梯度消失或梯度爆炸问题，提升了模型收敛的稳定性。
  • 该架构与现有的主流高效微调技术（如量化、FlashAttention）高度兼容，可作为一种通用的内存优化插件无缝集成到现有训练框架中。

学习路径

阶段 1：基础理论与背景知识

学习内容:

  • 大语言模型（LLM）的基本架构（Transformer、Attention机制）
  • 模型训练的基础流程（前向传播、反向传播、优化器如AdamW）
  • 显存（VRAM）管理的基础知识，包括激活值、梯度和优化器状态的显存占用分析
  • 正交变换的数学定义及其在深度学习中的作用（如保持梯度流动、防止特征退化）

学习时间: 2-3周

学习资源:

  • 课程：CS224N (NLP with Deep Learning) 或 CS231n (Convolutional Neural Networks)
  • 博客：“The Annotated Transformer” (Harvard NLP group)
  • 论文：Loshchilov & Gao, “AdamW: Decoupled Weight Decay Regularization”

学习建议: 在深入论文之前，务必理解为什么训练大模型会遇到显存瓶颈。重点复习线性代数中关于正交矩阵的性质，这是理解POET-X核心创新点的数学基础。

阶段 2：进阶训练优化技术

学习内容:

  • 参数高效微调（PEFT）方法，特别是LoRA（Low-Rank Adaptation）及其变体
  • 混合精度训练原理（FP16, BF16, FP8）
  • 深度学习中的正则化技术及其对显存的影响
  • 正交初始化与正交约束在神经网络训练中的应用

学习时间: 3-4周

学习资源:

  • 论文：Hu et al., “LoRA: Low-Rank Adaptation of Large Language Models”
  • 论文：Brock et al., “High-Performance Training of Large-Scale Neural Networks with Orthogonal Weight Normalization”
  • 文档：NVIDIA Transformer Engine 文档

学习建议: 尝试复现简单的LoRA微调代码，体会矩阵分解如何减少参数量。对比普通全参数微调与PEFT方法在显存占用上的区别，为理解POET-X的“Scaling Orthogonal Transformation”做铺垫。

阶段 3：POET-X 核心原理精读

学习内容:

  • 精读 POET-X 论文，理解其如何利用正交变换来解耦训练过程中的显存占用
  • 掌握POET-X中的核心算法：如何通过缩放正交变换来替代部分全量参数更新
  • 分析POET-X在不同阶段（如微调 vs 全量训练）中的显存节省策略
  • 理解该方法对模型收敛性及最终性能的影响

学习时间: 2-3周

学习资源:

  • 论文原文：POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation (arXiv)
  • GitHub：寻找相关的开源实现或类似的高效训练库（如DeepSpeed）

学习建议: 重点关注论文中关于“Orthogonal Transformation”的数学推导部分。思考为什么正交性有助于在减少显存的同时保持梯度的有效性。绘制出POET-X的训练流程图，与传统训练方法进行对比。

阶段 4：代码实现与工程实践

学习内容:

  • 基于PyTorch实现POET-X的核心算子
  • 学习如何在大规模分布式训练框架（如DeepSpeed, Megatron-LM）中集成此类新算法
  • 掌握显存分析工具（如torch.cuda.memory_summary）来验证POET-X的显存节省效果
  • 在中等规模模型（如Llama-3-8B或类似）上进行微调实验

学习时间: 4-6周

学习资源:

  • 文档：PyTorch Distributed Documentation
  • 仓库：DeepSpeed / Megatron-LM GitHub Repositories
  • 硬件：访问具有高性能GPU（如A100/H100）的算力平台

学习建议: 不要一开始就在超大模型上尝试。先在小型Transformer模型（如MiniGPT）上验证你的POET-X实现逻辑是否正确。记录每一步的显存峰值，确保理论上的显存节省能够在工程中复现。

阶段 5：专家级优化与前沿探索

学习内容:

  • 对比POET-X与其他前沿显存优化技术（如FlashAttention, Quantization-aware Training）的异同与优劣
  • 探索POET-X在特定模态（如多模态大模型）或极端显存受限场景下的应用潜力
  • 研究如何将正交变换思想与其他压缩技术（如剪枝、蒸馏）结合
  • 针对POET-X可能存在的数值稳定性问题进行深入分析和改进

学习时间: 持续学习

学习资源:

  • 会议：NeurIPS, ICLR, ICML 最新论文
  • 社区：Hugging Face Forums, Reddit r/MachineLearning
  • 论文：关注Tim Dettmers等人在高效训练领域的最新工作

学习建议: 在精通POET-X后，尝试思考其局限性

常见问题

什么是 POET-X，它的核心思想是什么？

POET-X（Memory-efficient LLM Training by Scaling Orthogonal Transformation）是一种旨在降低大语言模型（LLM）训练过程中显存开销的技术。其核心思想是利用正交变换的特性来优化参数存储和梯度计算。通过引入并缩放特定的正交变换矩阵，POET-X 能够在不显著牺牲模型性能的前提下，大幅减少训练时需要存储的优化器状态（特别是 Adam 优化器中的一阶和二阶矩），从而实现显存高效的训练。

POET-X 主要解决了大模型训练中的什么痛点？

POET-X 主要解决了大模型训练中显存占用过高的问题，特别是优化器状态显存占用。在标准的大模型训练（如使用 AdamW）中，模型参数本身可能只占用总显存的一小部分，而大量的显存被优化器用于存储动量等状态信息所消耗。POET-X 通过减少这些优化器状态的存储需求，使得在有限的硬件资源（如单张 GPU）上能够训练参数量更大的模型，或者在同等硬件下扩大 Batch Size 以提高训练稳定性。

POET-X 是如何实现显存节省的？

POET-X 的实现机制主要包含两个方面：

  1. 参数化重构：它将模型的全参数训练转化为对低维“缩放因子”的训练，同时利用正交矩阵（其转置等于其逆）的特性来维持参数空间的维度。这种设计允许在反向传播计算梯度时，不需要为所有的模型参数显式地存储和更新完整的优化器状态。
  2. 状态解耦：通过数学上的正交约束，POET-X 减少了需要高精度维护的状态变量数量，从而显著降低了通常由 Adam 优化器带来的额外显存负担。

使用 POET-X 会对模型的最终性能（收敛性）造成影响吗？

根据论文中的实验结果，POET-X 在保持显存高效的同时，能够维持与全参数微调（Full Fine-tuning）相当的性能。在多个基准测试和数据集上，POET-X 展现出了与标准训练方法相近的收敛曲线和最终精度。虽然存在极微小的性能波动，但在大多数实际应用场景中，这种性能损失是可以忽略不计的，换回的是显存占用的大幅降低。

POET-X 与 LoRA（Low-Rank Adaptation）等参数高效微调（PEFT）方法有什么区别？

虽然两者都旨在降低计算或存储成本，但侧重点不同：

  • LoRA 是一种参数高效微调（PEFT）方法，它冻结预训练模型的权重，只训练极少量的低秩矩阵分解参数。LoRA 主要关注的是减少可训练参数的数量。
  • POET-X 关注的是训练过程中的显存效率，特别是优化器状态的显存占用。它并不一定像 LoRA 那样大幅减少可训练参数的绝对数量，而是通过改变参数的存储和更新方式（利用正交变换），使得在训练这些参数时消耗的显存大幅减少。简而言之，LoRA 是“少练点”，POET-X 是“练同样的东西但省空间”。

POET-X 的适用场景有哪些？

POET-X 特别适用于以下场景：

  1. 消费级显卡训练：在显存受限的硬件（如 24GB 或更少显存的 GPU）上尝试训练或全参数微调中等规模的大模型。
  2. 极大 Batch Size 训练：当需要通过增大 Batch Size 来提高训练稳定性或梯度累积效率，但显存不足以支撑标准优化器的状态存储时。
  3. 边缘设备或端侧训练：在资源受限的嵌入式设备上进行模型的本地化更新或训练。

引入正交变换是否会导致训练速度变慢（计算开销增加）？

引入正交变换确实会增加一定的计算复杂度，因为需要进行额外的矩阵乘法操作来维持正交性或应用变换。然而，论文指出这种计算开销通常是可以接受的，且在现代硬件（尤其是 GPU）上，矩阵运算高度优化。相比于显存不足导致的无法训练或频繁的内存交换带来的巨大时间损耗，POET-X 带来的额外计算成本通常是值得的，它实现了计算时间与显存占用之间的良好平衡。

引用

注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。

站内链接

相关文章