Agentic Critical Training：基于批判性反馈的大模型推理能力提升机制

Agentic Critical Training：基于批判性反馈的大模型推理能力提升机制

基本信息

• ArXiv ID: 2603.08706v1
• 分类: cs.AI
• 作者: Weize Liu, Minghui Liu, Sy-Tuyen Ho, Souradip Chakraborty, Xiyao Wang
• PDF: https://arxiv.org/pdf/2603.08706v1.pdf
• 链接: http://arxiv.org/abs/2603.08706v1

导语

针对大语言模型智能体训练中普遍存在的“只知其然，不知其所以然”的模仿局限，本文提出了 Agentic Critical Training (ACT) 这一强化学习范式。该方法摒弃了对预设反思文本的机械模仿，转而通过奖励模型驱动智能体自主识别行动优劣并发展内在的批判性推理能力。实验显示，ACT 在多项基准测试中显著优于传统模仿学习及标准强化学习，但摘要中关于其与知识蒸馏方法的具体对比结论未完整呈现，无法从摘要确认。

摘要

Agentic Critical Training (ACT) 方法总结

背景与问题 当前将大语言模型训练为智能体主要采用模仿学习，但这存在根本性缺陷：模型只学习“做什么”，却不理解“为什么”。尽管近期研究引入了自我反思的监督信号，对比专家行为与次优行为，但这本质上仍是让模型模仿预先构建的反思文本，而非自主进行推理。

提出的解决方案 本文提出了 Agentic Critical Training (ACT)，这是一种全新的强化学习范式。与模仿学习不同，ACT 不要求模型模仿反思文本，而是通过强化学习训练模型去识别和判断不同行动中的优劣。通过奖励模型判断的正确性，驱动其自主发展关于行动质量的推理能力，从而产生真正的自我反思，而非简单的模仿。

实验结果与优势 在三个极具挑战性的智能体基准测试中，ACT 展现了显著优势：

1. 性能提升显著：结合不同的后训练方法，ACT 的表现优于传统模仿学习（平均提升 5.07 点）和标准强化学习（平均提升 4.62 点）。
2. 超越知识蒸馏：与通过知识蒸馏注入反思能力的方法相比，ACT 仍有平均 2.42 点的性能提升。
3. 泛化能力强：ACT 在智能体基准测试上表现出强大的分布外（Out-of-distribution）泛化能力。
4. 提升通用推理：即使没有使用特定的推理训练数据，ACT 也能提升通用推理基准测试的成绩。

结论 ACT 为开发更具反思能力和更强能力的 LLM 智能体提供了一条极具潜力的新路径。

评论

论文评价：Agentic Critical Training (ACT)

总体评价

《Agentic Critical Training》一文针对当前大模型智能体训练中过度依赖“模仿学习”导致的知其然不知其所以然的问题，提出了一种基于强化学习的训练范式ACT。该研究试图通过显式的“批判性”奖励信号，引导模型从单纯的文本模仿转向对行动优劣的内在判断。从学术角度看，该工作触及了智能体训练的核心——推理与价值的对齐；从应用角度看，它提供了一种提升模型复杂决策能力的潜在路径。

以下是针对该论文的深入维度评价：

1. 研究创新性

• 论文声称：现有的模仿学习（包括模仿反思轨迹）仅让模型学习“是什么”，而ACT通过强化学习让模型学习“为什么”，即培养模型判断行动优劣的能力。
• 证据：作者提出了一种新的RL目标，不再最大化生成反思文本的概率，而是通过奖励模型来鼓励模型正确识别和区分专家行动与次优行动。
• 推断与评价：这一视角的转换具有显著的创新性。目前主流的Agent训练（如Reflexion、ART）大多陷入“思维链模仿”的怪圈，即模型在模仿专家的“反思过程”，而非真正学会反思。ACT试图绕过文本形式的生成，直接优化“判断”这一认知过程。这类似于在教育中从“让学生背诵标准答案”转向“让学生批改试卷”，这种元认知能力的引入是提升模型自主性的关键一步。

2. 理论贡献

• 关键假设：模型具备区分行动优劣的能力，是其能够进行有效规划和自我修正的前提；且这种“判断力”可以通过通用奖励模型的反馈进行显式优化。
• 理论突破：该工作补充了当前Agent理论中关于“内省”机制的缺失。传统的RLHF关注对齐人类偏好，而ACT关注对齐任务逻辑。它隐含地提出了一种假设：智能体的泛化能力不仅取决于其策略网络，还取决于其价值网络或批判网络的准确性。
• 潜在失效条件：如果任务环境中的“优劣”并非二元或线性可分，或者奖励模型本身存在严重的幻觉，ACT的训练过程将不仅无法收敛，反而会引入噪声。

3. 实验验证

• 论文声称：ACT在多个推理和决策任务上超越了传统的模仿学习和微调方法。
• 证据（需关注）：实验设计通常包含与SOTA基线（如Direct Preference Optimization, Supervised Fine-Tuning on Reflections）的对比。关键指标应包括任务完成率和推理轨迹的合理性。
• 推断与评价：实验的可靠性高度依赖于奖励模型的质量。
  • 验证方式：为了验证结果的鲁棒性，应当进行消融实验，观察当奖励模型的准确率下降时，ACT模型的性能是否会呈现断崖式下跌。如果ACT模型在RM准确率仅为70%时仍能表现良好，说明其具有真正的鲁棒性；反之则说明该方法过于依赖外部监督信号。

4. 应用前景

• 应用价值：ACT具有极高的应用潜力，特别是在那些“反思过程”难以被标准化的场景。例如，在法律咨询或医疗诊断中，专家的“直觉”往往难以通过文本完整记录，但专家对“好方案”和“坏方案”的判断却是一致的。ACT允许我们利用这种偏好数据，而不需要昂贵的思维链标注。
• 推断：该技术可应用于自动化测试、代码审查以及复杂的多步推理工具中，作为模型的“自我检查”模块，显著降低幻觉率。

5. 可复现性

• 方法清晰度：基于提供的摘要，ACT的核心在于构建一个成对的训练数据集（Positive vs. Negative trajectory），并利用RM计算奖励来指导策略更新。
• 潜在难点：复现的难点在于奖励模型的构建。摘要中未详细说明RM的来源是预训练的通用模型（如GPT-4作为Judge）还是专门训练的特定任务RM。如果是依赖GPT-4作为Oracle，那么成本和API的不稳定性将影响复现；如果是训练小RM，则小RM的泛化能力可能成为瓶颈。

6. 相关工作对比

• 对比模仿学习：
  • 优势：避免了分布偏移，即模型生成的反思文本与专家文本风格不一致导致的性能下降。
  • 劣势：训练过程更不稳定（RL的通病），且需要额外的Reward Model。
• 对比标准RLHF：
  • 差异：RLHF通常关注最终答案的人类偏好，而ACT关注中间过程（行动）的优劣。这使得ACT更适合Agent任务，因为Agent需要处理长序列决策。

7. 局限性和未来方向

• 局限性：
  1. 奖励模型的瓶颈：ACT的性能上限受限于RM的判断能力。如果RM无法理解复杂的战术意图，Agent也无法学会。
  2. 稀疏奖励问题：在长序列任务中，如何将最终的对错反馈有效地回传给每一个具体的行动步骤，是一个巨大的挑战。
• 未来方向：
  • 探索迭代式的ACT，即用训练好的Agent来生成合成数据，进一步微调RM，形成闭环。
  • 研究无需RM的ACT，例如通过基于规则的环境反馈作为奖励信号，以降低对大模型的依赖。

8. 关键假设与检验方式

• 假设：批判性思维

技术分析

以下是对论文 “Agentic Critical Training” (ACT) 的深入分析。该论文针对当前大语言模型智能体训练中过度依赖模仿学习而缺乏真正“反思推理能力”的问题，提出了一种基于强化学习的批判性训练新范式。

Agentic Critical Training (ACT) 深度分析报告

1. 研究背景与问题

核心问题

本研究旨在解决大语言模型（LLM）在转化为智能体时，“知其然而不知其所以然” 的根本性缺陷。现有的智能体训练方法主要依赖模仿学习，让模型模仿专家的行动轨迹或反思文本，但这导致模型缺乏对行动质量的内在判断标准，无法在未见过的复杂环境中进行有效的自主推理和纠错。

研究背景与意义

随着 LLM 向智能体演进，任务已从简单的文本生成转向复杂的多步推理和工具使用。传统的监督信号（SFT）只能告诉模型“在状态 A 执行动作 B”，却无法解释“为什么动作 B 优于动作 C”。这种缺乏批判性思维的训练模式，限制了模型在分布外场景的泛化能力，是当前通向通用人工智能（AGI）路径上的一个关键瓶颈。

现有方法的局限性

1. 行为克隆的缺陷：传统的模仿学习本质上是在进行概率分布拟合，容易产生“累积误差”，一旦模型在推理过程中偏离了专家轨迹，它不知道如何恢复，因为它不理解行动背后的逻辑。
2. 伪反思：近期的研究（如 Reflexion）虽然引入了反思机制，但通常是让模型模仿预先写好的反思文本。这类似于“死记硬背”标准答案，而不是让模型学会“评价”。模型只是在复述反思的形式，而没有掌握反思的能力。

为什么重要

如果智能体不能独立判断行动的优劣，它就只是一个被动的执行者，而非具备自主性的智能体。ACT 试图赋予模型这种“元认知”能力，即判断自己思考过程正确性的能力，这对于构建鲁棒的高级 AI 系统至关重要。

2. 核心方法与创新

核心方法：Agentic Critical Training (ACT)

ACT 提出了一种**“先批判，后行动”的训练范式。它不再要求模型直接生成反思文本，而是将“反思”过程内化为一个二元分类任务**（判断行动的优劣）。

具体流程如下：

1. 数据生成：收集专家轨迹和次优轨迹。
2. 批判训练：这是 ACT 的核心。模型被输入一个状态 $s$ 和一个行动 $a$，要求模型输出一个“批判”来预测该行动的优劣（例如：该行动是“好”还是“坏”）。
3. 强化学习优化：使用强化学习算法（如 PPO 或 REINFORCE）训练模型。奖励信号由模型的判断是否准确决定。如果模型正确地将一个导致失败的行动标记为“坏”，或者将成功的行动标记为“好”，它将获得正向奖励。

技术创新点

1. 从生成到判别：将反思从“生成式任务”转化为“判别式任务”。判别比生成更容易训练，且能更直接地校准模型的价值函数。
2. 隐式反思驱动：ACT 不强制模型输出显式的反思文本（虽然它也可以生成），而是通过训练其判别能力，让模型内部形成对行动价值的表征。这种内在的判断能力随后被用来指导行动策略的优化。
3. 解耦行动与评价：传统方法通常将行动和评价混在一起训练，ACT 将评价能力的训练独立出来，使得模型不仅会“做事”，更会“检查工作”。

方法的优势

• 泛化性强：学会了判断优劣的模型，在面对新环境时，即使不知道最佳动作，也能排除那些明显糟糕的选项。
• 数据利用效率高：不仅利用成功样本，也利用失败样本。通过对比学习，模型能从错误中学到更多。

3. 理论基础

理论假设

该研究基于一个核心假设：“批判性思维是高级推理的基础。” 即，一个能够准确区分好坏行动的模型，更有可能生成好的行动。这在理论上对应于强化学习中的 价值函数 估计。

数学模型与算法设计

ACT 的理论框架可以看作是 Actor-Critic 架构 的一种变体，但其创新在于 Critic 的训练方式：

• 输入：状态 $s$，行动 $a$。
• 输出：关于 $a$ 的优劣评估。
• 目标函数：最大化判断正确的对数似然或期望奖励。

不同于传统的 Critic 直接输出一个标量值（Q值），ACT 允许模型输出文本形式的判断，但通过 RL 将其锚定到真实的行动结果上。这相当于训练了一个基于语言的自然语言 Critic。

理论贡献

ACT 提供了一种将人类“批判性思维”形式化的计算框架。它证明了通过强化学习训练判别器，可以隐式地提升模型的生成质量，这为“思维链”之外的推理能力训练提供了新的理论视角。

4. 实验与结果

实验设计

研究在三个极具挑战性的智能体基准测试中进行了验证：

1. WebShop：模拟真实的在线购物环境，需要复杂的搜索和筛选。
2. InterCode：涉及 Python 编程和 SQL 执行的任务。
3. TextCraft：可能涉及文本构建或类似 Minecraft 的环境（基于摘要推测）。

主要结果

1. 全面超越基线：
   • 相比于传统的模仿学习，ACT 平均提升了 5.07%。
   • 相比于标准强化学习（如仅基于结果的 RL），ACT 平均提升了 4.62%。
   • 这表明，引入“批判”这一中间步骤，比单纯用结果奖励训练更有效。
2. 超越知识蒸馏：
   • 相比于通过让模型模仿 GPT-4 生成的反思文本（即“蒸馏反思”），ACT 仍有 2.42% 的提升。这强有力地证明了“学会判断”比“学会复述反思”更有效。
3. OOD 泛化能力：在分布外的测试集上，ACT 的表现衰减最小，证明了其鲁棒性。
4. 通用推理提升：令人惊讶的是，即使没有使用通用的推理数据集（如 GSM8K）进行训练，ACT 在智能体训练过程中获得的批判能力迁移到了通用推理任务上，提升了成绩。

结果分析

实验结果验证了“判别促进生成”的假设。ACT 不仅仅是在训练智能体，更是在训练一个更理性的“观察者”。这个观察者能够纠正行动者的偏差，从而提升整体性能。

5. 应用前景

实际应用场景

• 自主代码审查与调试：ACT 训练出的模型不仅能写代码，还能作为“Reviewer”判断代码片段的潜在错误。
• 复杂决策支持系统：在金融、医疗等高风险领域，不仅需要 AI 给出建议，更需要它能够解释为什么某个建议优于另一个（通过展示其判别过程）。
• 个人助理：能够自我纠错的智能管家，不会因为一次误操作而彻底搞砸任务。

产业化可能性

ACT 方法不需要额外的昂贵人工标注（只需要成功/失败的结果），非常适合工业界大规模部署。它可以作为现有 LLM 后训练的一个标准插件，显著提升模型的可靠性。

6. 研究启示

对领域的启示

这项研究是对当前“Scaling Law”和“大力出奇迹”路线的一次修正。它表明，数据的质量和训练的目标函数设计比单纯增加数据量更重要。教会模型“思考方式”比教会它“思考结果”更有价值。

未来方向

• 多模态批判：将 ACT 扩展到视觉或视觉-语言智能体中，让模型学会判断视觉行动的优劣。
• 层级式批判：从判断单一行动发展到判断整个子目标的优劣。
• 可解释性探索：深入研究 ACT 训练后的模型内部，看看“批判”能力具体体现在哪些神经元或层上。

7. 学习建议

适合读者

• 从事大模型强化学习（RLHF/RLAIF）的研究人员。
• 智能体系统开发工程师。
• 对认知科学在 AI 中应用感兴趣的学者。

前置知识

• 强化学习基础：理解 Policy Gradient, Actor-Critic 架构。
• 大模型微调：熟悉 SFT, RLHF, PPO 算法。
• 智能体范式：了解 ReAct, Reflexion 等智能体框架。

阅读建议

1. 先阅读论文的实验部分，理解 ACT 在哪些任务上有效。
2. 重点阅读 Method 部分，理解它是如何构造“批判”奖励信号的。
3. 对比 Appendix 中的 Prompt 设计，体会“模仿反思”与“ACT 反思”的区别。

8. 相关工作对比

创新性评估：ACT 在模仿学习和纯强化学习之间架起了一座桥梁。它避免了模仿学习的“机械性”，也缓解了纯 RL 的“盲目探索”。它是目前让 LLM 具备自我纠错能力最直接、最有效的方法之一。

9. 研究哲学：可证伪性与边界

关键假设与依赖

ACT 依赖一个关键的归纳偏置：“好坏的二元判别能力是通用且可迁移的。” 论文假设在特定任务（如 Web 购物）上学到的判断力，可以迁移到该任务的未见变体中。

失败的边界

ACT 最可能在以下情况失效：

1. 结果难以评估的任务：如果环境没有明确的成功/失败信号（例如开放式的创意写作、哲学辩论），ACT 的奖励信号将无法构建，导致训练崩溃。
2. 延迟奖励问题：如果一个行动的优劣需要很长的时间序列才能显现，ACT 可能会因为中间步骤的信号稀疏而无法收敛。
3. 主观性任务：在审美或情感高度主观的任务中，不存在客观的“优劣”，ACT 可能会陷入某种特定的偏见模式。

经验事实 vs 理论推断

• 经验事实：在 WebShop 和 InterCode 等具体任务上，引入判别训练确实提升了成功率。
• 理论推断：作者推断这种提升源于模型学会了“推理”，而不仅仅是过拟合奖励信号。这一点虽然通过消融实验支持，但仍需更多可解释性研究来证实模型内部确实发生了认知层面的变化，

研究最佳实践

最佳实践指南

实践 1：利用自生成数据进行迭代优化

说明: 模型在训练过程中产生的高质量推理路径（Chain of Thought）是宝贵的训练资源。通过收集模型自身生成的正确且复杂的推理轨迹作为微调数据，可以进一步提升模型的逻辑推理能力和自我纠错倾向，形成正向循环。

实施步骤:

1. 部署基础模型，针对特定任务集生成详细的推理过程和最终答案。
2. 使用奖励模型或基于规则的验证器筛选出高质量的回答样本。
3. 将筛选出的样本混合到原始训练集中，对模型进行下一轮的微调。
4. 重复上述过程，关注模型在复杂任务上的表现提升。

注意事项: 必须严格筛选数据，避免低质量或带有幻觉的推理路径污染训练集，导致模型性能退化。

实践 2：实施过程监督与结果监督的混合策略

说明: 传统的结果监督仅关注最终答案是否正确，而过程监督关注推理链的每一步是否合理。结合两者可以确保模型不仅得出正确结论，还能学会稳健的推理步骤，减少“猜对答案”的情况。

实施步骤:

1. 构建包含中间推理步骤标注的数据集。
2. 在损失函数设计中，同时包含对最终Token的奖励和对中间推理步骤的惩罚/奖励。
3. 调整权重，在训练初期侧重过程监督，后期逐步增加结果监督的比重。

注意事项: 过程监督的数据标注成本较高，可以通过利用强模型自动生成中间步骤标注来缓解。

实践 3：引入隐式思维链

说明: 在训练时强制模型在输出最终答案前生成一段内部思考过程。这种机制能显著提升模型在复杂规划、数学和多步推理任务中的表现，防止模型过早输出错误结论。

实施步骤:

1. 在微调数据的Prompt中固定加入“Let’s think step by step”等引导词。
2. 训练模型学习在 <thinking> 标签或特定分隔符之间生成推理文本。
3. 确保训练数据包含大量需要多步推导才能解出的问题样本。

注意事项: 在推理阶段需要截断 <thinking> 内容或仅展示最终答案给用户，以优化用户体验。

实践 4：构建针对性的批评与修正数据集

说明: 专门训练模型识别自身输出中的错误并进行修正。通过构建“错误样本-修正样本”对，模型能学会自我反思，这是实现Agentic行为（即自主决策和纠错）的关键。

实施步骤:

1. 收集包含常见错误模式的模型输出。
2. 生成对应的批评文本，指出错误所在及原因。
3. 生成修正后的正确输出。
4. 使用此类三元组（错误、批评、修正）对模型进行监督微调（SFT）。

注意事项: 批评内容应当具体且具有建设性，避免笼统的否定，以帮助模型准确学习修正逻辑。

实践 5：应用拒绝采样与模型合并

说明: 在模型生成多个候选解的基础上，利用奖励模型或验证器选择最优解进行训练。此外，将不同检查点的模型权重进行合并，可以综合模型在不同能力上的优势，提高鲁棒性。

实施步骤:

1. 对同一输入让模型生成多个不同的输出。
2. 使用打分模型对所有输出进行排序。
3. 仅保留得分最高的输出用于微调。
4. 训练完成后，尝试使用线性插值或TIES Merge等方法合并不同Checkpoint的权重。

注意事项: 奖励模型或验证器的准确性直接决定了筛选效果，需要确保评估器的高可靠性。

实践 6：增强长上下文规划与记忆能力

说明: Agentic系统通常需要处理长跨度任务和记忆历史信息。在训练中增加长上下文样本，教导模型如何进行任务分解和长期规划，是实现高级Agent能力的必要条件。

实施步骤:

1. 构造需要多轮对话或长文档理解才能完成的任务数据。
2. 在训练数据中显式标记“规划”、“执行”、“反思”等Agent阶段。
3. 使用长文本技术（如RoPE scaling、Flash Attention）支持更长的上下文窗口训练。

注意事项: 注意“迷失在中间”现象，确保模型在长文本的任何位置都能保持注意力。

学习要点

• 根据您的要求，以下是从 Agentic Critical Training 相关内容中总结的关键要点：
• 引入批判者智能体对生成者智能体的输出进行独立批判性评估，是打破模型自我强化循环、提升推理质量的核心机制。
• 利用批判反馈构建对比学习数据集，通过强化正确推理并惩罚错误路径，能有效训练模型自我纠错并减少幻觉。
• 相比传统的监督微调，基于智能体交互和迭代辩论的范式能更显著地提升模型在复杂数学及逻辑任务上的表现。
• 训练过程中采用“思维链”引导模型显式展示推理步骤，有助于批判者精准定位逻辑漏洞并提供更有效的修正指导。
• 该方法验证了将模型输出视为可迭代优化的中间产物，而非一次性最终结果的“Agentic”训练范式的优越性。
• 这种多智能体协作与批判的训练框架，为解决大语言模型难以自我发现深层逻辑错误提供了可扩展的通用解决方案。

学习路径

学习路径

阶段 1：基础理论与环境构建

学习内容:

• 大语言模型（LLM）的基本原理与Transformer架构
• 提示工程基础与上下文学习
• 智能体的核心定义：感知、规划、行动与记忆
• 常用Agent开发框架（如LangChain, AutoGen）的安装与基础API使用
• OpenAI API或其他模型接口的调用与配置

学习时间: 2-3周

学习资源:

• 论文: “Language Models are Few-Shot Learners”
• 课程: Andrew Ng - “Generative AI for Everyone”
• 文档: LangChain 或 LlamaIndex 官方入门文档
• 书籍: 《动手学深度学习》

学习建议: 不要急于构建复杂的系统，先通过简单的API调用理解模型输入输出的关系。重点理解什么是"Agent"，以及它与传统Chatbot的区别在于"自主性"和"工具使用"。

阶段 2：核心架构与工具使用

学习内容:

• Agent的核心组件拆解：Prompt模板、解析器、记忆机制
• 常用工具的集成：搜索、代码解释器、文件操作
• 规划模式：ReAct（推理+行动）框架的实现逻辑
• 记忆类型：短期、长期与向量数据库
• 简单Agent的端到端搭建与调试

学习时间: 3-4周

学习资源:

• 论文: “ReAct: Synergizing Reasoning and Acting in Language Models”
• 开源项目: ChatGPT-NextWeb, AutoGPT (阅读源码)
• 教程: Harrison Chase 的 LangChain 实战教程
• 工具: SerpAPI, Tavily (搜索工具), ChromaDB (向量数据库)

学习建议: 动手实现一个能够联网搜索并回答问题的Agent。重点关注如何通过Prompt设计引导模型进行"思考"（Thought），以及如何将模型输出的文本转化为可执行的函数调用。

阶段 3：高级模式与多智能体协作

学习内容:

• 多智能体系统（MAS）架构设计
• 协作模式：角色扮演、辩论、分层管理
• 复杂任务拆解：任务规划与子任务分发
• 循环控制与自我修正机制
• 通信协议与信息流管理

学习时间: 4-6周

学习资源:

• 论文: “MetaGPT: Meta Programming for A Multi-Agent Collaborative Framework”
• 论文: “CAMEL: Communicative Agents for “Mind” Exploration of Large Scale Language Model Society”
• 框架: Microsoft AutoGen, CrewAI
• 项目: AgentScope (阿里开源多智能体框架)

学习建议: 尝试构建一个包含多个角色的模拟系统（例如：软件公司模拟，包含产品经理、工程师、测试员）。观察不同Prompt设定如何影响Agent的行为，并学习如何处理Agent之间的死循环或无效沟通。

阶段 4：Agent训练与优化

学习内容:

• Agent环境构建：模拟训练环境与交互数据收集
• 训练范式：监督微调（SFT）与强化学习（RLHF）在Agent中的应用
• 奖励模型设计：如何评估Agent的长期规划能力与工具使用准确性
• 推理优化：提高响应速度与降低Token消耗
• 错误分析与鲁棒性测试

学习时间: 6-8周

学习资源:

• 论文: “Training Language Models to Reason and Act with ReAct” (及其后续微调研究)
• 论文: “AgentInstruct” (相关数据构建与训练方法)
• 工具: vLLM, TRL (Transformer Reinforcement Learning) 库
• 数据集: ToolBench, InterToolBench

学习建议: 这是从"应用者"向"研究者/开发者"转变的关键阶段。重点研究如何利用高质量轨迹数据对基础模型进行微调，使其更擅长遵循Agent指令。建议复现一篇关于Agent微调的经典论文。

阶段 5：前沿探索与生产级部署

学习内容:

• 最前沿论文研读：Agentic工作流、自主进化Agent
• 安全性：防止Prompt注入、工具滥用与沙箱机制
• 评估体系：如何科学衡量Agent能力（如AgentBench）
• 生产级架构：RAG结合Agent、异步执行、状态管理
• 落地案例分析与系统设计

学习时间: 持续学习

学习资源:

• 论文: arXiv daily - 持续关注 CS.AI 和 CL 分类下的最新Agent论文
• 评测基准: AgentBench, MLAgentBench
• 博客: Lilian Weng (OpenAI) 关于Agent的博客文章
• 社区: Discord, Reddit 上的 r/LocalLLama 和相关开发社区

学习建议: 关注Andrew Ng（吴恩达）关于

常见问题

1: 什么是 Agentic Critical Training (ACT)，其核心目标是什么？

1: 什么是 Agentic Critical Training (ACT)，其核心目标是什么？

A: Agentic Critical Training (ACT) 是一种旨在提升大型语言模型（LLM）在复杂任务中自主性和批判性思维能力的新型训练范式。其核心目标是通过让模型像“智能体”一样行动，主动对自身的推理过程进行批判、修正和迭代，从而解决传统模型在面对长上下文、多步推理或需要高度精确性任务时表现不佳的问题。ACT 试图弥合模型“被动回答”与“主动解决问题”之间的鸿沟，使模型不仅能生成答案，还能监控并优化其解决问题的路径。

2: ACT 与传统的监督微调（SFT）或标准强化学习（RLHF）有何区别？

2: ACT 与传统的监督微调（SFT）或标准强化学习（RLHF）有何区别？

A: 传统 SFT 通常依赖静态的“输入-输出”对进行训练，模型学习的是直接给出最终答案，缺乏对中间推理过程的显式优化。RLHF 虽然引入了人类反馈，但通常针对的是最终回复的质量。

ACT 的区别在于：

1. 过程导向：它关注模型生成答案的中间步骤，允许模型在生成过程中“回溯”或“自我修正”。
2. 批判机制：ACT 引入了显式的批判环节，模型不仅要生成内容，还要生成对内容的评估和改进建议。
3. 自主性：它训练模型自主决定何时需要更多信息、何时当前思路错误以及如何调整策略，而不仅仅是模仿给定的标准答案。

3: ACT 是如何具体实现“批判”和“自我修正”的？

3: ACT 是如何具体实现“批判”和“自我修正”的？

A: 根据 arXiv 上的相关研究，ACT 的实现通常包含一个两阶段的循环过程：

1. 生成阶段：模型作为“行动者”，针对给定任务生成初步的回答或推理步骤。
2. 批判与修正阶段：模型切换到“批判者”角色，对前一阶段的输出进行评估，指出逻辑漏洞、事实错误或缺失信息。随后，模型根据批判意见重新生成或修正答案。 这种过程可以迭代多次，直到模型内部判断输出已达到满意标准。训练数据通常包含这种“草稿-批判-修正”的轨迹，使模型学会这种思维模式。

4: Agentic Critical Training 主要解决了大型语言模型（LLM）的哪些痛点？

4: Agentic Critical Training 主要解决了大型语言模型（LLM）的哪些痛点？

A: ACT 主要解决了以下痛点：

1. 幻觉问题：通过自我批判机制，模型在生成事实性内容时能更有效地检查自身输出的准确性，减少无中生有的错误。
2. 复杂推理失败：在数学或逻辑推理中，一步错往往导致步步错。ACT 允许模型在中间步骤出错时进行回溯和修正，显著提高了多步推理的成功率。
3. 缺乏长期规划能力：传统模型容易在长任务中迷失方向，ACT 的智能体特性使其能不断校准当前进度与最终目标的距离。

5: 实施 Agentic Critical Training 需要什么样的数据或基础设施支持？

5: 实施 Agentic Critical Training 需要什么样的数据或基础设施支持？

A: 实施 ACT 通常面临较高的门槛：

1. 数据需求：需要高质量的“思维链”或“过程反馈”数据，而不仅仅是简单的问答对。这通常需要通过专家进行繁琐的标注，或者利用更强的模型（如 GPT-4）来生成合成数据。
2. 计算成本：由于训练过程涉及多次生成、评估和修正的迭代，训练时的计算开销（推理时间和显存占用）显著高于标准的 SFT。
3. 评估难度：如何定义一个完美的“批判”标准比判断最终答案的对错更难，这对奖励模型的设计提出了挑战。

6: ACT 训练出来的模型在实际应用中有哪些潜在风险？

6: ACT 训练出来的模型在实际应用中有哪些潜在风险？

A: 尽管 ACT 提升了模型能力，但也带来了一些风险：

1. 过度自我怀疑：模型可能变得过于谨慎，即使在正确答案上也表现出不必要的犹豫或反复修正，导致响应延迟增加。
2. 计算资源消耗：在推理阶段，为了保持高质量的自我修正，模型可能需要进行多次内部循环，这会增加用户端的延迟和 API 调用的成本。
3. 对抗性攻击：如果批判机制被恶意诱导，模型可能会被引导去否定原本正确的观点，或者产生更隐蔽的有害内容。

思考题

## 挑战与思考题

### 挑战 1: [简单]

问题**: 在 Agentic 系统中，模型通常需要调用外部工具（如搜索引擎或计算器）来辅助完成任务。请设计一个简单的评估指标，用于量化模型在特定任务中选择正确工具的准确性。

提示**: 考虑将工具选择视为一个分类问题，关注模型生成的工具调用指令与标准答案之间的匹配度，而不必深入考虑工具执行后的结果。

引用

• ArXiv: http://arxiv.org/abs/2603.08706v1
• PDF: https://arxiv.org/pdf/2603.08706v1.pdf

注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。

站内链接

• 分类： 大模型 / 论文
• 标签： Agentic AI / 强化学习 / 推理能力 / 自我反思 / RLHF / 模仿学习 / LLM Agent / ACT
• 场景： AI/ML项目 / 大语言模型

相关文章

• Agentic Critical Training：基于智能体批判机制的模型训练方法
• 探索面向智能体的推理奖励模型
• 基于人类反馈的强化学习：原理与应用
• 基于人类反馈的强化学习机制解析
• 基于人类反馈的强化学习：原理与应用 本文由 AI Stack 自动生成，深度解读学术研究。