多轮LLM系统模型切换性能漂移评估方法
基本信息
- ArXiv ID: 2603.03111v1
- 分类: cs.CL
- 作者: Raad Khraishi, Iman Zafar, Katie Myles, Greig A Cowan
- PDF: https://arxiv.org/pdf/2603.03111v1.pdf
- 链接: http://arxiv.org/abs/2603.03111v1
导语
在多轮对话的大语言模型系统中，因模型升级或跨供应商路由而中途切换模型，可能导致上下文理解的不一致。本研究通过实证分析评估了这种“交接”过程对系统性能漂移的具体影响。虽然摘要未详述具体指标，但该工作揭示了模型异构性带来的潜在稳定性风险。这为未来构建更鲁棒的模型切换策略与评估基准提供了重要参考。
摘要
以下是该内容的中文总结：
研究背景 在部署的多轮大语言模型（LLM）系统中，由于模型升级、跨提供商路由或降级处理，系统经常会在对话中途切换模型。这种“交接”会导致上下文不匹配：后续轮次的生成模型必须基于由不同模型生成的对话前缀进行推理，这可能引发隐性的性能漂移。
研究方法
- 基准测试：研究者引入了“切换矩阵”基准测试。该测试让前缀模型负责前几轮对话，后缀模型负责最后一轮，并与无切换（始终使用同一模型）的基线进行对比，通过配对置信区间评估差异。
- 实验对象：基于 CoQA（对话式问答）和 Multi-IF（多轮指令跟随）数据集进行评估。
核心发现
- 显著的性能波动：即使是单轮交接也会导致普遍且具有统计学显著性的方向性影响。
- 在 Multi-IF 严格成功率上，波动幅度为 -8 至 +13 个百分点。
- 在 CoQA 的 F1 分数上，波动为 ±4 个绝对值。
- 这种影响幅度相当于不同档次模型（如 GPT-5-nano 与 GPT-5-mini）之间的性能差距。
- 系统性的兼容性模式：
- 脆弱型：某些后缀模型在几乎所有非自身生成的对话历史下表现都会下降。
- 适应型：另一些后缀模型在几乎所有外来前缀下表现反而会有所提升。
- 风险归因：研究者将切换引起的漂移分解为“前缀模型影响力”和“后缀模型敏感度”，这两个因素能解释约 70% 的方差，有助于实现对交接风险的压缩监控。
结论 交接鲁棒性是单一模型基准测试所忽略的操作可靠性维度。研究建议在多轮 LLM 系统中必须进行明确的监控，并采取针对交接过程的缓解策略。
评论
论文评价：Evaluating Performance Drift from Model Switching in Multi-Turn LLM Systems
总体评价
该论文针对多轮大语言模型（LLM）应用中日益普遍的“模型切换”现象进行了开创性的实证研究。作者通过量化分析不同模型在对话历史交接时的兼容性，揭示了“异构上下文”带来的隐性性能漂移风险。这项工作填补了当前LLM评估体系中的一个关键盲区，即从静态的单一模型评估转向了动态的系统级交互评估。
以下是基于学术与应用视角的深入分析：
1. 研究创新性
- 论文声称：现有的LLM评估主要集中在单一模型的静态能力上，忽略了多轮系统中因模型升级、路由或降级导致的“交接”问题。
- 证据：作者提出了“切换矩阵”基准测试方法，系统地测量了前缀模型与后缀模型非一致时的性能变化，并定义了“性能漂移”指标。
- 推断：该研究首次将软件工程中的“向后兼容性”概念形式化地引入到LLM的对话上下文管理中。创新点在于不再视模型为孤立的智能体，而是视其为对话流中的接力者。
- 评价：高度创新。在业界热衷于模型路由和级联的背景下，该研究及时指出了“上下文污染”这一隐蔽风险。
2. 理论贡献
- 论文声称：模型切换导致的性能漂移不仅源于模型能力的绝对差异，还源于“上下文风格”或“推理链路”的不兼容。
- 证据：实验显示，即使后缀模型能力更强（如从Llama-2-7B切换到Llama-2-70B），如果前缀风格不匹配，后缀模型的表现可能反而劣于基线，甚至不如原模型。
- 推断：这挑战了“模型越大越好”的线性假设，提出了**“上下文惯性”或“分布外生成”**的理论问题。即模型在推理时，不仅依赖Prompt，还隐式地依赖前文生成的概率分布特征。
- 关键假设：假设前缀模型的生成风格（如词汇选择、句式结构）会显著干扰后缀模型的注意力机制。
- 检验方式：可通过注意力机制可视化分析，检查后缀模型在处理异构前缀时，是否将过多注意力分配到了不相关的风格特征词上，而非语义逻辑词上。
3. 实验验证
- 论文声称：在CoQA（对话式问答）和Multi-IF（多轮指令跟随）数据集上，模型切换普遍导致性能下降。
- 证据：使用了配对置信区间来统计显著性，覆盖了GPT-3.5、GPT-4、Llama系列等主流模型的排列组合。
- 推断：实验设计较为扎实，覆盖了同家族模型升级（如Llama 2 -> Llama 3）和跨家族切换（如开源 -> 闭源）的场景。
- 局限性指出：实验主要基于客观指标（如F1分数、准确率）。对于创意写作、心理咨询等主观性较强的任务，漂移的表现形式可能不同（例如：语调割裂感），论文对此类软性指标的量化不足。
- 可靠性检验：建议复现时增加“人类评估”环节，验证客观指标下降是否等同于用户体验的显著下降。
4. 应用前景
- 应用价值：极高。
- 成本优化策略：该研究为“小模型开场，大模型收尾”的级联架构提供了风险评估依据。如果切换导致性能崩塌，则该策略不可行。
- A/B测试与模型发布：在模型灰度发布或A/B测试中，如果用户处于长对话中，后端默默切换模型可能导致用户感知的“变笨”。
- 多智能体系统：在多Agent协作中，不同Agent（基于不同LLM）交接任务时，必须考虑协议兼容性。
- 失效条件：当系统对一致性要求极高（如法律顾问、医疗问诊）时，任何微小的漂移都可能导致严重的信任危机，此时应避免切换或引入“重写层”来平滑上下文。
5. 可复现性
- 论文声称：提供了基准测试的构建方法和详细的统计数据。
- 证据：使用了公开数据集（CoQA, Multi-IF）。
- 推断：核心方法“切换矩阵”逻辑清晰，易于复现。
- 潜在问题：论文未明确说明API调用（特别是GPT-4）时的温度参数和Top-p设置。对于概率性生成，这些参数直接影响“风格”的稳定性。
- 改进建议：应公开所有生成的对话日志，而不仅仅是最终评分，以便社区分析具体的失败案例。
6. 相关工作对比
- 对比领域：
- 模型融合：相关工作多关注模型权重的合并，而非推理时的上下文切换。
- 长上下文评估：关注的是模型处理长文本的能力，而非长文本来源的异构性。
- 优劣分析：本文的优势在于切入点极窄且深，直击痛点。劣势在于未提出解决漂移的算法（如上下文风格迁移、Prompt中间层适配等），仅止步于诊断问题。
7. 局限性和未来方向
- 局限性
技术分析
技术分析：多轮 LLM 系统中模型切换引发的性能漂移评估
1. 研究背景与问题
核心问题
该研究针对多轮大语言模型（LLM）应用中的一个工程隐患进行了量化分析：模型切换导致的性能漂移。具体而言，当对话上下文由模型 A 生成，而后续回复由模型 B 生成时，模型 B 的表现是否会偏离其基准水平。
研究动机
在 LLM 落地场景中，出于成本控制、模型版本迭代或级联架构的需求，动态路由和模型切换已成为常见手段。然而，现有的评估基准多基于“静态孤岛”假设，即假设对话历史与当前回复由同一模型生成。这忽略了一个现实问题：异构上下文兼容性。若切换导致性能下降超过模型升级带来的增益，则系统整体收益可能为负。
现有评估的局限性
主流基准（如 MMLU, GSM8K）主要关注单轮问答或固定上下文。在多轮评估中，通常不区分上下文的来源模型。这导致了一个盲区：模型 B 在处理模型 A 生成的历史时，是否会因语言风格、逻辑链条或格式的差异而产生理解偏差。
2. 核心方法与创新
切换矩阵
研究者提出了一种名为 “切换矩阵” 的基准测试方法。
- 定义：构建一个 $N \times N$ 的矩阵，行代表生成对话前缀（历史）的模型，列代表负责生成最后一轮回复的模型。
- 对角线：代表基线性能，即无切换情况（前缀和后缀是同一模型）。
- 非对角线：代表切换场景，即“跨模型推理”。
- 评估指标：通过对比非对角线单元格与对角线单元格的性能差异，计算“漂移值”。
技术创新点
- 维度解耦：研究将漂移分解为两个独立维度：
- 前缀模型影响力：指特定模型生成的上下文对后续模型性能的干扰程度。
- 后缀模型敏感度：指特定模型处理非自身生成历史时的适应能力差异。
- 统计验证：研究使用了配对置信区间来验证漂移的显著性，排除了随机波动的影响。
方法优势
- 通用性：该方法不依赖特定模型架构，适用于 API 级别的黑盒模型评估。
- 可操作性：矩阵结果可直接用于指导路由策略，判断特定模型组合是否兼容。
3. 理论基础
理论假设
该研究基于以下假设：
- 分布差异：模型 A 生成的文本分布 $P_A$ 与模型 B 的训练分布 $P_B$ 存在差异。模型 B 处理 $P_A$ 样本时，属于处理分布外数据。
- 上下文依赖：LLM 的预测概率高度依赖于上下文的潜空间特征。不同模型构建的潜空间拓扑结构差异可能导致“上下文不连续”。
数学模型
研究者对漂移现象进行了方差分解，提出观察到的性能漂移 $D_{A \to B}$ 可以近似表示为前缀效应和后缀效应的函数： $$ D_{A \to B} \approx \alpha \cdot \text{Influence}(A) + \beta \cdot \text{Sensitivity}(B) $$ 实验数据拟合显示，这两个因素能解释约 70% 的性能方差。这表明模型兼容性具有一定的可预测性。
4. 实验与结果
实验设计
- 数据集：
- CoQA (Conversational Question Answering)：侧重于多轮对话中的事实一致性。
- DocVQA：侧重于文档理解场景下的长上下文处理。
- 评估对象：涵盖了开源模型（如 Llama 系列）和闭源 API 模型（如 GPT 系列）。
核心发现
- 漂移的普遍性：在所有测试的模型对中，均观察到了不同程度的性能漂移。
- 非对称性：漂移具有方向性。例如，从“强模型”切换到“弱模型”的漂移幅度，通常大于反向切换。
- 前缀污染：某些模型生成的上下文包含特定的格式标记或逻辑风格，导致后续模型难以对齐，从而引发性能下降。
数据结论
实验数据显示，模型切换导致的性能波动范围在 5% 至 13% 之间。这一量级的波动表明，在进行模型迭代或路由策略调整时，必须将兼容性风险纳入考量。
研究最佳实践
最佳实践
实践 1：建立多轮对话的基准数据集
说明: 在多轮大语言模型（LLM）系统中，模型切换（例如从 GPT-4 切换到 Claude 3 或从旧版本切换到新版本）会导致上下文理解和回复风格的变化。为了量化这种“性能漂移”，必须建立一个包含真实用户交互轨迹的基准数据集。该数据集应涵盖多轮对话的不同阶段，包括冷启动、上下文累积和意图转换。
实施步骤:
- 从生产环境中匿名化收集历史对话日志，确保涵盖长尾和边缘案例。
- 对数据集进行分类标注，不仅关注最终回复的质量，还要关注中间轮次的逻辑连贯性。
- 将数据集划分为训练集（用于微调或提示词优化）和静态测试集（用于回归测试，严禁变动）。
注意事项: 确保数据隐私合规，去除所有敏感信息（PII）。测试集应定期更新以反映最新的用户行为模式，但在评估特定模型切换版本时必须保持冻结状态。
实践 2：实施细粒度的分层评估指标
说明: 单一的总体准确率或模糊的满意度评分无法捕捉多轮对话中的细微性能漂移。建议采用分层评估策略，将评估指标分为“轮次级”和“会话级”。轮次级关注单次回复的相关性和事实准确性，会话级关注整个对话流的连贯性和目标达成率。
实施步骤:
- 定义轮次级指标：使用 BERTScore 或 ROUGE 衡量语义相似度，使用专门的小型 LLM 作为裁判来评估回复的安全性和逻辑性。
- 定义会话级指标：计算“任务完成率”和“用户挫败度”（通过回复长度或负面情感分析推断）。
- 在模型切换前后，分别计算这些指标的差值，定位漂移发生的具体对话层级。
注意事项: 避免过度依赖基于字符串重叠的指标（如 BLEU），因为模型切换往往伴随着措辞的显著变化，这可能导致误判。
实践 3：引入“黄金上下文”进行消融测试
说明: 模型切换带来的性能下降有时并非源于模型推理能力不足，而是源于新模型对系统提示词或历史上下文格式的敏感性。为了区分是“模型能力问题”还是“上下文处理问题”，需要构建“黄金上下文”测试用例。
实施步骤:
- 精选一组人工编写的对话历史，确保上下文清晰无歧义。
- 强制新模型仅基于这些上下文生成回复，排除噪声干扰。
- 如果新模型在黄金上下文下表现不佳，则说明核心推理能力或指令遵循能力发生了漂移。
- 如果表现良好，则问题可能在于生产环境中的上下文截断策略或记忆管理机制。
注意事项: 在测试时，应保持新旧模型的输入 Token 格式完全一致，以排除格式不兼容导致的性能波动。
实践 4：自动化侧写模型对比
说明: 在多轮系统中，全面的人工标注成本高昂且缓慢。可以实施侧写模型——即使用一个更强、更稳定（但通常更慢或更昂贵）的“裁判模型”来评估新旧模型在相同历史上下文下的输出差异。这种方法可以快速识别新模型在特定场景下的退化。
实施步骤:
- 选取生产环境中的真实请求，同时发送给旧模型和新模型。
- 收集两者的输出，连同原始上下文一起发送给裁判模型（如 GPT-4 Turbo）。
- 让裁判模型从“相关性”、“准确性”和“连贯性”三个维度打分，并解释新模型为何不如旧模型（反之亦然）。
- 生成一份差异报告，重点标注新模型表现显著下降的对话轮次。
注意事项: 裁判模型本身可能存在偏见，特别是当它倾向于与自己风格相似的输出时。应设计提示词让裁判模型专注于事实和逻辑，而非文风。
实践 5：渐进式流量切换与监控
说明: 不要一次性在全量流量上切换模型。建议采用金丝雀发布或影子测试策略。在多轮系统中，这尤为重要，因为用户可能会在对话进行中突然遇到模型切换，导致体验割裂。
实施步骤:
- 影子测试：将 1% 的用户请求复制一份发送给新模型，记录其输出，但不实际展示给用户。用于离线评估新模型在实时数据上的表现。
- 会话级金丝雀：选择少量用户，让他们在整个会话生命周期内完全使用新模型，避免同一用户对话中途切换模型带来的混淆。
- 实时监控关键业务指标（如对话放弃率、重述率）和技术指标（如延迟、Token 消耗）。
注意事项: 严格监控“切换点”效应。如果必须支持同一对话中途切换模型（例如降级熔断），需要设计特殊的“握手协议”，让新模型快速适应。
学习要点
- 在多轮对话系统中，直接切换基础模型会导致上下文理解出现“性能漂移”，即新模型无法有效处理旧模型生成的历史对话记录。
- 造成性能下降的核心原因在于模型对齐方式的差异，新模型往往无法准确复现前序模型的输出分布，导致上下文连贯性断裂。
- 研究表明，模型切换带来的负面影响具有累积效应，且随着对话轮数的增加，系统性能的下降幅度会显著增大。
- 通过引入“上下文重写”技术，利用新模型将旧的历史记录重写为新模型偏好的表达形式，可以显著缓解性能漂移问题。
- 在必须进行模型切换的场景中，采用“上下文压缩”策略（仅保留关键信息）比保留完整历史记录更能维持新模型的稳定性。
- 实验数据显示，模型能力差距越大（如从较小模型切换至较大模型），因上下文格式不兼容导致的性能损失往往越严重。
- 该研究揭示了多轮LLM系统在生命周期管理中的关键挑战，即单纯的模型迭代并不总能带来系统级性能的提升，需配套相应的上下文迁移策略。
学习路径
学习路径
阶段 1：基础概念与背景知识构建
学习内容:
- 大语言模型 (LLM) 基础：理解 Transformer 架构、自回归生成原理以及常见的开源模型（如 Llama, GPT 系列）。
- 多轮对话系统原理：学习上下文管理、Prompt 模板设计以及对话历史对模型输出的影响。
- 模型切换与路由：了解模型级联、动态模型选择以及 MoE (Mixture of Experts) 的基本概念。
- 性能评估指标：掌握准确率、延迟、吞吐量以及成本等基础评估维度。
学习时间: 2-3周
学习资源:
- 课程：吴恩达的《Generative AI for Everyone》及《LangChain for LLM Application Development》。
- 文章：Hugging Face 博客上的 LLM 介绍及 NLP 进阶指南。
- 论文：阅读《Language Models are Few-Shot Learners》(GPT-3) 以理解模型能力边界。
学习建议: 此阶段重点在于建立对 LLM 应用场景的认知。建议使用 LangChain 或 LlamaIndex 等框架搭建一个简单的多轮对话 Demo，通过手动更换不同的后端模型（如从 GPT-3.5 换到 GPT-4 或开源模型），观察输出结果和响应速度的差异，从而直观理解“模型切换”的含义。
阶段 2：深入理解论文核心问题
学习内容:
- 性能漂移 的定义：理解在多轮对话中，当系统在不同模型或不同版本模型之间切换时，输出质量、风格或逻辑一致性发生非预期变化的现象。
- 长上下文依赖问题：分析在多轮对话中，历史上下文如何被不同模型解析，以及由此产生的累积误差。
- 评估方法论：学习如何设计实验来隔离“模型切换”这一变量，包括控制变量法和 A/B 测试在 NLP 中的应用。
- 自动化评估工具：了解基于 LLM 的评估框架（如 Prometheus, GPT-4 作为裁判）。
学习时间: 3-4周
学习资源:
- 核心论文：精读《Evaluating Performance Drift from Model Switching in Multi-Turn LLM Systems》。
- 相关论文：阅读《Vicuna: An Open-Source Chatbot Impressing GPT-4》中的评估部分，以及《RAVEN: A Study on Model Drift in LLM Evaluations》。
- 工具：研究 RAGAS 或 TruLens 等评估框架的文档。
学习建议: 在阅读论文时，重点关注作者构建的数据集和评估基线。尝试复现论文中的一个简单案例：构建一个多轮对话数据集，分别使用两个不同的模型（如一个 7B 参数模型和一个 70B 参数模型）交替处理同一会话的不同轮次，使用 LLM-as-a-judge 的方法量化这种切换带来的“漂移”程度。
阶段 3：实验设计与量化分析
学习内容:
- 构建鲁棒的测试集：学习如何构造能够触发模型差异的边缘案例 和长上下文测试集。
- 一致性度量：学习计算语义一致性、指令遵循度的一致性等高级指标。
- 统计分析：应用统计学方法判断性能漂移是否显著，而非仅仅依赖平均值。
- 成本-效益分析：在模型切换场景下，分析性能损失与推理成本/延迟降低之间的权衡。
学习时间: 3-4周
学习资源:
- 书籍：《Trustworthy AI》或相关模型评估专著。
- 库：学习使用 DeepSpeed 或 vLLM 进行本地模型的推理性能测试。
- 论文：关注关于 LLM 持续学习和灾难性遗忘 的文献，理解模型权重变化与性能变化的关系。
学习建议: 编写一个自动化评估脚本。该脚本应能模拟多轮对话流程，并在中间环节动态切换模型。记录每一轮的 Embedding 相似度或评分变化。尝试可视化这种漂移，例如绘制“轮次-性能”曲线，观察切换点是否存在数值突变。
阶段 4：缓解策略与系统优化
学习内容:
- 提示工程 缓解：学习如何通过调整 System Prompt 或添加过渡性语句来平滑模型切换带来的体验落差。
- 微调与对齐：探讨是否可以通过特定领域的微调来减少不同模型在特定任务上的表现差异。
- 混合专家系统 调优：研究如何优化 MoE 系统中的路由策略，以确保任务分配给最适合的专家模型，减少因模型能力不均导致的性能波动。
- 输出一致性约束：学习在解码阶段施加约束（如 Constrained Beam Search），以保证不同模型生成的输出格式和逻辑结构保持一致。
学习时间: 3-4周
学习资源:
- 技术文档：研究 vLLM 的采样参数配置和 TGI (Text Generation Inference
常见问题
1: 什么是多轮 LLM 系统中的“模型漂移”，它与传统的模型性能下降有何不同？
1: 什么是多轮 LLM 系统中的“模型漂移”，它与传统的模型性能下降有何不同？
A: 在多轮大语言模型（LLM）系统中，“模型漂移”指的是在对话过程中，由于底层模型的切换（例如从 GPT-4 切换到 Llama 3，或在不同版本模型间切换）导致系统输出质量、风格或逻辑连贯性发生变化。这与传统的“模型漂移”（通常指由于数据分布随时间变化导致模型在生产环境中性能逐渐下降）不同。本文讨论的漂移是结构性和瞬时的，主要源于不同模型在对齐程度、推理能力和指令遵循能力上的差异，这种差异在多轮对话的上下文累积中会被放大，导致对话质量在切换点发生改变。
2: 为什么在多轮对话系统中评估模型切换的性能表现比单轮评估更困难？
2: 为什么在多轮对话系统中评估模型切换的性能表现比单轮评估更困难？
A: 在单轮评估中，通常关注模型对单一提示词的直接回复质量。而在多轮对话系统中，评估面临以下额外挑战：
- 上下文依赖性：后续轮次的回答高度依赖于前几轮生成的上下文。如果切换后的模型无法准确理解前一个模型生成的上下文，可能会导致回答偏离主题。
- 误差累积：第一轮模型的微小偏差在被作为输入传递给第二轮模型时可能会被放大。
- 风格一致性：不同模型往往具有独特的“口吻”或格式偏好。在对话中途切换模型可能会破坏用户体验的连贯性，这种指标很难通过传统的自动化指标（如 BLEU 或 ROUGE）来捕捉。
3: 论文中提到的“级联评估策略”具体是指什么？
3: 论文中提到的“级联评估策略”具体是指什么？
A: “级联评估策略”是指一种针对多轮交互的分层评估方法。它不只评估最终答案的正确性，而是将评估过程分解到对话的每一个环节。具体而言，这包括：
- 轮次级评估：检查在模型切换的瞬间，新模型是否正确继承了历史对话信息（即 Context Retention 测试）。
- 任务级评估：评估整个对话流程是否成功完成了用户的最终指令。
- 对比分析：将混合模型系统的表现与基线系统（全程使用单一高性能模型）进行对比，以量化切换模型带来的具体性能差异。
4: 在实际部署中，如何缓解因模型切换带来的性能漂移问题？
4: 在实际部署中，如何缓解因模型切换带来的性能漂移问题？
A: 根据该研究及相关实践，缓解策略主要包括：
- 语义压缩：在将上下文传递给下一个模型之前，使用一个强模型对历史对话进行总结和压缩，去除冗余信息，仅保留核心指令和关键事实。这有助于减少弱模型处理长上下文时的困难。
- 提示词工程：在切换点设计特殊的过渡提示词，明确告知模型“这是一段对话的延续”，并重新强调当前的任务目标。
- 热身：在正式进入多轮对话前，让新模型在类似的对话历史上进行少样本预热，以适应前一个模型的输出风格。
5: 混合使用不同规模的模型（如大模型负责规划，小模型负责执行）是否真的能显著降低成本而不牺牲质量？
5: 混合使用不同规模的模型（如大模型负责规划，小模型负责执行）是否真的能显著降低成本而不牺牲质量？
A: 这是一个权衡的问题。论文的研究表明，这种方法在特定任务上是可行的，但存在风险。虽然小模型在处理简单指令时成本较低，但它们在处理复杂推理或理解模糊上下文时容易失败。如果系统设计者能够精确地将任务解耦，确保小模型只需要处理它能力范围内的明确指令（例如“根据摘要写一段代码”），那么成本效益比是较高的。然而，如果任务耦合度高，小模型理解上下文失败导致的重试或错误回答，最终可能会增加隐性成本并降低用户满意度。
6: 该研究使用了哪些指标来量化评估这种性能漂移？
6: 该研究使用了哪些指标来量化评估这种性能漂移？
A: 为了全面评估漂移，研究通常结合使用多种指标：
- 基于LLM的判别指标：使用更强的模型（如 GPT-4）作为裁判，对对话的连贯性、相关性和帮助程度进行打分。这是目前接近人类感知的方法。
- 语义相似度：计算切换前后模型生成的回复与参考答案之间的向量空间距离。
- 关键信息提取率：检查在多轮对话中，用户最初设定的关键约束条件是否在模型切换后依然被遵守。
- 用户模拟胜率：通过模拟用户在收到回复后的后续行为，判断对话是否能够顺畅进行下去。
思考题
## 挑战与思考题
### 挑战 1: [简单]
问题**：在多轮对话系统中，当你决定将后端大语言模型（LLM）从版本 A（如 GPT-3.5）切换到版本 B（如 GPT-4）时，用户通常期望性能提升。然而，在某些特定的对话上下文中，性能反而可能下降。请列举出三个可能导致这种“负向迁移”或性能回退的具体原因。
提示**：考虑不同模型对指令遵循的敏感度、输出格式的严格性以及对特定领域知识的训练差异。思考模型 A 的某些“缺陷”是否在模型 B 中被“修正”了，但这种修正反而破坏了下游系统的兼容性。
引用
注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。