让大语言模型互斗万智牌的实验项目

让大语言模型互斗万智牌的实验项目

基本信息

• 作者: GregorStocks
• 评分: 75
• 评论数: 56
• 链接: https://mage-bench.com
• HN 讨论: https://news.ycombinator.com/item?id=47049227

导语

大语言模型在逻辑推理与规则遵循方面的能力，一直是技术探索的热点。本文作者尝试将复杂的卡牌游戏《万智牌》作为测试环境，让 LLM 互相博弈，以观察其在多回合、高策略性场景下的表现。通过阅读这篇文章，你将了解该项目的技术实现细节，以及模型在面对复杂规则时的决策逻辑与局限性。

评论

中心观点： 本文通过构建自动化测试环境，证实了当前顶尖的大语言模型（LLM）已具备在复杂规则系统（如万智牌）中进行多轮推理、状态追踪及策略对抗的能力，但其在逻辑严密性和长程规划上仍存在显著缺陷。

支撑理由与边界条件分析：

1. LLM在复杂规则遵循与逻辑推理上的突破（事实陈述）

   • 分析： 万智牌拥有极高的规则复杂度，包含数千张交互卡牌和堆叠机制。文章展示了LLM不仅能够理解自然语言描述的卡牌效果，还能在代码构建的游戏引擎中正确执行这些逻辑。这证明了LLM在处理特定领域的“结构化逻辑”时，已经超越了简单的文本生成，具备了Agent（智能体）的基本形态。
   • 边界条件/反例： 这种能力高度依赖于上下文窗口和Prompt Engineering。当游戏回合数增加，历史信息超出模型的上下文限制，或者出现极其罕见的“规则边缘情况”时，模型往往会“幻觉”出并不存在的卡牌效果或错误结算。

2. 作为“沙盒环境”验证Agent能力的实用价值（作者观点 + 你的推断）

   • 分析： 作者提出的这一框架不仅仅是一个游戏Demo，更是一个评估LLM能力的绝佳基准。相比于传统的数学题或编程题，万智牌是一个半合作、半对抗、状态不完全信息的动态环境。它为测试模型的规划能力、对手建模能力提供了量化指标。
   • 边界条件/反例： 这种环境的局限性在于它是封闭系统。现实世界的Agent应用（如自动驾驶、个人助理）面临的是非结构化数据，而万智牌的所有规则和可能性都是预先定义好的。模型在游戏中表现好，并不代表其在开放世界的物理或社会交互中同样可靠。

3. “思维链”与“反思机制”在游戏策略中的关键作用（你的推断）

   • 分析： 文章中模型之所以能下好棋，很可能是因为在Prompt中嵌入了“思考过程”或强制模型输出“出牌理由”。这验证了当前AI研究的一个核心观点：显式的推理步骤是提升LLM在复杂任务中表现的关键。模型不仅要预测下一个Token，还要维护一个“信念状态”来评估当前盘面。
   • 边界条件/反例： 这种推理带来了巨大的计算成本和延迟。如果模型需要思考30秒才能出一个回合，这在实时性要求高的应用场景中是不可接受的。此外，如果反思机制设计不当，模型可能会陷入“过度思考”导致的逻辑死循环。

可验证的检查方式（指标/实验/观察窗口）：

1. “规则违规率”作为幻觉指标（指标）：

   • 统计在对局中，模型试图执行违反游戏规则动作（如在没有地的情况下使用法术、忽略召唤失调）的频率。这是衡量LLM逻辑严密性最直接的指标。如果在1000回合中违规率低于1%，说明其逻辑控制能力极强。

2. 长程记忆与状态一致性测试（实验）：

   • 设计一个特定场景：一张卡牌的效果在5个回合后才生效。观察模型在第5回合时是否还能准确触发该效果，或者是否已经“遗忘”了这个状态。这能直接测试模型的长期记忆窗口。

3. 对抗性鲁棒性观察（观察窗口）：

   • 让人类高手或利用传统的Minimax算法与LLM对战。重点观察当人类使用非正统策略（如利用规则漏洞）时，LLM是否能正确应对，还是会因为训练数据中缺乏此类样本而崩溃。

深度评价

1. 内容深度：从“文本生成”到“系统交互”的跨越

该文章虽然表面上是一个趣味项目，但其深度在于触及了LLM研究的最前沿：Agent化。它不再满足于让模型“写一段关于万智牌的故事”，而是让模型“玩一场万智牌的游戏”。这要求模型不仅要懂语义，还要懂逻辑、懂状态机。 论证的严谨性体现在代码实现层面——作者必须将非结构化的文本指令转化为结构化的API调用。这实际上是在测试LLM作为“逻辑控制器”的可靠性。文章揭示了LLM在处理多步骤推理时的脆弱性，这是目前学术界和工业界都非常关注的痛点。

2. 实用价值：构建垂直领域Agent的参考范式

对于AI工程师而言，这篇文章的价值远超游戏本身。它提供了一个**“RAG（检索增强生成）+ 规则引擎 + LLM决策”**的经典架构范式。

• 指导意义： 在开发法律顾问、医疗诊断或金融合规等垂直领域Agent时，我们完全可以复用这套逻辑。将万智牌规则替换为法律条文，将游戏状态替换为案情卷宗，LLM就变成了法律推理助手。文章证明了，只要规则定义清晰，LLM完全可以胜任复杂的逻辑推演工作，而不仅仅是充当聊天机器人。

3. 创新性：评估基准的革新

传统的LLM Benchmark（如MMLU, GSM8K）多是静态问答。本文创新性地提出了一个动态的、交互式的评估基准。它引入了“胜负”这一明确的量化指标，比单纯的“准确率”更能反映模型的智能水平。这种“游戏化测试”是评估LLM规划能力的未来趋势。

4. 行业影响：游戏AI与自动化测试的新方向

• 游戏行业： 这预示着未来NPC（非玩家角色）

代码示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23

# 示例1：基础卡牌类定义
class Card:
    """表示一张魔法风云会卡牌"""
    def __init__(self, name, cost, card_type):
        self.name = name      # 卡牌名称
        self.cost = cost      # 法力值消耗
        self.card_type = card_type  # 卡牌类型（生物/咒语等）
        self.is_tapped = False  # 是否横置（已使用）

    def tap(self):
        """横置卡牌（表示使用）"""
        if not self.is_tapped:
            self.is_tapped = True
            return True
        return False

    def __repr__(self):
        return f"{self.name} ({self.cost}法力, {self.card_type})"

# 测试代码
lightning_bolt = Card("闪电术", 1, "瞬间")
print(lightning_bolt)  # 输出：闪电术 (1法力, 瞬间)
print(lightning_bolt.tap())  # 输出：True

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

# 示例2：简单的游戏状态管理
class GameState:
    """管理游戏当前状态"""
    def __init__(self):
        self.turn = 1
        self.active_player = 0  # 0表示玩家1，1表示玩家2
        self.stack = []  # 堆叠（待结算的咒语）
        self.players = [
            {"life": 20, "mana": 0, "hand": []},
            {"life": 20, "mana": 0, "hand": []}
        ]

    def switch_turn(self):
        """切换回合"""
        self.active_player = 1 - self.active_player
        self.turn += 1
        self.stack.clear()  # 回合结束清空堆叠

    def cast_spell(self, card, target=None):
        """施放咒语"""
        player = self.players[self.active_player]
        if player["mana"] >= card.cost:
            player["mana"] -= card.cost
            self.stack.append({"card": card, "target": target})
            return True
        return False

# 测试代码
game = GameState()
print(f"初始回合: {game.turn}")  # 输出：初始回合: 1
game.switch_turn()
print(f"切换后回合: {game.turn}")  # 输出：切换后回合: 2

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19

# 示例3：简单的AI决策逻辑
def simple_ai_decision(hand, available_mana):
    """简单的AI决策逻辑：优先施放高法力值的卡牌"""
    playable_cards = [card for card in hand if card.cost <= available_mana]
    if not playable_cards:
        return None
    
    # 按法力值从高到低排序
    playable_cards.sort(key=lambda x: -x.cost)
    return playable_cards[0]

# 测试代码
ai_hand = [
    Card("山脉", 0, "地"),
    Card("闪电术", 1, "瞬间"),
    Card("巨龙", 5, "生物")
]
chosen_card = simple_ai_decision(ai_hand, available_mana=3)
print(f"AI选择施放: {chosen_card}")  # 输出：AI选择施放: 闪电术 (1法力, 瞬间)

案例研究

1：DeepMind 的 AlphaDev 算法优化项目

1：DeepMind 的 AlphaDev 算法优化项目

背景: 计算机科学中的基础算法（如排序和哈希）已被人类优化了数十年，传统观点认为很难再有改进空间。DeepMind 旨在探索强化学习是否能发现人类未曾注意到的更优指令序列。

问题: 传统的算法优化依赖于人类专家的直觉和经验，这是一个高成本且耗时的过程。面对现代CPU复杂的底层指令集（如x86汇编），人类很难通过穷举或手动调整来找到比现有标准库（如 libc++）更短、更快的执行路径。

解决方案: DeepMind 将代码优化视为一个“汇编语言游戏”。他们训练了一个深度强化学习智能体（AlphaDev），让其在受控环境中编写汇编指令。智能体的目标是编写出正确且指令步数最少的排序算法。如果智能体生成的程序通过了验证测试并比现有基准更快，它将获得奖励。

效果: AlphaDev 成功发现了比人类专家编写更快的排序算法。在短序列排序中，新算法将执行速度提高了 70%，在长序列（超过 25 万个元素）中提高了 1.7%。这些算法已被集成进广泛使用的 C++ 标准库（LLVM libc++）中，服务于全球数百万开发者和应用程序。

2：Meta CICERO 的外交策略 AI

2：Meta CICERO 的外交策略 AI

背景: 外交是一款经典的战略棋盘游戏，其复杂性不仅在于战术移动，更在于需要玩家之间进行复杂的谈判、合作和背叛。这要求 AI 具备极高水平的自然语言理解和推理能力。

问题: 传统的博弈 AI（如 AlphaGo）主要在规则明确、信息完全或仅有两人对战的零和博弈中表现出色。然而，在涉及多人合作、自然语言沟通和建立信任的非零和博弈环境中，AI 往往表现不佳，难以理解人类的意图或进行有效的说服。

解决方案: Meta 开发了 CICERO，这是首个在外交游戏中达到人类水平的 AI。CICERO 结合了基于对话的策略引擎和基于推理的战略规划引擎。它利用强化学习来制定战略，同时利用生成式自然语言模型来与玩家进行沟通，生成一致的对话来支持其战略意图（例如说服盟友进攻或防御）。

效果: 在一个包含 40 名人类玩家的匿名网络锦标赛中，CICERO 的平均得分是参赛选手的两倍多，并在所有参与者中排名前 10%。这证明了 LLM 结合策略算法可以在需要复杂语言交互和信任建立的场景中与人类进行高水平的协作。

3：OpenAI 的多智能体辩论研究

3：OpenAI 的多智能体辩论研究

背景: 大型语言模型（LLM）在处理复杂逻辑推理或数学问题时，经常出现“幻觉”或逻辑错误。如何在不依赖外部人类标注的情况下，利用模型自身提升输出准确性，是当前研究的一个热点。

问题: 单个模型在生成回答时，往往会陷入错误的逻辑路径且无法自我纠正。传统的提示工程虽然有效，但对于极其复杂的任务，单次生成的可靠性仍然不足。

解决方案: 研究人员开发了一个“辩论”游戏环境。在这个系统中，一个 AI 模型扮演“辩手”试图解决问题，另一个 AI 模型扮演“法官”或“对手”对答案进行质疑和辩论。通过多轮对话，两个模型互相指出对方的逻辑漏洞，最终由法官模型裁决。这种机制迫使模型通过对抗来提炼出更准确的答案。

效果: 实验表明，通过这种多智能体互相博弈和辩论的方式，模型在数学问题（如 GSM8K 数据集）和事实性问答上的准确率显著高于单独提示单个模型。这种方法被证明是一种无需额外训练数据，即可提升 LLM 推理能力的有效技术路径。

最佳实践

最佳实践指南

实践 1：构建结构化的状态表示系统

说明: Magic: The Gathering (MTG) 拥有极其复杂的游戏状态（包含堆栈、战场、手牌、墓地等）。直接使用自然语言描述状态会导致上下文过长且容易产生幻觉。最佳实践是设计一种紧凑的、类似代码的符号系统来表示当前游戏局面，以便 LLM 能够准确理解并减少 Token 消耗。

实施步骤:

1. 定义一套标准化的缩写或符号来代表卡牌类型、区域、颜色和数值（例如：L:Goblin(2/1) 代表战场上有 2/1 的地精）。
2. 编写转换器，将原始的游戏对象数据转换为这种结构化字符串。
3. 确保状态表示包含所有关键信息，如生命值、法术力池、以及对手的可见信息。

注意事项:

• 避免在状态字符串中使用冗长的自然语言描述。
• 必须明确区分“公开信息”（战场、墓地）和“私有信息”（手牌），确保 LLM 只能基于其角色应该知道的信息做决策。

实践 2：将复杂规则转化为可执行工具

说明: LLM 并不完美记忆 MTG 的数千条规则（特别是优先权、堆栈交互和复杂的替代性效应）。与其依赖 LLM 的知识库，不如将规则逻辑封装在代码中，让 LLM 仅负责生成“意图”，再由系统验证并执行。

实施步骤:

1. 建立游戏引擎，负责维护真实的服务器端状态。
2. 设计 API 或函数调用接口，LLM 输出的是动作意图（例如：“Cast Lightning Bolt targeting opponent”）。
3. 系统接收意图后，检查合法性（是否有足够的法术力、目标是否合法、堆栈是否为空等），如果合法则执行，否则返回错误信息要求 LLM 重新决策。

注意事项:

• 这种“沙箱”机制可以防止 LLM 产生违反规则的幻觉。
• 错误反馈信息必须清晰，告诉 LLM 为什么 该动作不合法（例如：“Not enough mana, you have 3 red but need 1 red and 2 colorless”）。

实践 3：利用思维链增强策略推理

说明: MTG 是一个深度策略游戏，直接让 LLM 输出最终动作往往会导致缺乏连贯性的随机操作。通过强制 LLM 先进行“思考”，分析当前局势、潜在威胁和最优解，可以显著提高对局质量。

实施步骤:

1. 在 Prompt 中明确要求 LLM 在给出动作前先输出一段分析文本。
2. 引导 LLM 分析关键要素：对手有什么威胁、我手牌有什么配合、现在的阶段是主要阶段还是战斗阶段。
3. 解析 LLM 的输出，提取思维链之后的最终指令。

注意事项:

• 虽然思维链消耗更多 Token，但在复杂局面（如组合技启动）中是必不可少的。
• 需要在 Prompt 中设定停止符或特定格式，以便程序能准确区分“思考过程”和“执行指令”。

实践 4：实施严格的上下文管理

说明: 一局 MTG 游戏可能持续数十个回合，历史记录很容易超过模型的上下文窗口。过长的上下文不仅增加成本，还会导致模型遗忘早期的关键信息（“迷失中间”现象）。

实施步骤:

1. 并非将所有历史动作都保留在 Prompt 中，而是设计一个“摘要器”。
2. 每隔几个回合或关键节点（如某方生命值大幅变化），将过去的历史动作压缩为一段简短的状态描述（例如：“Turn 3-5: Player A established board control with 2 creatures."）。
3. 在 Prompt 中始终保留最新的详细动作记录和压缩后的历史摘要。

注意事项:

• 摘要必须保留不可逆的信息（如已使用的牌、墓地中的关键牌）。
• 监控 Token 使用量，动态调整保留的详细历史长度。

实践 5：建立动态的卡牌知识库检索机制

说明: LLM 无法在其权重中存储所有 MTG 卡牌的详细文本（超过 20,000 张）。当 LLM 手持一张它从未“见”过的卡牌时，它需要知道该卡牌的效果才能正确使用。

实施步骤:

1. 建立一个外部数据库（如 JSON 或向量数据库），存储所有相关卡牌的 Oracle 文本。
2. 当 LLM 抽到新卡或场上出现新卡时，系统动态检索该卡牌的规则文本，并将其插入到 Prompt 的上下文中。
3. 提示 LLM：“你刚刚抽到了一张卡，以下是它的详细效果描述…”

注意事项:

• 检索到的卡牌文本应尽可能简洁，去除无关的背景描述，只保留规则文本。
• 对于常用卡牌，可以考虑在系统提示词中进行硬编码以减少检索延迟。

实践 6

学习要点

• 通过将复杂的卡牌游戏规则转化为结构化代码逻辑，成功让大语言模型理解并执行了《万智牌》这种高难度游戏机制。
• 实现了多智能体博弈系统，使 LLM 能够作为独立玩家在完整的对局环境中进行策略对抗与决策。
• 构建了专用的游戏状态解释器，将抽象的游戏数据转化为模型可理解的上下文，解决了 LLM 无法直接读取游戏状态的问题。
• 验证了 LLM 在处理长文本上下文时的能力，证明了模型能够在长达数千个 token 的复杂游戏历史中保持逻辑连贯性。
• 开发了一套自动化的游戏流程框架，涵盖了从出牌、战斗到结算的完整回合制逻辑，无需人工干预即可自动运行。
• 展示了利用 LLM 进行游戏测试的潜力，能够通过模拟对局发现卡牌互动中的边缘情况和逻辑漏洞。

常见问题

1: 这个项目是如何让大语言模型（LLM）理解并执行万智牌复杂规则的？

1: 这个项目是如何让大语言模型（LLM）理解并执行万智牌复杂规则的？

A: 万智牌的规则极其复杂，包含数千张卡牌的交互、堆叠机制、优先权传递以及大量的“如果……那么……”逻辑。仅靠提示词很难让 LLM 完美掌握所有细节。该项目采用了混合架构：LLM 充当“大脑”或“代理”，负责进行战略决策、选择攻击目标和施放法术，而底层的游戏逻辑（如结算战斗伤害、管理法术力池、验证卡牌使用合法性）则由传统的确定性代码（Python 脚本）执行。这种设计确保了游戏在规则上的准确性，同时允许 LLM 发挥其推理和策略能力。

2: LLM 在对战过程中是直接阅读卡牌文本，还是使用了预处理的卡牌数据？

2: LLM 在对战过程中是直接阅读卡牌文本，还是使用了预处理的卡牌数据？

A: 为了降低推理成本并提高响应速度，通常不会在每一步都将整张卡牌的详细 Oracle 文本输入给模型。该项目很可能采用了检索增强生成（RAG）或结构化数据表示的方法。这意味着系统会将当前场面上的关键信息（如生物的攻防数值、异能关键词）提取出来，转化为结构化的 JSON 或简短的摘要发送给 LLM。LLM 基于这些简化的状态信息进行决策，而不是每次都去“阅读”原始的卡牌文本，从而避免了上下文窗口过大的问题。

3: 哪些大语言模型最适合进行这种类型的游戏模拟？是否使用了 GPT-4？

3: 哪些大语言模型最适合进行这种类型的游戏模拟？是否使用了 GPT-4？

A: 虽然像 GPT-4 这样的大型模型在理解复杂规则和制定长远策略方面表现出色，但其高昂的 API 调用成本和较慢的推理速度使其不适合进行大规模的自我对弈训练。该项目可能测试了多种模型，包括开源的 Llama 3 或 Mistral 系列模型。在实际应用中，开发者往往会发现，经过微调的小型模型（如 7B 或 8B 参数量）在特定的游戏任务上可能比未经微调的巨型模型更有效率，且运行成本更低。

4: LLM 是否会像人类一样产生“操作失误”或违反规则？

4: LLM 是否会像人类一样产生“操作失误”或违反规则？

A: 是的，LLM 作为概率模型，偶尔会产生幻觉或做出非最优的决策。例如，它可能会尝试使用它没有的法术力，或者在规则不允许的情况下响应对手。为了解决这个问题，系统必须包含一个“验证层”或“游戏引擎”。当 LLM 输出一个动作指令时，底层的代码会检查该动作是否符合当前的游戏状态和规则。如果指令非法（例如试图在对手回合使用瞬间），系统会拒绝该指令并提示 LLM 重新选择，或者直接将其视为“空过”。

5: 这个项目仅仅是让 AI 打牌，还是具有实际的机器学习研究价值？

5: 这个项目仅仅是让 AI 打牌，还是具有实际的机器学习研究价值？

A: 这个项目具有重要的研究价值，特别是在“具身智能”和“智能体”领域。万智牌是一个不完美信息博弈，且拥有巨大的状态空间，比国际象棋或围棋更接近现实世界的复杂性。教会 LLM 玩此类游戏有助于研究人员评估模型的长期规划能力、逻辑推理能力以及遵循复杂指令的能力。此外，观察 LLM 如何处理卡牌之间的联动（Combo）和战术博弈，能为改进模型的逻辑推理能力提供宝贵的实验数据。

6: 如何评价目前 AI 的万智牌水平？它能击败人类高手吗？

6: 如何评价目前 AI 的万智牌水平？它能击败人类高手吗？

A: 目前基于 LLM 的万智牌 AI 在战术执行上可能表现尚可，但在构筑赛制和复杂宏观策略上通常不如人类顶尖选手。传统的 AI（如 AlphaGo 类的强化学习算法）在封闭规则系统中通过自我对弈可以达到超人类水平，但 LLM 受限于上下文长度和推理速度，难以像传统 AI 那样进行数百万次的模拟训练。目前的 LLM 玩家更像是一个“有经验的规则顾问”或“休闲玩家”，它可能会犯下低级错误，但也偶尔能打出基于语言理解的精妙配合。

7: 如果我想运行这个项目，需要什么样的硬件环境？

7: 如果我想运行这个项目，需要什么样的硬件环境？

A: 这取决于你是否依赖商业 API（如 OpenAI API）。如果你使用 API 进行后端推理，普通的家用电脑甚至笔记本电脑即可运行前端界面和游戏逻辑。然而，如果你想本地运行开源模型（如 Llama 3）以获得更快的响应速度或零成本运行，你需要一张显存较大的显卡（建议 NVIDIA 显卡，显存 12GB 或更多），以便加载量化后的模型文件。CPU 推理也是可能的，但速度会非常慢，无法进行流畅的游戏体验。

思考题

## 挑战与思考题

### 挑战 1: [简单]

问题**: 万智牌的卡牌描述通常包含大量的自然语言文本（如“当此生物进场时，目标对手弃一张牌”）。如果直接将这些原始文本输入给 LLM，模型可能会产生幻觉或误解规则。请设计一种预处理流程，将非结构化的卡牌文本转换为结构化的数据格式（如 JSON），以便 LLM 更准确地理解卡牌功能。

提示**: 考虑使用关键词提取或实体识别技术，重点提取“触发条件”、“效果目标”和“具体动作”这三个核心要素。

引用

• 原文链接: https://mage-bench.com
• HN 讨论: https://news.ycombinator.com/item?id=47049227

注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。

站内链接

• 分类： 大模型 / 开源生态
• 标签： LLM / Agent / 游戏AI / 万智牌 / 多智能体 / Python / 实验项目 / Show HN
• 场景： 大语言模型 / AI/ML项目

相关文章

• 让大语言模型互斗万智牌的实验项目
• Show HN: AI agents play SimCity through a REST API
• LangBot：生产级多平台智能体机器人开发平台
• LangBot：支持多平台集成的生产级智能代理机器人开发平台
• 迈向智能体系统规模化科学：作用机制与生效条件 本文由 AI Stack 自动生成，包含深度分析与可证伪的判断。