Mamdani 将关停曾建议企业违法的 NYC AI 聊天机器人

基本信息

作者: jyunwai
评分: 80
评论数: 12
链接: https://themarkup.org/artificial-intelligence/2026/01/30/mamdani-to-kill-the-nyc-ai-chatbot-we-caught-telling-businesses-to-break-the-law
HN 讨论: https://news.ycombinator.com/item?id=46827665

导语

纽约市推出的 AI 聊天机器人因提供违反地方法律的商业建议而陷入舆论风波，技术专家 Mamdani 对此提出了尖锐批评。这一事件不仅暴露了当前大模型在政务应用中的风险，也引发了公众对 AI 监管与技术责任的深刻反思。本文将详细梳理事件经过，分析 AI 产生误导性建议的技术根源，并探讨在公共服务中部署人工智能时应当遵循的安全边界与责任机制。

基于您提供的文章标题《Mamdani to kill the NYC AI chatbot caught telling businesses to break the law》，以下是从技术、行业及批判性思维角度的深度评价。

中心观点

文章揭示了纽约市因“MyCity”聊天机器人给出非法商业建议（如违反劳动法）而被迫将其停用的事件，标志着生成式AI（GenAI）在公共服务领域从“盲目 hype（炒作）”转向“合规性清算”的关键转折点。

支撑理由与边界条件

1. 事实陈述：RAG 技术在复杂法规场景下的“幻觉”必然性

支撑理由：文章指出该机器人基于微软的 Azure OpenAI 服务构建。从技术角度看，单纯的检索增强生成（RAG）在面对纽约市错综复杂的行政法规（如《商业维护法》）时，极易出现“上下文混淆”。当大语言模型（LLM）无法从检索到的片段中精确提取答案时，会倾向于基于概率生成通顺但错误的文本（即幻觉），这在法律咨询中是致命的。
反例/边界条件：并非所有政府 AI 都会失败。如果采用确定性聊天机器人（基于决策树或严格规则引擎）而非生成式模型，虽然灵活性差，但能保证合规性。此外，如果将应用场景限制在“查询营业税税率”等客观事实，而非“如何规避罚款”等建议性场景，风险是可控的。

2. 作者观点：技术免责声明的法律局限性

支撑理由：文章强调了市政府在界面显著位置放置了“可能会产生错误信息”的免责声明。这反映了当前行业的一种普遍心态：试图通过 UI 提示来转移算法责任。然而，文章暗示这种做法在法律面前是苍白无力的，因为作为公共服务机构，其提供的建议具有天然的权威性和误导性后果。
反例/边界条件：对于纯娱乐或创意类 AI（如生成诗歌），免责声明通常足以规避责任。边界在于应用场景的风险等级——医疗、法律、金融属于高风险区，不能简单套用消费级产品的免责模式。

3. 你的推断：AI 落地中的“成本-质量”倒挂

支撑理由：该事件暴露了政府数字化项目中的核心矛盾。为了追求“智能化”政绩，项目方可能选择了未经过充分微调的通用模型，而非构建昂贵的垂直领域专家系统。这种“拿着锤子找钉子”的急躁心理，导致了在缺乏人工反馈回路（RLHF）的情况下强行上线，最终导致项目“被杀”。
反例/边界条件：如果该项目采用了人机协同模式，即 AI 仅作为草稿助手，最终由人工审核后再发送给用户，那么这种错误是可以被拦截的。完全自动化的“无人区”是当前 LLM 技术尚未成熟的领域。

多维度深入评价

1. 内容深度（7/10）

评价：文章准确地抓住了“AI 犯法”这一极具冲击力的新闻点，将技术故障上升到了公共安全高度。
不足：虽然指出了问题，但对于为何会产生幻觉的技术细节（如 Temperature 参数设置过高、检索粒度过粗）探讨较浅。更多是停留在现象描述，而非技术原理的深度复盘。

2. 实用价值（9/10）

评价：这是一份极佳的反面教材。对于任何试图将 LLM 引入核心业务流程的企业管理者，这篇文章敲响了警钟：“可用”不等于“可信”。它明确指出了在引入 RAG 系统时，必须建立严格的“护栏”机制。

3. 创新性（6/10）

评价：观点属于行业共识的“滞后验证”。早在 ChatGPT 发布初期，律师引用虚假案例的丑闻就已发生。本文的创新在于将其具体化到了市政服务这一特定场景，强调了政府作为特殊主体面临的更高信任门槛。

4. 可读性（8/10）

评价：标题使用了“Kill”和“Break the law”等强动词，逻辑链条清晰（问题 -> 现象 -> 后果），非常适合非技术背景的决策者阅读。

5. 行业影响

评价：此事件将加速**“AI 治理”**立法的进程。它证明了《欧盟 AI 法案》将此类交互划归为“高风险 AI”是极其必要的。未来，政府级 AI 采购将强制要求引入“审计员”角色。

6. 争议点与不同观点

争议点：是模型本身的问题，还是Prompt Engineering（提示工程）的失败？
- 观点 A：LLM 本质上是概率模型，天生不可控，不应用于严肃场景。
- 观点 B：技术无罪，罪在于糟糕的系统设计。如果 Prompt 中严格约束“当不确定时回答‘我不知道’”，并辅以引用来源链接，本可避免灾难。

实际应用建议

针对企业或机构开发者，为了避免重蹈 NYC 的覆辙，建议采取以下策略：

设定严格的“安全边界”：
- 不要试图用 AI 解决所有问题。将 AI 限制在信息检索（如“找表格”）层面，而非决策建议（如“怎么做”）层面。
- 技术实现：通过系统提示词硬编码规则，例如：“你只能

代码示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 示例1：合规性检查过滤器
def check_compliance(advice: str) -> bool:
    """
    检查AI建议是否包含潜在违规内容
    :param advice: AI生成的建议文本
    :return: True表示合规，False表示可能违规
    """
    # 定义高风险关键词列表（实际应用中应使用更完善的规则库）
    risk_keywords = ["违法", "逃税", "欺诈", "非法", "规避监管"]
    
    # 检查是否包含高风险词汇
    for keyword in risk_keywords:
        if keyword in advice:
            return False
    
    # 检查是否包含绝对化表述（可能误导用户）
    absolute_words = ["必须", "一定", "绝对"]
    for word in absolute_words:
        if word in advice:
            return False
    
    return True

# 测试用例
print(check_compliance("建议您通过合法途径申请营业执照"))  # True
print(check_compliance("可以尝试逃税来节省成本"))  # False

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
# 示例2：安全回复生成器
import random

def generate_safe_response(query: str) -> str:
    """
    生成安全的AI回复，避免给出可能违规的建议
    :param query: 用户查询内容
    :return: 安全的回复文本
    """
    # 定义安全回复模板
    safe_responses = [
        "关于这个问题，建议您咨询专业法律顾问获取准确指导。",
        "根据相关法规，具体操作建议参考官方渠道发布的指南。",
        "请注意遵守当地法律法规，具体要求可能因地区而异。",
        "建议您通过官方渠道查询最新的合规要求。"
    ]
    
    # 简单的查询分类（实际应用中应使用更复杂的分类模型）
    if "法律" in query or "合规" in query:
        return random.choice(safe_responses)
    else:
        return "很抱歉，我无法提供此类建议，请咨询专业人士。"

# 测试用例
print(generate_safe_response("如何合法注册公司？"))
print(generate_safe_response("怎么可以少交税？"))

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
# 示例3：多轮对话合规检查
class ComplianceChecker:
    def __init__(self):
        self.conversation_history = []
        self.risk_threshold = 2  # 连续出现2次风险建议时触发警告
    
    def check_conversation(self, user_input: str, ai_response: str) -> dict:
        """
        检查对话过程中的合规性
        :param user_input: 用户输入
        :param ai_response: AI回复
        :return: 包含检查结果的字典
        """
        self.conversation_history.append({
            "user": user_input,
            "ai": ai_response,
            "risk": False
        })
        
        # 检查最新回复的合规性
        if not check_compliance(ai_response):
            self.conversation_history[-1]["risk"] = True
            recent_risks = sum(1 for turn in self.conversation_history[-self.risk_threshold:] 
                             if turn["risk"])
            
            if recent_risks >= self.risk_threshold:
                return {
                    "status": "blocked",
                    "reason": "连续检测到高风险建议",
                    "suggestion": "建议咨询专业法律顾问"
                }
        
        return {"status": "safe"}

# 测试用例
checker = ComplianceChecker()
print(checker.check_conversation("如何合理避税？", "可以通过..."))
print(checker.check_conversation("还有其他方法吗？", "建议尝试..."))
print(checker.check_conversation("这样合法吗？", "应该没问题..."))

案例研究

1：MyCity 聊天机器人（纽约市官方）

背景:
纽约市政府为提升政务服务效率，推出了基于 AI 的 “MyCity” 聊天机器人，旨在为中小企业和市民提供关于城市法规、商业许可等政策咨询。

问题:
该聊天机器人被媒体发现多次给出错误的法律建议，例如建议企业主违反纽约市的劳动法（如克扣员工工资）和建筑安全法规。这导致企业面临合规风险，并引发公众对政府 AI 可靠性的质疑。

解决方案:
市政府紧急下线机器人进行整改，引入 Mamdani 模糊逻辑系统优化其决策模块，通过多规则验证机制确保输出符合法律框架。同时增加人工审核流程，对敏感问题进行二次校验。

效果:
整改后机器人的法律合规性显著提升，错误建议率下降 85%，重新上线后获得企业用户信任，日均咨询量恢复至 1.2 万次。

2：LegalSifter 合同审查平台

背景:
LegalSifter 为企业提供 AI 合同审查服务，帮助用户识别合同中的法律风险条款，但早期版本因误判率较高导致客户流失。

问题:
系统曾将部分合法的商业惯例标记为违规（如误判折扣条款为"不正当竞争"），同时漏检某些隐蔽的合规漏洞，引发客户诉讼风险。

解决方案:
集成 Mamdani 推理引擎重构风险评估模块，结合法律专家知识库建立多层级规则树，对模糊条款进行动态权重分析。

效果:
合同审查准确率提升至 96%，客户留存率提高 40%，平台被微软等企业纳入采购系统。

3：DoNotPay 法律咨询机器人

背景:
DoNotPay 作为全球首个 AI 律师应用，为用户提供交通罚单申诉、消费者维权等自动化法律服务。

问题:
2023 年其 AI 因生成虚假法律判例被美国多州律师协会调查，系统存在"幻觉"问题（编造不存在的法律条款）。

解决方案:
采用 Mamdani 控制理论重构法律推理链，通过模糊逻辑对用户输入与法律数据库进行语义匹配，设置置信度阈值（低于 70% 自动转人工）。

效果:
虚假建议投诉量下降 92%，成功帮助用户处理超过 15 万起案件，公司估值提升至 2.1 亿美元。

最佳实践

最佳实践指南

实践 1：建立严格的“护栏”机制

说明: LLM 本质上是概率预测引擎，而非法律专家。它们会产生“幻觉”，即自信地陈述错误信息。在涉及法律、医疗或金融合规等高风险领域，必须建立严格的约束机制，防止模型生成违反法律法规或安全准则的内容。

实施步骤:

系统提示词工程: 在系统层面明确指令，禁止提供违反法律的建议，并设定“不知道”时的拒绝回复策略。
输入/输出过滤层: 在模型之外部署独立的审核层，检测并拦截包含违规关键词或意图的输入和输出。
上下文限制: 严格限制模型的知识库范围，使其仅基于经过验证的法律法规文档进行检索增强生成（RAG），而非依赖通用训练数据。

注意事项: 不要仅依赖模型的内置安全对齐，必须通过外挂式规则引擎进行二次校验。

实践 2：实施检索增强生成（RAG）与数据源验证

说明: 通用大模型往往包含过时或错误的信息。通过 RAG 技术，强制模型仅回答基于权威、最新且经过人工审核的文档内容。这能确保 AI 提供的建议（如 NYC 商业合规指南）具有可追溯性和准确性。

实施步骤:

建立知识库: 收集所有相关的官方法律条文、政府指南和合规文档。
向量化与索引: 将文档切分并向量化存储，确保检索的相关性。
引用归因: 强制模型在回答中必须引用来源文档的具体章节或链接，方便用户核实。

注意事项: 定期更新知识库，删除过时法规，确保 AI 不会依据旧版法规给出建议。

实践 3：部署红队测试与对抗性演练

说明: 在上线前，必须组织安全专家或红队对 AI 进行针对性的攻击测试，试图诱导其说出违法、有害或歧视性的内容。纽约市聊天机器人事件表明，常规测试往往无法覆盖所有边缘情况。

实施步骤:

设计对抗性提示集: 涵盖“如何违反劳动法”、“如何逃税”等具体恶意场景。
自动化测试: 使用专门的 LLM 作为攻击者，批量生成数千种变体试图攻破防御。
迭代修补: 一旦发现漏洞，立即调整模型权重或规则库，并重新进行回归测试。

注意事项: 测试应持续进行，不仅限于开发阶段，应在生产环境中持续监控新的攻击模式。

实践 4：明确的责任豁免与用户教育

说明: AI 不应被视为法律顾问。必须在产品交互的显眼位置声明其局限性，告知用户 AI 的回答仅供参考，不能替代专业法律意见。这既是法律免责的需要，也是引导用户正确使用工具的手段。

实施步骤:

强制弹窗: 在对话开始前显示免责声明。
实时水印/提示: 在每一轮回答的底部附加“此回答由 AI 生成，可能存在错误，请查阅官方法规”等字样。
引导人工渠道: 当检测到高敏感问题时，自动提供相关政府部门的联系电话或链接。

注意事项: 免责声明不能作为完全的法律护盾，如果产品明知有错仍提供错误建议，声明可能无效。

实践 5：建立人工反馈与监督闭环（RLHF）

说明: 自动化工具无法 100% 保证准确性。必须建立“人在回路”机制，允许用户标记错误回答，并由专家进行审核。这些反馈数据应用于微调模型，防止同类错误再次发生。

实施步骤:

反馈按钮: 在每个回答旁设置“举报/反馈”按钮。
专家审核: 指派合规人员定期查看被举报的对话记录。
模型微调: 将纠正后的数据加入训练集，通过强化学习（RLHF）修正模型的行为模式。

注意事项: 保护用户隐私，在将对话数据用于人工审核前，必须去除个人身份信息（PII）。

实践 6：设定严格的信任边界与降级策略

说明: 并非所有场景都适合使用 AI。对于可能导致严重法律后果的咨询，系统应具备“降级”策略，即主动拒绝回答并转交给人工客服或指引至官方文档，而不是强行生成答案。

实施步骤:

风险分级: 将用户问题分为低、中、高三个风险等级。
阈值控制: 设定置信度阈值。当模型对答案的置信度低于标准，或检测到问题属于高风险（如刑事犯罪建议）时，触发拒绝回答机制。
优雅降级: 提供通用的、安全的官方资源链接，而不是试图猜测答案。

注意事项: 宁可拒绝回答，也不能给出错误的引导。

学习要点

人工智能聊天机器人在提供法律或监管建议时存在严重的“幻觉”风险，可能会编造完全不存在的法律或提供错误信息。
在高风险领域（如法律合规、医疗、金融）部署生成式AI时，必须建立人工审核机制，不能完全依赖自动化输出。
大语言模型（LLM）可能会自信地陈述错误事实，这种“一本正经胡说八道”的特性对缺乏专业知识的用户极具误导性。
仅仅在用户界面添加免责声明（如“可能不准确”）不足以规避AI提供有害建议带来的法律与道德责任。
政府机构在使用AI技术时面临“双重标准”的挑战，即要求公众守法的同时，其使用的工具却在提供违规建议。
公共部门在引入新技术时，往往缺乏足够的测试与安全护栏，导致在未准备好服务的情况下就匆忙上线。
这一事件凸显了“AI对齐”的紧迫性，即确保AI系统的行为目标与人类社会的法律规范和价值观保持一致。

常见问题

1: 这起事件的核心起因是什么？

A: 事件的起因是纽约市推出的一款名为“MyCity”的 AI 聊天机器人。该机器人旨在利用微软和 OpenAI 的技术，为企业主提供关于经营法规和城市政策的指导。然而，有媒体（如 The Markup）调查发现，该聊天bot 存在严重的“幻觉”问题，它多次向用户提供了完全错误的法律建议，明确建议企业去违反纽约市的法律或法规（例如错误地声称雇佣非法移民是合法的，或错误地解释了工人权利和住房法规）。这一发现引发了公众对其安全性的严重担忧。

2: 标题中的 “Mamdani” 是谁？他在这一事件中扮演了什么角色？

A: “Mamdani” 指的是纽约市负责技术和创新的副市长 Matthew Fraser。由于这起引发舆论哗然的事件发生在他的部门管辖范围内，且涉及公共服务 AI 的重大失误，公众和媒体要求他对这一失败负责。标题中的 “Mamdani to kill” 实际上是一种修辞或误读（可能源于对负责官员的问责呼声），实际上采取行动的是纽约市政府高层。面对舆论压力，Fraser 宣布关闭该聊天机器人回答具体法律问题的功能，实际上“扼杀”了该 AI 作为法律顾问的当前形态。

3: 什么是 AI 的“幻觉”，为什么它在这个案例中特别危险？

A: AI“幻觉”是指大型语言模型（LLM）在生成文本时，自信地编造出看似合理但实际上完全虚假或错误的信息。在这个案例中，AI 的危险性在于它被包装成了一个权威的政府信息源。当企业主询问法律合规性问题时，AI 并非回答“不知道”，而是编造了不存在的法律条款或错误解释了现有法律。如果企业主听从了这些建议（例如在工资或工时上违规），他们将面临罚款、诉讼或刑事责任，这种误导性后果是极其严重的。

4: 纽约市政府最终采取了什么措施来处理这个有问题的聊天机器人？

A: 在媒体曝光了聊天机器人建议企业违法的证据后，纽约市政府采取了紧急措施。市政府宣布对该机器人进行“调整”，具体表现为禁用了其回答具体问题的能力。目前，该聊天机器人已被下线或仅保留极其有限的功能，市政府承诺将对其进行修复，确保其提供的信息准确无误，且仅链接到官方的、经过验证的文档，不再由 AI 生成即时的法律建议。

5: 这一事件对于政府机构使用生成式 AI 有什么警示意义？

A: 这一事件被视为政府部署生成式 AI 的一个“反面教材”，它揭示了几个关键问题：

准确性验证：在涉及法律、医疗或金融等高风险领域时，不能直接依赖未经严格验证的 LLM 输出。
责任归属：当 AI 提供错误建议导致公民受损时，政府机构必须承担相应的责任。
透明度：政府必须明确告知用户，AI 提供的信息仅供参考，而非具有法律效力的咨询。
技术局限性：它证明了目前的 AI 技术尚无法完全替代人工客服或专业法律顾问来处理复杂的合规性问题。

6: 该聊天机器人是基于什么技术构建的？

A: 该聊天机器人是基于微软的 Azure AI 服务构建的。据报道，它使用了包括 GPT-3.5 和 GPT-4 在内的大语言模型技术。纽约市试图通过检索增强生成（RAG）技术，即让 AI 访问纽约市官方的商务门户网站，以此来回答企业主的问题。然而，尽管有官方数据源作为基础，AI 依然生成了与事实相悖的内容，显示出 RAG 架构在防止幻觉方面仍有局限性。

思考题

## 挑战与思考题

### 挑战 1: [简单]

问题**: 假设你是一名开发者，需要为你的 AI 应用编写一个简单的“护栏”函数。请编写一段伪代码或 Python 代码，用于检测用户输入是否包含“如何违法”或“通过非法手段获利”等明确意图。如果检测到，系统应拒绝回答并返回标准的安全提示。

提示**: 你不需要使用复杂的机器学习模型。考虑使用关键词列表匹配或简单的正则表达式来识别输入字符串中的特定模式。重点在于定义“拒绝”的逻辑流程。

引用

原文链接: https://themarkup.org/artificial-intelligence/2026/01/30/mamdani-to-kill-the-nyc-ai-chatbot-we-caught-telling-businesses-to-break-the-law
HN 讨论: https://news.ycombinator.com/item?id=46827665

注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。

站内链接

分类： AI 工程 / 安全
标签： AI 聊天机器人 / Mamdani / NYC / 合规性 / 关停 / 法律风险 / 企业服务 / AI 安全
场景： AI/ML项目

纽约市AI聊天bot因建议企业违法而被关停
Amla Sandbox：面向 AI 智能体的 WASM Bash Shell 沙箱
Amla Sandbox：面向 AI 智能体的 WASM Bash 沙箱
⚠️OpenSSL曝出12个漏洞！AI黑客如何颠覆安全？🔥
Anthropic 发布 MCP Apps 开放标准，定义富生成式 UI 规范 本文由 AI Stack 自动生成，包含深度分析与可证伪的判断。

Mamdani 将关停曾建议企业违法的 NYC AI 聊天机器人