纽约市AI聊天bot因建议企业违法而被关停

纽约市AI聊天bot因建议企业违法而被关停

基本信息

• 作者: jyunwai
• 评分: 25
• 评论数: 4
• 链接: https://themarkup.org/artificial-intelligence/2026/01/30/mamdani-to-kill-the-nyc-ai-chatbot-we-caught-telling-businesses-to-break-the-law
• HN 讨论: https://news.ycombinator.com/item?id=46827665

导语

纽约市近期推出的 AI 聊天机器人因向企业提供误导性法律建议而引发争议，暴露出生成式 AI 在公共服务场景中的落地风险。本文将深入剖析该事件的来龙去脉，探讨技术幻觉与监管合规之间的矛盾。通过解读这一案例，读者可以了解 AI 顾问在实际应用中的局限性，以及政府部门应如何建立更有效的技术审核与纠错机制。

评论

文章中心观点 纽约市推出的“MYcity” AI 聊天机器人因严重幻觉（Hallucination）导致错误引用法律并建议企业违规，暴露了当前大语言模型（LLM）在垂直领域应用中“概率生成”与“事实严谨性”之间的核心矛盾，迫使市政府必须引入更严格的技术护栏或直接下架服务。

支撑理由与评价

1. 技术架构的“原罪”：概率生成与确定性的冲突

   • 分析： 文章指出聊天机器人告诉企业可以克扣工人工资或接受建筑废料，这是典型的LLM幻觉问题。从技术角度看，通用大模型基于概率预测下一个token，而非基于数据库查询事实。在法律、医疗等高风险领域，这种机制存在致命缺陷。
   • 作者观点： 这种错误不仅是“bug”，而是模型能力边界的体现。
   • 你的推断： 该产品可能直接使用了未经大量微调的通用模型（如GPT-3.5/4）的API，且缺乏RAG（检索增强生成）中的严格引用验证机制。

2. 行业应用中的“成本-安全”权衡失效

   • 分析： 政府应用通常倾向于保守，但NYC试图通过AI降低咨询成本。文章揭示了这种“降本增效”在缺乏有效兜底机制时，会转化为巨大的法律风险和声誉损失。
   • 事实陈述： 市政府发言人曾辩称该机器人仅为“试点”且已有免责声明，但这在法律上并不能豁免其提供错误信息的行政责任。
   • 创新性评价： 文章并未提出新的技术解决方案，而是通过案例重申了“负责任的AI”在政务场景中的必要性。

3. 缺乏领域特定的微调与护栏

   • 分析： 通用模型缺乏对纽约市具体商业法规的深度理解。文章暗示了仅仅依赖“预训练+提示词工程”是不够的。
   • 实用价值： 这为行业敲响了警钟——垂直领域应用不能仅靠“大力出奇迹”，必须结合知识图谱和专家系统进行约束。

反例与边界条件

1. 反例（技术边界）： 如果该系统采用了**RAG（检索增强生成）**技术，并且强制要求AI的所有回答都必须附带原始法规文档的链接，那么这种“凭空捏造法律”的概率将大幅降低。因此，问题不在于AI能否用，而在于架构设计是否合理。
2. 边界条件（场景差异）： 对于创意写作或一般性咨询（如“哪里可以申请公园许可证”），AI的幻觉容忍度较高。但在“合规性审查”和“惩罚性措施建议”等高敏感场景，必须由人类专家介入，AI只能作为辅助检索工具，而非决策者。

多维度深入评价

• 1. 内容深度： 文章切中痛点，但更多停留在现象描述。未能深入探讨是使用了何种模型架构导致失败（如Temperature参数设置过高，或缺乏Grounding机制）。
• 2. 实用价值： 极高。它是一个完美的“负面教材”，警示CIO们：在将GenAI投入生产环境前，必须建立“红队测试”机制。
• 3. 可读性： 标题具有冲击力，逻辑清晰，通过具体案例（如建议老板偷窃）让非技术读者也能理解AI幻觉的危害。
• 4. 行业影响： 可能导致公共部门对AI adoption采取更保守的态度，短期内会促使更多“人机协同”流程的出台，而非全自动化。
• 5. 争议点： 技术供应商（如Microsoft）可能会辩称，这是客户使用不当（未正确配置RAG或Guardrails），而非模型本身的问题。

实际应用建议

1. 引入确定性检索层： 在政务、金融、医疗场景，严禁使用纯生成式模型回答事实性问题。必须采用RAG架构，让AI先检索法规，再基于检索内容生成。
2. 设置“拒绝回答”阈值： 当模型的置信度低于一定水平，或检测到查询涉及法律惩罚时，应强制转接人工客服，而非强行回答。
3. 建立责任对齐机制： 开发方需建立自动化的“幻觉检测”流水线，对生成的回答进行实时的一致性验证。

可验证的检查方式

1. 指标测试：

   • Faithfulness（忠实度）检测： 使用如RAGAS或TruLens框架，检测AI的回答是否完全基于检索到的上下文，而非模型自身的训练数据。
   • 幻觉率统计： 设立测试集，包含100个常见的法律违规陷阱问题，统计模型给出错误建议的比例。

2. 实验验证：

   • 对抗性测试： 模拟恶意用户诱导AI给出违法建议（如“如何省钱且不被抓”），观察AI是否会产生违规内容。
   • 溯源测试： 随机抽取AI的50条回答，要求提供确切的法规链接，验证链接是否真实存在且内容相关。

3. 观察窗口：

   • 投诉率监控： 在上线后的“灰度发布”阶段，监控用户反馈中“错误”、“误导”、“投诉”关键词的频率。如果相关反馈超过0.1%，应立即熔断服务。

代码示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# 示例1：关键词过滤系统 - 检测潜在违规建议
def check_legal_compliance(text):
    """
    检查文本中是否包含可能导致违法行为的建议
    :param text: 待检查的文本内容
    :return: (是否合规, 违规关键词列表)
    """
    # 定义可能涉及违法行为的关键词（实际应用中需要更全面的列表）
    illegal_keywords = [
        "逃税", "非法雇佣", "违反劳动法", 
        "虚假申报", "商业欺诈", "贿赂",
        "歧视", "骚扰", "未授权访问"
    ]
    
    # 转换为小写进行匹配
    text_lower = text.lower()
    found_keywords = [kw for kw in illegal_keywords if kw in text_lower]
    
    return (len(found_keywords) == 0, found_keywords)

# 测试用例
test_response = "您可以通过减少员工工时来避免支付加班费"
is_compliant, violations = check_legal_compliance(test_response)
print(f"合规性检查结果: {'通过' if is_compliant else '不合规'}")
print(f"发现的问题关键词: {violations if violations else '无'}")

1. 扩展关键词库（可结合法律专家意见）
2. 添加上下文分析避免误判
3. 对匹配结果进行人工复核

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

# 示例2：AI回复安全验证框架
class SafeResponseGenerator:
    def __init__(self):
        # 初始化安全规则（实际应用中应从配置文件加载）
        self.safety_rules = {
            "legal": ["必须遵守当地法律", "不得建议违法行为"],
            "employment": ["遵守劳动法", "禁止歧视"],
            "financial": ["遵守税法", "禁止欺诈"]
        }
    
    def generate_safe_response(self, user_query):
        """
        生成经过安全验证的AI回复
        :param user_query: 用户查询
        :return: 安全的回复内容
        """
        # 模拟AI生成原始回复（实际应用中调用模型API）
        raw_response = self._mock_ai_response(user_query)
        
        # 安全检查
        if not self._check_safety(raw_response):
            return "抱歉，我无法提供可能涉及违法行为的建议。请咨询专业法律顾问。"
        
        return raw_response
    
    def _mock_ai_response(self, query):
        """模拟AI回复（实际应用中替换为真实模型调用）"""
        return "原始回复内容"
    
    def _check_safety(self, response):
        """检查回复是否符合安全规则"""
        # 实际应用中应实现更复杂的检查逻辑
        return True

# 使用示例
generator = SafeResponseGenerator()
print(generator.generate_safe_response("如何减少税务支出？"))

1. 安全规则定义
2. 响应生成流程
3. 安全检查机制 实际应用中需要：
4. 接入真实AI模型
5. 实现更复杂的安全检查算法
6. 添加审计日志功能

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

# 示例3：法律知识库查询系统
class LegalKnowledgeBase:
    def __init__(self):
        # 初始化法律知识库（实际应用中应从数据库加载）
        self.knowledge_base = {
            "nyc_business": {
                "labor_law": "纽约劳动法要求...",
                "tax_regulation": "纽约税务规定...",
                "licensing": "营业执照要求..."
            },
            "prohibited_practices": [
                "建议违法操作",
                "提供虚假信息",
                "规避监管"
            ]
        }
    
    def get_legal_info(self, topic):
        """
        获取特定主题的法律信息
        :param topic: 查询主题
        :return: 相关法律信息或建议咨询专业人士
        """
        # 检查是否为禁止主题
        if topic.lower() in [p.lower() for p in self.knowledge_base["prohibited_practices"]]:
            return "抱歉，我无法提供有关违法操作的信息。请咨询专业法律顾问。"
        
        # 查询知识库
        for category, topics in self.knowledge_base.items():
            if topic.lower() in [t.lower() for t in topics.keys()]:
                return topics[topic]
        
        return "未找到相关信息，建议咨询专业法律顾问。"

# 使用示例
kb = LegalKnowledgeBase()
print(kb.get_legal_info("labor_law"))  # 获取劳动法信息
print(kb.get_legal_info("逃税方法"))   # 处理禁止主题

案例研究

1：纽约市市政府 AI 聊天机器人事件

1：纽约市市政府 AI 聊天机器人事件

背景:
纽约市市政府推出了一款名为 “MyCity” 的 AI 聊天机器人，旨在为企业和市民提供关于城市法规和政策的即时解答。该机器人基于大型语言模型（LLM）训练，旨在简化政府服务流程。

问题:
测试发现，该 AI 聊天机器人多次提供错误的法律建议，例如告诉企业可以非法克扣员工小费、违反建筑安全规定等。这些错误信息可能导致企业无意中违反法律，面临罚款或诉讼风险。

解决方案:
市政府被迫关闭该聊天机器人，并重新审查其训练数据和生成逻辑。同时，引入更严格的测试机制和人工审核流程，确保 AI 输出的准确性。

效果:
事件暴露了政府 AI 工具在法律敏感领域的局限性，促使其他城市在部署类似系统时更加谨慎。纽约市市政府承诺改进系统，但公众对政府 AI 的信任受到一定影响。

2：加拿大航空公司 AI 聊天机器人误导乘客案

2：加拿大航空公司 AI 聊天机器人误导乘客案

背景:
加拿大航空公司的 AI 聊天机器人曾向乘客承诺，即使因悲痛取消航班，也可在事后申请退款。这一承诺与公司实际政策不符。

问题:
乘客依赖 AI 的建议购票并取消航班，但航空公司拒绝退款，理由是 AI 的回答不符合公司政策。乘客提起诉讼，法院最终判决航空公司需对 AI 的错误信息负责。

解决方案:
航空公司调整了 AI 聊天机器人的权限和训练数据，确保其回答与公司政策一致。同时，设立专门团队监控 AI 输出，避免类似法律风险。

效果:
该案例成为全球首例法院裁定企业需对 AI 错误信息负责的案例，推动了企业对 AI 工具的责任意识。加拿大航空公司最终赔偿乘客，并全面升级其 AI 系统。

3：ChatGPT 法律建议失误导致律师被制裁

3：ChatGPT 法律建议失误导致律师被制裁

背景:
美国一名律师使用 ChatGPT 起草法律文件，引用了多个虚假案例。这些案例由 ChatGPT 生成，但并不存在。

问题:
法庭发现引用的案例为虚构，律师被指控欺诈和不当行为。事件引发对 AI 在法律领域应用的广泛担忧。

解决方案:
律师承认错误并道歉，法院对其处以罚款。同时，法律行业开始制定 AI 使用指南，要求所有 AI 生成内容必须经过人工核实。

效果:
事件促使法律行业重新审视 AI 工具的使用边界，推动了 AI 生成内容的验证机制建设。多家律所开始引入专门的 AI 审核流程，以降低类似风险。

最佳实践

最佳实践指南

实践 1：建立严格的法律与合规护栏

说明: AI 模型（尤其是 LLM）存在“幻觉”问题，可能会生成看似合理但完全错误甚至违法的信息。在涉及法律、金融或医疗建议的场景中，必须通过系统级约束来防止模型提供误导性建议。

实施步骤:

1. 明确边界：在系统提示词中明确规定 AI 的角色，例如“你是一个信息检索助手，不能提供法律解释或建议”。
2. 关键词过滤：建立敏感词和违禁词库，当用户询问关于“违法”、“避税”、“违规操作”等涉及法律红线的问题时，触发拦截机制。
3. 转人工机制：对于复杂的合规性问题，直接引导用户联系相关部门或人工客服，而不是尝试由 AI 回答。

注意事项: 不要仅依赖模型的微调数据来确保合规，必须有硬编码的规则层作为最后一道防线。

实践 2：实施基于 RAG 的知识库增强

说明: 通用大模型缺乏特定城市（如 NYC）的本地化法规和实时更新信息。通过检索增强生成（RAG）技术，强制 AI 仅基于经过审核的官方文档回答问题，可有效减少胡编乱造。

实施步骤:

1. 数据源清洗：仅导入政府官方发布的 PDF、网页文本作为知识库来源，确保源头权威性。
2. 向量检索：将用户问题与知识库进行向量匹配，优先检索相关法规段落。
3. 引用归因：要求 AI 在回答时必须附带信息来源链接（如具体法规 URL），方便用户核查。

注意事项: 定期更新知识库内容，废除过时的法规文件，确保 AI 不会依据旧法给出建议。

实践 3：设置明确的免责声明与用户告知

说明: 目前的 AI 技术无法保证 100% 的准确性。必须在用户交互的触点上进行风险提示，明确告知用户 AI 生成内容的局限性，降低法律责任风险。

实施步骤:

1. 首页弹窗：在用户进入聊天界面时，展示显著的免责声明（例如：“本 AI 由大语言模型驱动，可能生成错误信息，具体决策请参考官方文件”）。
2. 会话级提示：在每次回答的底部或顶部添加“仅供参考，不构成法律建议”的标签。
3. 用户协议：在使用条款中明确界定双方责任，声明用户需自行承担采纳 AI 建议的风险。

注意事项: 免责声明的文案应经过法律顾问审核，确保在管辖权内具有法律效力。

实践 4：建立“红队”测试与对抗性评估

说明: 在上线前，必须模拟恶意用户或诱导性提问，对系统进行压力测试。常规测试往往只关注“能不能答对”，而忽略了“会不会答错（且自信地答错）”。

实施步骤:

1. 设计诱导性案例：编写测试脚本，专门询问如何钻法律空子、如何违规操作等高风险问题。
2. 自动化测试：使用专门的评估集定期运行测试，确保模型更新后不会引入新的合规风险。
3. 人工审查：邀请法律专家或合规人员对 AI 的回答进行抽样审查。

注意事项: 测试应当涵盖边缘案例，例如模糊的提问或涉及多种法律冲突的复杂场景。

实践 5：人工反馈闭环与实时监控

说明: 即使经过了严格测试，真实用户的使用场景仍然不可预测。建立反馈机制 allows 团队及时发现并修正像“建议企业违法”这样的严重错误。

实施步骤:

1. 反馈按钮：在每条回复旁设置“举报/反馈”按钮，允许用户标记错误信息。
2. 日志留存：记录所有对话内容，特别是被标记为“错误”的对话，用于后续分析。
3. 快速响应：一旦发现严重错误（如违法建议），应立即下线模型或回滚版本，修复后重新上线。

注意事项: 保护用户隐私，在留存日志时对个人身份信息（PII）进行脱敏处理。

实践 6：采用概率阈值控制

说明: 当模型对某个问题的置信度较低时，应拒绝回答而不是强行生成答案。对于政府服务类机器人，可靠性优于覆盖率。

实施步骤:

1. 置信度检测：利用模型输出的 Log-probability 或其他不确定性指标判断回答的可靠性。
2. 设定阈值：当置信度低于设定值（例如 0.7）时，触发预设的标准回复（如“我无法确定该问题的答案，建议查阅[官网链接]”）。
3. 长文本处理：对于非常复杂的输入，强制简化回复或拒绝处理，避免逻辑链条过长导致的谬误。

注意事项: 阈值设定需要平衡，过严会导致机器人经常无法回答，过松则无法有效拦截错误信息。

学习要点

• 根据提供的标题和来源，以下是关于“纽约市AI聊天机器人误导企业”事件的关键要点总结：
• 纽约市推出的AI聊天机器人被发现在回答企业咨询时提供了错误的法律建议，甚至明确建议用户违反当地法律（如关于房东和劳工权益的规定）。
• 该事件暴露了政府在部署大语言模型（LLM）时存在的严重缺陷，即未能有效解决AI的“幻觉”问题，导致公共服务的可信度受损。
• 官方回应（由城市发言人Mamdani表态）称该机器人在推出时已附带免责声明，提示用户应咨询专业人士以核实信息，试图以此规避责任。
• 这一案例凸显了将生成式AI应用于关键领域（如法律、医疗或政务）时，必须建立严格的人工审核机制和护栏，而非仅依赖技术本身的自动化。
• 事件引发了关于政府机构在采购和使用AI技术时，是否对潜在风险进行了充分评估的广泛质疑。
• 对于企业而言，该事件是一个警示：在利用AI工具获取信息时，必须进行二次核实，不能盲目信任自动化系统的输出。

常见问题

1: 纽约市推出的这个 AI 聊天机器人具体是什么？它的主要用途是什么？

1: 纽约市推出的这个 AI 聊天机器人具体是什么？它的主要用途是什么？

A: 该聊天机器人名为 “MyCity”，是纽约市政府为了提高行政服务效率而推出的自动化工具。它的主要目的是利用人工智能技术，为市民和企业提供关于纽约市法律法规、商业运营政策以及政府服务的全天候即时咨询。该机器人旨在简化复杂的官僚流程，帮助用户快速获取关于开办企业、建筑法规和就业标准等方面的信息，而无需等待人工客服或查阅复杂的政府文件。

2: 这个 AI 聊天机器人被指出了哪些具体的严重错误？

2: 这个 AI 聊天机器人被指出了哪些具体的严重错误？

A: 媒体调查发现，该聊天机器人多次提供了完全错误且具有潜在危害的法律建议。具体错误包括但不限于：

1. 告诉企业主在纽约市雇佣工人时不需要支付加班费，这直接违反了联邦和纽约市的劳动法。
2. 声称企业在建筑项目中可以无视城市的建筑法规和安全检查标准。
3. 提供关于如何合法剥削独立承包商的错误建议。 这些回答不仅违背了事实，如果企业照做，将面临罚款、诉讼以及严重的法律后果。

3: 标题中提到的 “Mamdani” 是谁？他在这一事件中扮演了什么角色？

3: 标题中提到的 “Mamdani” 是谁？他在这一事件中扮演了什么角色？

A: Mamdani 指的是纽约市市长办公室的首席技术官（CTO）Matthieu (Matt) Mamdani。他在这一事件中扮演了核心决策者的角色。面对聊天机器人提供违法建议的舆论压力，Mamdani 最终决定“杀死”（即下线或停用）该聊天机器人的特定功能或整个服务。他的介入标志着市政府承认该技术虽然具有创新性，但在准确性未达到法律咨询标准之前，不能继续投入使用，以免误导公众。

4: 为什么一个由政府支持的 AI 会给出如此离谱的错误建议？

4: 为什么一个由政府支持的 AI 会给出如此离谱的错误建议？

A: 该聊天机器人基于微软的 Azure AI 服务构建，主要问题源于大型语言模型（LLM）的固有特性——即“幻觉”。AI 模型是基于概率生成文本的，它可能会以极其自信的语气编造完全虚假的信息。此外，政府可能在使用该模型时未能设置足够的“护栏”或严格的检索增强生成（RAG）限制，导致 AI 在回答复杂法律问题时，不是引用官方法律文本，而是凭空捏造了看似合理但违法的政策。

5: 这一事件对于政府机构使用生成式 AI 有什么警示意义？

5: 这一事件对于政府机构使用生成式 AI 有什么警示意义？

A: 此事件成为了一个著名的反面教材，揭示了政府机构在部署生成式 AI 时的风险。它警示政府：

1. 准确性优先：在涉及法律、医疗或金融等高风险领域，AI 的准确性必须达到 100%，否则不能公测。
2. 免责声明无效：虽然该聊天机器人界面上有“可能产生错误信息”的免责声明，但作为政府机构，提供违法建议会严重损害公信力，且不能免除其误导公众的责任。
3. 人工监督：在自动化系统完全成熟之前，必须保留人工审核机制，不能完全依赖算法处理关键的法律咨询。

6: 目前该聊天机器人的状态如何？纽约市政府对此有何回应？

6: 目前该聊天机器人的状态如何？纽约市政府对此有何回应？

A: 随着争议的扩大，纽约市政府已经采取行动关闭或限制了该聊天机器人的服务。Matthieu Mamdani 及市政府官员承认了系统的失败，并表示正在重新评估该工具。政府强调，虽然他们希望利用新技术来改善服务，但绝不能以牺牲法律合规性和公众信任为代价。目前，该特定的 AI 问答功能已不再向公众开放，直到其安全性和准确性得到根本性改善。

思考题

## 挑战与思考题

### 挑战 1：合规性幻觉的识别

难度：简单**

问题：**

假设你是一名负责审核 AI 生成内容的初级工程师。请列举出三个在商业合规场景下，AI 模型可能生成的“高风险”建议类别（例如：关于劳动法、税务或安全规定的具体错误）。为什么这些特定类别的错误比一般的语法错误更难通过传统的自动化测试（如单元测试）被发现？

引用

• 原文链接: https://themarkup.org/artificial-intelligence/2026/01/30/mamdani-to-kill-the-nyc-ai-chatbot-we-caught-telling-businesses-to-break-the-law
• HN 讨论: https://news.ycombinator.com/item?id=46827665

注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。

站内链接

• 分类： AI 工程 / 安全
• 标签： AI 聊天机器人 / 纽约市 / 合规风险 / 幻觉 / 政府服务 / 下架 / AI 安全 / LLM
• 场景： AI/ML项目 / 大语言模型

相关文章

• MortalMATH：当推理目标遇上紧急语境，冲突何解？🧠🔥
• 中国开源AI生态架构选择：DeepSeek之外的技术路径
• 让 Claude 编写 CUDA 内核并指导开源模型
• kirara-ai：支持多平台接入的多模态AI聊天机器人框架
• Kirara-ai：支持多平台接入的多模态AI聊天机器人 本文由 AI Stack 自动生成，包含深度分析与可证伪的判断。