Qwen3.5：迈向原生多模态智能体

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

# 示例1：多模态图像描述生成
def analyze_image(image_path: str, api_key: str):
    """
    使用Qwen3.5模型分析图像内容并生成描述
    :param image_path: 本地图像文件路径
    :param api_key: 阿里云API密钥
    :return: 模型生成的图像描述文本
    """
    from dashscope import MultiModalConversation
    
    # 初始化多模态对话实例
    call = MultiModalConversation.call(
        model='qwen-vl-max',  # 使用Qwen最新多模态模型
        api_key=api_key,
        messages=[{
            'role': 'user',
            'content': [
                {'image': image_path},  # 输入图像
                {'text': '请详细描述这张图片的内容'}  # 文本提示
            ]
        }]
    )
    
    return call['output']['choices'][0]['message']['content'][0]['text']

# 使用示例
# description = analyze_image('example.jpg', 'your-api-key')
# print(description)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50

# 示例2：多模态对话系统
def multimodal_chat(conversation_history: list, new_input: str, api_key: str):
    """
    支持文本和图像输入的持续对话系统
    :param conversation_history: 历史对话记录
    :param new_input: 新输入(文本或图像路径)
    :param api_key: 阿里云API密钥
    :return: 模型回复和更新后的对话历史
    """
    from dashscope import MultiModalConversation
    
    # 构建新的消息
    new_message = {
        'role': 'user',
        'content': []
    }
    
    # 判断输入类型
    if new_input.endswith(('.jpg', '.png', '.jpeg')):
        new_message['content'].append({'image': new_input})
    else:
        new_message['content'].append({'text': new_input})
    
    # 添加到对话历史
    conversation_history.append(new_message)
    
    # 调用模型
    response = MultiModalConversation.call(
        model='qwen-vl-max',
        api_key=api_key,
        messages=conversation_history
    )
    
    # 提取回复
    reply = response['output']['choices'][0]['message']['content'][0]['text']
    
    # 更新对话历史
    conversation_history.append({
        'role': 'assistant',
        'content': [{'text': reply}]
    })
    
    return reply, conversation_history

# 使用示例
# history = []
# reply, history = multimodal_chat(history, "你好", "your-api-key")
# print(reply)
# reply, history = multimodal_chat(history, "example.jpg", "your-api-key")
# print(reply)

  1
  2
  3
  4
  5
  6
  7
  8
  9
 10
 11
 12
 13
 14
 15
 16
 17
 18
 19
 20
 21
 22
 23
 24
 25
 26
 27
 28
 29
 30
 31
 32
 33
 34
 35
 36
 37
 38
 39
 40
 41
 42
 43
 44
 45
 46
 47
 48
 49
 50
 51
 52
 53
 54
 55
 56
 57
 58
 59
 60
 61
 62
 63
 64
 65
 66
 67
 68
 69
 70
 71
 72
 73
 74
 75
 76
 77
 78
 79
 80
 81
 82
 83
 84
 85
 86
 87
 88
 89
 90
 91
 92
 93
 94
 95
 96
 97
 98
 99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317

# 示例3：多模态内容审核
def content_moderation(image_path: str, text: str, api_key: str):
    """
    检查图像和文本内容是否包含敏感信息
    :param image_path: 图像文件路径
    :param text: 需要检查的文本内容
    :param api_key: 阿里云API密钥
    :return: 审核结果和风险评分
    """
    from dashscope import MultiModalConversation
    
    # 构建审核提示
    prompt = f"""
    请检查以下内容是否包含敏感、违规或有害信息：
    文本内容：{text}
    图像内容：[见上传图片]
    
    请从以下维度评估：
    1. 是否包含暴力内容
    2. 是否包含色情内容
    3. 是否包含政治敏感内容
    4. 是否包含歧视性言论
    
    返回格式：
    - 总体评估：[安全/不安全]
    - 风险评分：0-10分
    - 详细说明：[具体问题说明]
    """
    
    # 调用模型进行审核
    response = MultiModalConversation.call(
        model='qwen-vl-max',
        api_key=api_key,
        messages=[{
            'role': 'user',
            'content': [
                {'image': image_path},
                {'text': prompt}
            ]
        }]
    )
    
    # 解析审核结果
    result = response['output']['choices'][0]['message']['content'][0]['text']
    
    # 简单的风险评分提取（实际应用中需要更复杂的解析）
    risk_score = 0
    if "风险评分：" in result:
        score_str = result.split("风险评分：")[1].split("\n")[0]
        risk_score = int(score_str.strip())
    
    return {
        'assessment': result,
        'risk_score': risk_score,
        'is_safe': risk_score < 5  # 假设5分以下为安全
    }

# 使用示例
# result = content_moderation("test.jpg", "这是一段测试文本", "your-api-key")
# print(f


---
## 案例研究


### 1：智能客服与售后自动化系统

 1：智能客服与售后自动化系统

**背景**: 某大型电商平台每天面临数百万级的用户咨询，其中大量涉及商品退换货、产品使用指导及故障排查。传统的文字客服机器人难以处理用户上传的实物照片（如衣服破损、电器故障代码），导致问题必须转接人工，处理效率低下。

**问题**: 纯文本模型无法理解图片内容，无法根据用户提供的视觉证据直接做出判断或指导，导致人工客服负载过重，用户等待时间过长，且在多轮对话中经常遗忘上下文。

**解决方案**: 部署基于 Qwen3.5 的原生多模态智能体。该智能体能够直接接收并分析用户上传的图片，结合产品知识库进行视觉推理。它不仅能识别损坏情况，还能调用工具查询物流状态或检索维修手册，并在对话中保持长时记忆。

**效果**: 客服自动拦截率提升了 40%，涉及视觉问题的解决速度提高了 3 倍。用户不再需要反复描述图片内容，体验更加流畅，同时大幅降低了人工客服的人力成本。

---



### 2：工业质检与运维助手

 2：工业质检与运维助手

**背景**: 一家精密制造工厂拥有数千台复杂的生产设备。一线工人发现设备异常或产品瑕疵时，往往需要查阅厚重的纸质手册或等待资深工程师到场，导致停机时间较长，影响生产效率。

**问题**: 传统的数字化方案仅提供简单的文档搜索，无法针对工人拍摄的具体故障现场照片提供针对性的维修建议。工人缺乏即时的视觉指导，难以快速定位复杂的机械问题。

**解决方案**: 开发基于 Qwen3.5 的移动端运维助手。工人只需用手机拍摄故障部位或瑕疵产品，智能体即可通过视觉识别判断故障类型，调取对应的维修文档或历史维修记录，并通过语音和图文结合的方式一步步指导工人进行操作。

**效果**: 设备故障的平均修复时间（MTTR）缩短了 30%，减少了对资深专家的依赖。新员工通过智能体的辅助也能快速上手处理常见问题，显著提升了工厂的整体运维效率。

---



### 3：教育领域的个性化数学辅导

 3：教育领域的个性化数学辅导

**背景**: 在线教育平台面临如何为大规模学生提供个性化辅导的挑战。许多学生在解决数学或物理问题时，习惯于手写步骤并拍照上传，但传统的 OCR 识别只能将公式转为文本，无法理解解题逻辑和几何图形的空间关系。

**问题**: 旧版系统只能判断答案对错，无法分析学生的解题过程。对于几何题目，系统无法理解学生手绘的辅助线或图形标记，导致无法提供深度的逻辑纠错和指导。

**解决方案**: 集成 Qwen3.5 多模态能力构建的 AI 导师。该模型不仅能精准识别手写公式和几何图形，还能像人类老师一样“看懂”学生的解题思路。它可以指出逻辑漏洞，识别几何图形中的关键辅助线，并用自然语言解释为什么某一步推导是错误的。

**效果**: 学生在复杂几何和代数问题上的学习效率提升了 25%，因为系统能提供接近真人老师的反馈体验。这种深度的交互式教学显著提高了用户的留存率和课程完成率。

---
## 最佳实践

## 最佳实践指南

### 实践 1：构建原生多模态交互流程

**说明**: Qwen3.5 的核心优势在于其原生的多模态能力，即模型能够直接理解和处理视觉与听觉信息，而不仅仅依赖外部转换插件。为了发挥这一特性，开发者应设计允许模型直接“看”和“听”的交互流程，减少传统 OCR 或 ASR 预处理环节带来的信息损失。

**实施步骤**:
1. 评估应用场景中的数据输入类型（图像、视频帧、音频波形）。
2. 在 Prompt 工程中直接包含图像或音频链接，利用模型的视觉和听觉感知接口。
3. 测试模型对非文本信息的直接理解能力，对比“原生输入”与“文本描述输入”的效果差异。

**注意事项**: 确保输入的媒体数据分辨率和采样率符合模型的最佳接收范围，避免因数据压缩导致关键特征丢失。

---

### 实践 2：利用原生工具调用实现 Agent 自主性

**说明**: Qwen3.5 强化了作为智能体的工具使用能力，能够自主决定何时以及如何调用外部 API（如搜索、代码解释器、文件操作）。最佳实践是利用 Function Calling 机制，让模型具备动态解决问题的能力，而非仅限于静态对话。

**实施步骤**:
1. 定义清晰、结构化的工具 API 描述（JSON Schema），包括函数名、参数和用途。
2. 在系统提示词中明确授予模型使用特定工具的权限，并设定工具使用的边界条件。
3. 实现一个反馈循环，将工具调用的结果返回给模型，使其能够基于结果进行下一步推理。

**注意事项**: 工具定义的参数描述必须极其精准，模糊的描述会导致模型频繁调用错误的工具或生成无效参数。

---

### 实践 3：采用长上下文策略处理复杂任务

**说明**: 对于复杂的 Agent 任务，Qwen3.5 支持长上下文窗口。最佳实践包括利用长文本能力来维持多轮对话的记忆、处理长篇文档分析或维持复杂的思维链。这有助于 Agent 在长时间运行的任务中保持上下文连贯性。

**实施步骤**:
1. 配置推理参数以支持最大上下文长度（如 32k 或更高，视具体版本而定）。
2. 设计历史信息管理策略，保留关键决策步骤和中间结果，剔除无关的冗余对话。
3. 对于超长文档，采用“滑动窗口”或“摘要索引”技术，确保模型能检索到长文本中的细节信息。

**注意事项**: 上下文越长，推理延迟和计算成本越高。需要在上下文长度和响应速度之间寻找平衡点。

---

### 实践 4：实施系统提示词工程与角色定义

**说明**: 为了让 Qwen3.5 表现出合格的 Agent 行为，必须通过精心设计的系统提示词来设定其角色、性格、技能限制和输出格式。这决定了模型是作为一个简单的问答机器人还是一个具有特定目标的执行者。

**实施步骤**:
1. 在系统提示词中明确定义 Agent 的身份（例如：“你是一个资深的数据分析师”）。
2. 设定具体的思维链指令，强制模型在执行动作前先进行思考和规划。
3. 规定输出格式，例如要求输出 JSON 格式的动作指令，以便后端程序解析和执行。

**注意事项**: 系统提示词需要持续迭代优化，避免指令冲突。过长的限制性指令可能会抑制模型的生成能力。

---

### 实践 5：建立多模态输出与代码沙箱机制

**说明**: Qwen3.5 不仅能理解多模态信息，还能生成代码、图表或结构化数据。最佳实践是构建一个安全的代码执行沙箱，让 Agent 能够运行生成的代码（如 Python 脚本）来处理数据、绘图并返回结果，从而实现“生成-验证-修正”的闭环。

**实施步骤**:
1. 集成代码解释器环境，如 Jupyter Notebook 后端或 Docker 容器。
2. 设定严格的超时和资源限制，防止 Agent 生成死循环代码或消耗过多服务器资源。
3. 将代码执行的输出（包括文本结果、生成的图片文件路径）重新注入回对话上下文供模型分析。

**注意事项**: 必须严格隔离代码执行环境，禁止模型访问敏感的系统文件或外部网络（除非经过授权），以确保安全性。

---

### 实践 6：优化幻觉控制与结果验证

**说明**: 尽管 Qwen3.5 能力强大，但在处理专业领域或极少见的多模态输入时仍可能产生幻觉。最佳实践是引入验证机制，要求 Agent 在给出最终结论前引用依据或进行自检。

**实施步骤**:
1. 在 Prompt 中要求模型在回答不确定的问题时明确标注“不确定”或“需要查证”。
2. 对于关键任务，实施“多路径验证”，即要求模型用不同的逻辑路径验证同一个结果。
3. 结合 RAG（检索增强生成）技术，利用外部知识库对模型的生成内容进行实时校准。

**注意事项**: 过度的验证步骤会增加 Token 消耗和延迟，应根据应用场景

---
## 学习要点

- Qwen3.5 首次实现了原生多模态智能体能力，能够直接处理视觉和听觉输入并进行自主决策，而不仅是简单的多模态理解。
- 该模型在多模态推理、数学和代码生成等核心基准测试中取得了最先进（SOTA）的性能，显著超越了前代及竞争对手。
- 引入了全新的交互范式，支持通过端到端的语音对话和实时视觉反馈与用户及环境进行更自然的交互。
- 模型具备强大的工具使用能力，能够熟练调用浏览器、代码解释器等外部工具来解决复杂的现实世界任务。
- 在长上下文窗口处理方面表现优异，支持高达 128k 的上下文长度，确保了在处理长文本或多轮对话时的连贯性。
- 通过开源策略（包括不同尺寸的模型），降低了开发门槛，促进了多模态智能体生态的快速发展和应用落地。

---
## 常见问题


### 1: Qwen3.5 是什么？它与之前的版本（如 Qwen2）相比有什么主要区别？

1: Qwen3.5 是什么？它与之前的版本（如 Qwen2）相比有什么主要区别？

**A**: Qwen3.5 是阿里云通义千问团队发布的最新一代开源大模型系列。与 Qwen2 相比，该版本在模型架构和功能侧重上进行了调整。主要区别包括：

1.  **多模态融合**：Qwen3.5 在设计上整合了文本、视觉、音频等多种模态的输入处理，旨在减少模态间的信息损耗。
2.  **智能体交互支持**：针对智能体应用场景进行了优化，增强了工具调用、代码解释器以及长上下文处理能力。
3.  **基础能力更新**：在数学、代码、推理及多语言任务上进行了迭代更新。

---



### 2: “Native Multimodal Agents”（原生多模态智能体）具体指什么？为什么它很重要？

2: “Native Multimodal Agents”（原生多模态智能体）具体指什么？为什么它很重要？

**A**: “Native Multimodal Agents” 指的是具备多感官信息处理能力并能自主调用工具的 AI 系统。

*   **“原生”**：指模型在底层训练阶段即采用多模态数据进行联合训练，而非仅在接口层面挂接独立的视觉或音频编码器。
*   **“智能体”**：指模型具备规划、记忆及工具调用能力，能够执行复杂任务链，而不仅仅是单次文本生成。

这一方向旨在提升 AI 系统处理复杂现实世界任务流的自动化水平。

---



### 3: Qwen3.5 的技术架构有什么特点？它是如何实现高性能的？

3: Qwen3.5 的技术架构有什么特点？它是如何实现高性能的？

**A**: 根据技术报告，Qwen3.5 在架构和训练策略上具有以下特点：

1.  **MoE 架构应用**：在部分变体中采用了混合专家模型架构，通过激活特定参数子集来处理不同任务，以平衡模型总参数量与推理效率。
2.  **数据训练策略**：使用了经过清洗的大规模多模态数据进行预训练，并调整了代码、数学和多语言数据的配比。
3.  **长上下文支持**：支持长上下文窗口（最高可达百万级 token），使其能够处理长篇代码库或长时间的对话历史。

---



### 4: Qwen3.5 支持哪些应用场景？开发者如何使用它？

4: Qwen3.5 支持哪些应用场景？开发者如何使用它？

**A**: Qwen3.5 适用于以下场景：

*   **任务自动化**：例如分析数据表格并生成报告。
*   **辅助编程**：理解代码库结构，辅助修复 Bug 或生成代码。
*   **多模态交互**：处理图文或语音输入，用于客服或操作指导。
*   **角色扮演**：利用长文本记忆能力构建对话角色。

**开发者使用方式**：
开发者可以通过 Hugging Face、ModelScope 等平台下载模型权重（包括 Base 和 Instruct 版本），并使用 vLLM、Transformers 等框架进行本地部署或微调。

---



### 5: Qwen3.5 在 Hacker News 等技术社区中的反响如何？有哪些争议点？

5: Qwen3.5 在 Hacker News 等技术社区中的反响如何？有哪些争议点？

**A**: 在 Hacker News 等技术社区，Qwen3.5 被认为是目前主流的开源模型之一。

*   **正面反馈**：主要集中在开源协议、推理性能以及对长文本的处理能力上。部分开发者对其在数学和代码生成方面的表现表示认可。
*   **讨论与争议**：
    *   **基准测试相关性**：部分讨论涉及模型在基准测试（如 MMLU, GSM8K）上的得分与实际生产环境表现之间的差异。
    *   **数据与安全**：作为开源模型，社区对其训练数据的来源及部署后的安全性控制保持持续关注。

---
## 思考题


### ## 挑战与思考题

### ### 挑战 1: [简单]

### 问题**: Qwen3.5 强调了原生多模态能力，这意味着模型在处理视觉和文本信息时采用了统一的架构。请对比传统的“视觉编码器 + 大语言模型”的拼接式架构，分析原生多模态架构在处理图文交错输入时的具体优势。

### 提示**: 思考在处理长上下文中包含多张图片和文本穿插的场景时，两种架构在信息流转效率和特征对齐方式上的区别。

### 

---
## 引用

- **原文链接**: [https://qwen.ai/blog?id=qwen3.5](https://qwen.ai/blog?id=qwen3.5)
- **HN 讨论**: [https://news.ycombinator.com/item?id=47032876](https://news.ycombinator.com/item?id=47032876)

> 注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。

---


---
## 站内链接

- 分类： [大模型](/categories/%E5%A4%A7%E6%A8%A1%E5%9E%8B/) / [AI 工程](/categories/ai-%E5%B7%A5%E7%A8%8B/)
- 标签： [Qwen3.5](/tags/qwen3.5/) / [多模态](/tags/%E5%A4%9A%E6%A8%A1%E6%80%81/) / [智能体](/tags/%E6%99%BA%E8%83%BD%E4%BD%93/) / [原生](/tags/%E5%8E%9F%E7%94%9F/) / [LLM](/tags/llm/) / [通义千问](/tags/%E9%80%9A%E4%B9%89%E5%8D%83%E9%97%AE/) / [视觉理解](/tags/%E8%A7%86%E8%A7%89%E7%90%86%E8%A7%A3/) / [Agent](/tags/agent/)
- 场景： [大语言模型](/scenarios/%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B/)

### 相关文章

- [Qwen3.5：迈向原生多模态智能体](/posts/20260216-hacker_news-qwen35-towards-native-multimodal-agents-7/)
- [Qwen3.5：迈向原生多模态智能体](/posts/20260216-hacker_news-qwen35-towards-native-multimodal-agents-8/)
- [Qwen3.5：迈向原生多模态智能体](/posts/20260216-hacker_news-qwen35-towards-native-multimodal-agents-13/)
- [Qwen3.5：迈向原生多模态智能体](/posts/20260216-hacker_news-qwen35-towards-native-multimodal-agents-3/)
- [Qwen3.5：迈向原生多模态智能体](/posts/20260216-hacker_news-qwen35-towards-native-multimodal-agents-5/)
*本文由 AI Stack 自动生成，包含深度分析与可证伪的判断。*