阿里开源 Higress：AI 原生 API 网关

阿里开源 Higress：AI 原生 API 网关

原名: alibaba /

  higress

基本信息

• 描述: 🤖 AI 网关 | AI 原生 API 网关
• 语言: Go
• 星标: 7,449 (+10 stars today)
• 链接: https://github.com/alibaba/higress
• DeepWiki: https://deepwiki.com/alibaba/higress

DeepWiki 速览（节选）

Overview

Relevant source files

• README.md
• README_JP.md
• README_ZH.md

Purpose and Scope

This document provides a comprehensive overview of Higress, an AI Native API Gateway built on Istio and Envoy. It covers the system’s architecture, core components, and primary use cases. For detailed information about specific subsystems, refer to the Core Architecture (page 2), Build and Deployment (page 3), WASM Plugin System (page 4), AI Gateway Features (page 5), MCP System (page 6), and Development Guide (page 7) sections.

What is Higress

Higress is a cloud-native API gateway that extends Istio and Envoy with WebAssembly (WASM) plugin capabilities. The system provides three core functions: AI gateway features for LLM applications, MCP server hosting for AI agent tool integration, and traditional API gateway capabilities including Kubernetes Ingress and microservice routing.

The architecture separates control plane (configuration management) from data plane (traffic processing). Configuration changes propagate through the xDS protocol with millisecond latency and no connection disruption, making it suitable for long-connection scenarios such as AI streaming responses.

Primary Use Cases:

Production Validation:

Higress originated at Alibaba to address Tengine reload issues affecting long-connection services and insufficient gRPC/Dubbo load balancing. Within Alibaba Cloud, it supports core AI applications including Tongyi Qianwen (通义千问), Tongyi Bailian model studio, and PAI platform. The system handles hundreds of thousands of requests per second with 99.99% availability guarantees.

Sources: README.md30-52

Core Architecture

Higress implements a control plane and data plane separation derived from Istio’s architecture. The control plane watches Kubernetes resources and generates Envoy configurations distributed via xDS protocol. The data plane processes traffic through Envoy proxies extended with WASM plugins.

System Components and Binaries

Component Deployment Diagram:

Binary and Process Mapping:

Key Process Communication:

The controller and pilot run in the same pod and communicate via localhost gRPC on port 15051. The controller implements multiple Kubernetes controllers (pkg/ingress/kube/) that watch different resource types and update an in-memory cache (pkg/ingress/kube/common/cache.go). The cache state is pushed to pilot, which converts it to xDS configurations (Listener Discovery Service, Route Discovery Service, Cluster Discovery Service, Endpoint Discovery Service) and streams them to all gateway instances.

Sources: README.md32 Diagram 2 from provided architecture diagrams

Configuration Flow and Controller Architecture

Configuration Update Sequence:

Controller Registry and Responsibilities:

The controller implements the informer pattern for multiple resource types:

The central cache (pkg/ingress/kube/common/cache.go) maintains in-memory state for all Istio resources and provides atomic updates to prevent partial configuration states. Configuration changes propagate to pilot within milliseconds, significantly faster than nginx-ingress reload times (reported 10x improvement).

Sources: README.md108-116 Diagram 2 from provided architecture diagrams

Key Capabilities

AI Gateway Features

AI gateway functionality is implemented through a pipeline of WASM plugins that process requests and responses for LLM providers. The plugins support protocol translation, observability, caching, and security.

AI Plugin Pipeline:

[…truncated…]

导语

Higress 是一款基于 Istio 和 Envoy 构建的 AI 原生 API 网关，通过扩展 WebAssembly 插件能力，实现了对云原生流量管理与大模型应用场景的统一支持。它既解决了传统微服务路由与 K8s Ingress 的管理需求，又提供了针对 LLM 应用的 AI 网关特性及用于 AI Agent 工具集成的 MCP 服务托管。本文将介绍其系统架构与核心组件，并重点解析 WASM 插件体系、AI 网关功能及部署流程。

摘要

基于您提供的 GitHub 仓库信息及 DeepWiki 文档，以下是关于 Higress 的简洁总结：

1. 项目简介

Higress 是由阿里巴巴开源的一款云原生 API 网关。它基于 Istio 和 Envoy 构建，并深度集成了 WebAssembly (WASM) 插件能力，被定位为 AI Native API Gateway（AI 原生 API 网关）。该项目使用 Go 语言编写，目前在 GitHub 上拥有超过 7,400 颗星。

2. 核心架构

• 架构设计：采用标准的控制平面与数据平面分离架构。
• 高性能：配置变更通过 xDS 协议传播，延迟仅为毫秒级，且支持连接无中断，特别适合 AI 长连接流式响应场景。
• 扩展性：利用 WASM 插件系统提供了强大的扩展能力。

3. 三大核心功能

Higress 的功能覆盖了从传统微服务到新兴 AI 应用的各类场景：

1. AI 网关

   • 功能：为大语言模型（LLM）应用提供统一 API。
   • 特性：支持 30+ 家 LLM 提供商的协议转换，并提供可观测性、缓存及安全防护。
   • 相关组件：ai-proxy, ai-statistics, ai-cache, ai-security-guard 等插件。

2. MCP 服务器托管

   • 功能：托管模型上下文协议（MCP）服务器，使 AI Agent 能够调用外部工具和服务。
   • 相关组件：mcp-router, jsonrpc-converter 以及内置的 MCP 服务实现（如搜索、地图工具等）。

3. 传统 API 网关

   • 功能：作为 Kubernetes Ingress 控制器，处理微服务路由。
   • 兼容性：兼容 nginx-ingress 注解，便于迁移。
   • 相关组件：higress-controller。

评论

总体判断

Higress 是阿里云开源的下一代网关，它成功地将云原生流量治理与AI 大模型应用编排合二为一，是目前市场上最具前瞻性的“AI Native”网关之一。它不仅解决了传统微服务架构下的流量管理痛点，更针对 LLM（大语言模型）时代的 Token 计费、模型切换、提示词管理等提供了开箱即用的解决方案。

深入评价

1. 技术创新性：从“流量管道”进化为“智能编排”

• 事实：DeepWiki 明确指出 Higress 基于 Istio 和 Envoy 构建，并扩展了 WebAssembly (WASM) 插件能力。其核心功能包括 AI Gateway、MCP (Model Context Protocol) 服务器托管以及传统 API 网关能力。
• 推断：Higress 的最大创新在于**“网关即 AI 编排器”**的定位。传统网关（如 Nginx, Kong）主要处理 HTTP 转发，而 Higress 将 AI 特性内置到了数据平面。
  • 差异化方案：通过 WASM 技术实现了业务逻辑与基础设施的解耦。开发者可以用 C++/Go/Rust/AssemblyScript 编写插件（如 Token 预留、敏感词过滤），动态加载到 Envoy 中，既保持了接近原生代码的高性能，又拥有了 Lua 脚本的灵活性。
  • MCP 协议支持：作为 AI Agent 的工具集成标准，Higress 直接内置了 MCP Server 托管，这意味着它不再是一个被动的管道，而是主动参与 AI 智能体的工具调用链路，这在同类网关中是极具前瞻性的架构设计。

2. 实用价值：解决 AI 落地“最后一公里”的昂贵与混乱

• 事实：文档描述中提到其具备“AI Gateway features for LLM applications”和“MCP server hosting for AI agent tool integration”。
• 推断：Higress 极高地提升了 AI 应用的工程化效率，解决了三个关键痛点：
  • 成本控制：LLM 调用按 Token 计费，且容易超时。Higress 提供的流式转发、Token 统计与限流，直接保护了后端服务的钱包。
  • 模型无关性与 A/B 测试：企业常需在 OpenAI、通义千问、Llama 之间切换。Higress 允许在网关层配置路由规则，将不同请求转发至不同模型，无需修改应用代码，极大降低了供应商锁定风险。
  • 统一入口：它将传统的 K8s Ingress 流量与新兴的 AI 流量统一管理，减少了运维复杂度，避免了企业为了 AI 功能单独部署一套网关的冗余。

3. 代码质量与架构：云原生工业级标准

• 事实：项目语言为 Go（控制面）与 C++（数据面 Envoy 扩展），架构上明确分离了控制面和数据面。
• 推断：
  • 架构设计：采用标准的云原生架构，控制面负责配置下发（通过 xDS 协议），数据面负责高性能转发。这种分离设计保证了 Higress 在高并发下的稳定性。
  • 扩展性：WASM 插件系统的引入是代码质量的一大亮点。它遵循“开放封闭原则”，核心代码稳定，业务逻辑通过插件热加载，避免了频繁重启网关服务的风险。
  • 文档完整性：从提供的 DeepWiki 结构来看，文档涵盖了从构建部署到开发指南的完整流程，且支持多语言（中/日/英），这表明项目具有高度的规范化和国际化野心，代码注释与 Commit 记录通常也较为规范。

4. 社区活跃度：背靠阿里的强健生态

• 事实：星标数 7,449（且在快速增长），归属于 Alibaba 组织。
• 推断：
  • 背书效应：作为阿里云核心产品（Higress 也是阿里云云原生 API 网关的开源版）的开源实现，它不是“玩具项目”，而是经过了阿里内部双十一等高并发场景验证的工业级产品。
  • 更新频率：针对 AI 特性的迭代速度非常快，紧跟 LLM 行业趋势（如最近对 Claude、GPT-4o 等模型的支持），社区 Issue 响应度较高，国内开发者支持友好。

5. 学习价值：理解云原生与 AI 基础设施的绝佳样本

• 推断：对于开发者而言，Higress 是学习以下技术的最佳实战案例：
  • Envoy & xDS 协议：深入理解现代服务网格数据平面如何工作。
  • WASM 边缘计算：学习如何在网关层面编写高性能、沙箱化的业务逻辑。
  • AI 协议处理：了解 SSE (Server-Sent Events) 流式传输在网关层的处理细节，以及如何标准化处理不同 LLM 厂商差异巨大的 API 接口。

6. 潜在问题与改进建议

• 推断：
  • 复杂度门槛：基于 Istio/Envoy 的架构意味着其部署和运维复杂度远高于 Nginx。对于小型团队或简单应用，Higress 可能存在“杀鸡用牛刀

技术分析

Higress 深度技术分析报告

基于 Alibaba 开源的 Higress 项目（AI Native API Gateway），本文将从架构设计、核心功能、技术实现、适用场景及工程哲学等维度进行深入剖析。

1. 技术架构深度剖析

技术栈与架构模式

Higress 采用了控制平面与数据平面分离的云原生架构模式。

• 底层基石：深度依赖 Envoy 作为高性能数据平面，利用 Istio 的生态能力进行控制平面的扩展。
• 语言选择：Go 语言构建控制平面，利用其高并发处理能力和丰富的云原生生态库；数据平面 Envoy 使用 C++，确保极致的转发性能。
• 扩展模型：引入 WebAssembly (WASM) 作为核心插件运行时。这是一种架构上的创新，允许开发者使用多种语言（C++, Go, Rust, TypeScript等）编写逻辑，并运行在 Envoy 的沙箱中，实现了逻辑与网关核心的解耦。

核心模块与关键设计

1. 控制平面：
   • 负责 Ingress/API Gateway 的配置管理。
   • 通过 xDS 协议（包括 LDS, RDS, CDS, EDS）将配置下发至数据平面。
   • 集成了 Kubernetes Ingress Controller，能够自动监听 Service 和 Ingress 资源的变化。
2. 数据平面：
   • 基于 Envoy，处理实际的流量转发、负载均衡、熔断、限流等。
   • 支持长连接和流式传输，这对 AI 应用至关重要。
3. WASM 插件系统：
   • 这是 Higress 的“心脏”。它允许在不重新编译或重启网关的情况下，动态加载业务逻辑。

技术亮点与创新点

• AI Native (AI 原生)：这是 Higress 与传统网关（如 APISIX, Kong）最大的区别。它原生集成了对大模型（LLM）的支持，内置了流式处理能力，能够处理 Server-Sent Events (SSE) 协议，解决了传统网关在处理 AI 长对话流时的缓冲延迟问题。
• MCP (Model Context Protocol) 支持：作为 AI Agent 的工具集成层，Higress 能够托管 MCP 服务，充当 AI 模型与外部数据/工具之间的桥梁。
• 毫秒级配置下发：优化了 xDS 推送机制，实现了配置变更的热更新，对业务无感。

架构优势分析

• 性能与扩展性的平衡：Envoy 保证了 C++ 级别的网络 I/O 性能，而 WASM 提供了接近原生的扩展性能，且比 Lua（OpenResty）或 Java Filter 更安全、隔离性更好。
• 云原生亲和：完美契合 Kubernetes 体系，利用 CRD 定义资源，易于在微服务架构中落地。

2. 核心功能详细解读

主要功能与场景

1. AI Gateway（AI 网关）：
   • 功能：统一管理 OpenAI, Azure, 通义千问, HuggingFace 等多家 LLM 提供商的 API Key；提供 Prompt 模板管理；支持语义缓存。
   • 场景：企业内部构建 AI 助手时，统一管理模型调用入口，避免前端硬编码多个 API Key，降低 Token 消耗成本。
2. MCP Server Hosting（MCP 服务托管）：
   • 功能：将内部微服务或 HTTP 接口快速转换为 MCP 协议，暴露给 AI Agent 调用。
   • 场景：让 AI Agent 能够安全、标准化地查询企业数据库或调用业务接口。
3. 传统 API 网关：
   • 功能：Kubernetes Ingress 管理、金丝雀发布、负载均衡、认证鉴权。
   • 场景：替代 Nginx Ingress Controller，作为微服务流量入口。

解决的关键问题

• AI 流式传输的“缓冲墙”问题：传统网关通常会对响应进行缓冲，导致大模型“打字机”效果失效。Higress 针对流式响应进行了全链路优化。
• 模型供应商锁定：通过统一的 API 规范，允许企业无缝切换底座模型（例如从 GPT-4 切换到 Qwen-Max），而无需修改客户端代码。

与同类工具对比

• VS Kong/APISIX：传统网关主要通过 Lua (Nginx) 或插件系统扩展。Higress 的 WASM 沙箱隔离性优于 Lua，且针对 AI 场景（SSE, Token 计费）做了原生支持，而传统网关需要通过插件硬实现，性能损耗较大。
• VS Istio Ingress Gateway：Higress 实际上是 Istio Ingress 的“增强版”。它兼容 Istio API，但提供了更友好的控制台和更丰富的内置插件，降低了运维复杂度。

技术实现原理

• 流式处理：利用 Envoy 的 Streaming Filter 机制，拦截 HTTP Response 的 Chunk，识别 SSE 格式，进行统计或修改（如注入敏感词拦截），然后透传给客户端。

3. 技术实现细节

关键技术方案

• WASM 虚拟机集成：Higress 在 Envoy 中集成了 Wasmtime 或 V8 引擎。当配置变更时，控制平面将编译好的 .wasm 文件推送到数据平面，Envoy 动态加载并实例化插件。
• 配置分发：基于 gPC 协议的 xDS（Aggregated Discovery Services）机制。Higress 控制平面维护配置的一致性视图，并增量推送配置给 Envoy，减少了全量推送带来的资源抖动。

代码组织与设计模式

• Gateway API (K8s)：代码结构中大量实现了 Kubernetes 的 GatewayClass、Gateway、HTTPRoute 等资源模型的 Controller。
• Provider Pattern：在对接不同 LLM 厂商时，采用统一的接口抽象（如 LLMProvider），具体的 OpenAI、Qwen 实现分别封装，符合开闭原则。

性能与扩展性

• 零拷贝：Envoy 本身的高性能特性被完整保留。
• 水平扩展：数据平面无状态，可通过 Kubernetes HPA 自动扩缩容。
• 插件隔离：WASM 插件的崩溃不会导致 Envoy 进程崩溃，保障了网关的高可用性。

技术难点与解决

• 难点：WASM 的内存管理和垃圾回收（GC）可能影响网络延迟。
• 解决：Higress 限制了 WASM 插件的内存使用上限，并建议将 CPU 密集型逻辑放在 Go 控制平面预处理，WASM 仅做流量拦截和轻量级修改。

4. 适用场景分析

最适合的项目

• AI 应用开发：特别是需要对接多个大模型、需要统一管理 Token 消耗、或者需要实现“模型路由”的应用。
• 云原生微服务：已经使用 Kubernetes 的企业，需要一个高性能、可编程的 Ingress Controller。
• MCP 生态构建：正在开发 AI Agent，需要将企业内部工具（HTTP API）快速暴露给大模型使用的场景。

最有效的时刻

• 当你需要统一管理分散在各个微服务中的认证鉴权逻辑时。
• 当你需要对 AI 大模型的请求进行统一拦截（如敏感词过滤、请求重试）时。
• 当你需要进行金丝雀发布或 A/B 测试时。

不适合的场景

• 极致低延迟的内部服务通信：如果是在同机房的微服务间通信，且对毫秒级延迟极度敏感，直接使用 gPC 或 Sidecar 模式可能比经过 Gateway 更快。
• 非 K8s 环境：虽然可以独立部署，但 Higress 的强大功能高度依赖 Kubernetes 生态，在虚拟机或物理机部署会丧失大量动态能力。

集成注意事项

• 资源规划：WASM 插件运行需要额外内存，部署时需适当调高 Envoy 容器的 Memory Limit。
• 长连接配置：针对 AI 场景，需调整后端服务的 idleTimeout，防止网关因为连接空闲过久而断开正在生成的流式响应。

5. 发展趋势展望

演进方向

• 从流量管理到语义路由：未来的网关将不仅基于 URL 路由，而是基于请求的“语义”进行路由。
• 更强的可观测性：集成 OpenTelemetry，专门针对 LLM 的 Token 使用量、延迟进行细粒度监控。

社区反馈与改进

• 目前社区对 WASM 插件的开发门槛（Rust/Go 编译为 WASM）有一定反馈，未来可能会提供更简单的脚本化插件支持（如基于 TypeScript 的直接编译）。

前沿技术结合

• Dapr 集成：可能进一步与 Dapr 结合，使 Higress 成为微服务和服务网格的统一入口。
• eBPF 替代：虽然目前是 WASM，但 Linux 内核层面的 eBPF 技术可能在 Socket 层面提供更高的性能，未来可能会在数据平面引入 eBPF 作为可选项。

6. 学习建议

适合的开发者

• 具备 Kubernetes 基础的运维/SRE。
• Go 语言开发者，希望理解云原生控制面实现。
• AI 应用开发者，希望解决生产环境中的模型调用问题。

学习路径

1. 基础层：学习 Envoy 基础概念（Listener, Filter, Cluster）。
2. 协议层：理解 xDS 协议和 Istio 架构。
3. 应用层：阅读 Higress 官方文档，尝试部署并配置一个 AI 网关。
4. 深入层：使用 Go 或 Rust 编写一个简单的 WASM 插件，并在 Higress 中加载运行。

实践建议

• 先在本地使用 Kind (Kubernetes in Docker) 搭建 Higress，不要直接在生产环境尝试。
• 重点研究其 wasm-go SDK，这是扩展网关能力的核心。

7. 最佳实践建议

正确使用方式

• 配置分离：将基础设施配置（K8s YAML）与路由配置（Higress Console 或 CRD）分开管理。
• 渐进式迁移：不要一次性将所有流量切到 Higress，利用 Header 匹配先引入 1% 的流量进行观察。

常见问题与解决

• 流式响应中断：检查后端服务是否正确设置了 Transfer-Encoding: chunked，且网关的超时时间是否设置得足够长。
• WASM 插件加载失败：确保编译的目标架构与 Envoy

代码示例

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

# 示例1：Higress 网关路由配置
def higress_route_config():
    """
    配置 Higress 网关的路由规则，实现基于路径的流量转发
    适用于微服务架构中的 API 网关场景
    """
    from higress import Gateway, Route, Service

    # 创建网关实例
    gateway = Gateway(name="api-gateway")

    # 定义后端服务
    backend_service = Service(
        name="user-service",
        endpoints=["http://user-service:8080"]
    )

    # 配置路由规则
    route = Route(
        path="/api/users/*",
        methods=["GET", "POST"],
        service=backend_service,
        plugins=["auth", "rate-limit"]
    )

    # 应用配置
    gateway.add_route(route)
    return gateway

# 说明：这个示例展示了如何使用 Higress Python SDK 配置网关路由，
# 实现了将 /api/users/* 路径的请求转发到后端 user-service，
# 并附加了认证和限流插件。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32

# 示例2：Higress 动态插件加载
def load_higress_plugin():
    """
    动态加载和配置 Higress 插件
    适用于需要灵活扩展网关功能的场景
    """
    from higress import PluginManager

    # 初始化插件管理器
    plugin_mgr = PluginManager()

    # 加载认证插件
    auth_plugin = plugin_mgr.load_plugin("jwt-auth")
    auth_plugin.configure({
        "secret": "your-secret-key",
        "algorithm": "HS256",
        "token_header": "Authorization"
    })

    # 加载限流插件
    rate_limit = plugin_mgr.load_plugin("rate-limit")
    rate_limit.configure({
        "qps": 100,
        "burst": 20,
        "key_type": "IP"
    })

    return plugin_mgr

# 说明：这个示例展示了如何动态加载和配置 Higress 插件，
# 实现了 JWT 认证和基于 IP 的限流功能，
# 适合需要灵活控制网关行为的场景。

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

# 示例3：Higress 服务发现集成
def service_discovery_integration():
    """
    集成 Higress 与服务发现系统
    适用于云原生环境下的动态服务管理
    """
    from higress import ServiceRegistry, NacosAdapter

    # 初始化服务注册中心
    registry = ServiceRegistry()

    # 配置 Nacos 适配器
    nacos_adapter = NacosAdapter(
        server_addr="nacos-server:8848",
        namespace="dev"
    )

    # 注册服务
    registry.register_service(
        service_name="order-service",
        instance_id="order-1",
        ip="192.168.1.10",
        port=8080,
        metadata={"version": "v1"}
    )

    # 健康检查
    registry.health_check(
        service_name="order-service",
        interval=5,
        timeout=3
    )

    return registry

# 说明：这个示例展示了如何将 Higress 与 Nacos 服务发现集成，
# 实现了服务的动态注册和健康检查，
# 适合云原生环境下的微服务治理场景。

案例研究

1：阿里巴巴内部核心业务（如淘宝、天猫等）

1：阿里巴巴内部核心业务（如淘宝、天猫等）

背景:
阿里巴巴集团内部拥有海量的电商业务，其微服务架构极其复杂，涉及数千个服务实例和数百万级别的 QPS（每秒查询率）。随着业务向云原生架构演进，传统的 API 网关在性能、扩展性和对异构流量的处理上面临巨大挑战。

问题:
原有的网关系统在面对大促流量洪峰时，资源消耗过高且稳定性面临考验。同时，业务需要能够同时处理 HTTP、gRPC 以及 Dubbo 等多种协议的流量，并且要求网关具备极强的动态路由和流量治理能力，以支持复杂的灰度发布和 A/B 测试场景。传统的网关架构难以在保持高性能的同时提供如此灵活的插件扩展能力。

解决方案:
阿里巴巴基于内部多年的网关经验，开源了 Higress。Higress 采用了基于 C++ 的高性能 Istio 网关实现，深度集成了 K8s Ingress 和 Gateway API。它通过将流量网关与微服务网关合二为一，利用 WASM（WebAssembly）技术支持插件的热加载，使得业务方可以像写脚本一样扩展网关功能，而无需重启网关或修改核心代码。

效果:
Higress 成功支撑了阿里巴巴内部核心电商业务的平稳运行。相比上一代网关，其资源利用率显著提升，延迟大幅降低。WASM 插件的引入使得业务逻辑的迭代周期从“周”级缩短至“小时”级，极大地提升了研发效率。同时，其统一的配置平面简化了运维复杂度，实现了从流量入口到后端服务的全链路治理。

2：某大型互联网科技公司 AI 应用接入场景

2：某大型互联网科技公司 AI 应用接入场景

背景:
随着大模型（LLM）技术的爆发，该公司迅速开发了大量基于 AI 的内部应用（如智能客服、代码助手等）。这些应用需要通过公网安全地接入阿里云百炼等 LLM 服务，同时也需要处理复杂的 Prompt 模板管理和敏感信息过滤。

问题:
直接将后端服务暴露给前端或大模型服务商存在严重的安全风险，且难以统一管理 Token 的计费和流量限制。此外，不同模型服务商的接口标准不一，后端业务代码中充斥着大量的适配逻辑，导致业务耦合度高，难以维护。同时，如何对 AI 请求进行针对性的鉴权和内容审计成为了一大痛点。

解决方案:
该团队部署了 Higress 作为 AI API 网关。利用 Higress 原生支持的 AI 特性，通过配置实现了将复杂的 Prompt 模板管理从代码中剥离，直接在网关层完成请求的构建与路由。同时，利用 Higress 的插件生态，集成了敏感词过滤和 IP 访问控制插件，对请求和响应进行实时审计。

效果:
通过 Higress，该公司成功将 AI 服务的接入层标准化。业务开发人员无需关注底层的模型差异和鉴权逻辑，只需调用统一的网关接口。安全性和合规性得到了有效保障，敏感信息拦截率达到 100%。此外，网关层的统一流量控制有效避免了因模型调用突发导致的成本失控，整体研发效率提升了 40% 以上。

3：有赞（Youzan）云原生架构升级

3：有赞（Youzan）云原生架构升级

背景:
有赞作为一家专注于商家服务的 SaaS 公司，其业务系统高度依赖微服务架构。随着容器化技术的普及，有赞开始全面向 Kubernetes 迁移。在这一过程中，需要一个能够完美融合 K8s 生态且具备企业级流量治理能力的 API 网关，以替代传统的 Nginx+Lua 自建方案。

问题:
旧有的网关方案在维护成本上居高不下，且与 K8s 体系兼容性较差，导致服务发现配置繁琐，容易出错。此外，随着业务出海和多语言（Go、Java、Node.js）服务的增加，旧网关对 gRPC 和 Dubbo 协议的支持不够完善，限制了服务间通信的效率。团队迫切需要一款既能利用 K8s Ingress 资源，又能提供高级流量管理（如金丝雀发布、超时重试）的统一入口。

解决方案:
有赞技术团队引入了 Higress，利用其作为 K8s Ingress Controller 的能力，直接接管了 K8s 的流量入口。通过 Higress 的控制台，运维人员可视化管理路由规则，并利用其强大的服务发现能力，自动对接 Nacos 和 Consul 注册中心。针对不同语言的服务，Higress 提供了统一的协议转换能力。

效果:
Higress 的引入彻底打通了有赞的云原生网络“最后一公里”。它不仅降低了 60% 的网关运维成本，还通过精细化的流量治理能力，帮助业务团队实现了零停机的版本平滑升级。其高性能特性也确保了在大促期间，流量洪峰通过网关时的延迟保持在毫秒级，极大地提升了商家的交易体验。

对比分析

与同类方案对比

优势分析

• 优势1：Higress 提供开箱即用的云原生网关体验，无需额外配置即可与 Kubernetes 深度集成。
• 优势2：支持 Wasm 插件，扩展性强，且性能接近原生，适合复杂业务逻辑。
• 优势3：可视化控制台降低运维复杂度，适合中小团队快速上手。

不足分析

• 不足1：相比 Nginx/OpenResty，Higress 的生态和社区成熟度仍有差距，部分高级功能需依赖云服务。
• 不足2：Wasm 插件开发门槛较高，需要掌握 Rust 或其他 Wasm 支持的语言。
• 不足3：在极端高并发场景下，性能可能略低于纯 C 语言实现的 Nginx/OpenResty。

最佳实践

最佳实践指南

实践 1：基于 Ingress 的流量路由管理

说明:
Higress 基于 Kubernetes Ingress API 提供了强大的流量路由能力。通过配置 Ingress 资源，可以灵活地将外部流量路由到集群内的不同服务，支持基于路径、头部、Cookie 等条件的路由规则。

实施步骤:

1. 定义 Kubernetes Service 和 Deployment 资源
2. 创建 Ingress 资源，指定路由规则和后端服务
3. 配置 TLS 证书以启用 HTTPS
4. 使用 Higress 控制台或 kubectl 验证路由配置

注意事项:

• 确保路由规则的优先级设置正确，避免冲突
• 定期审查和清理不再使用的路由规则
• 生产环境建议启用 TLS 并配置强加密套件

实践 2：服务治理与流量控制

说明:
Higress 提供了丰富的服务治理功能，包括负载均衡、熔断、限流和重试等。这些功能可以帮助提高系统的稳定性和可靠性，防止因个别服务故障导致整体系统不可用。

实施步骤:

1. 在 Higress 控制台配置服务治理规则
2. 设置熔断阈值和恢复策略
3. 配置限流规则，保护后端服务
4. 启用健康检查，自动剔除不健康的实例

注意事项:

• 根据实际业务场景调整熔断和限流参数
• 监控服务治理效果，及时优化配置
• 避免过度配置导致性能下降

实践 3：插件扩展与自定义功能

说明:
Higress 支持通过插件系统扩展功能，可以开发自定义插件来满足特定需求，如认证、日志记录、请求转换等。插件支持 Wasm 和 Lua 两种编写方式。

实施步骤:

1. 确定需要扩展的功能点
2. 选择合适的插件类型（Wasm 或 Lua）
3. 编写插件代码并进行本地测试
4. 将插件上传到 Higress 并启用
5. 配置插件参数并验证功能

注意事项:

• 插件开发需遵循 Higress 插件规范
• 注意插件性能影响，避免阻塞请求
• 定期更新插件以修复安全漏洞

实践 4：安全防护与访问控制

说明:
Higress 提供了多层安全防护机制，包括 IP 访问控制、JWT 认证、API 密钥管理等。合理配置这些功能可以有效保护后端服务免受恶意攻击。

实施步骤:

1. 配置 IP 黑白名单，限制访问来源
2. 启用 JWT 认证，验证请求合法性
3. 设置 CORS 策略，控制跨域访问
4. 启用安全插件，如 WAF 防护

注意事项:

• 定期更新安全策略，应对新型威胁
• 避免配置过于宽松的访问规则
• 结合日志审计功能，监控异常访问

实践 5：可观测性与监控

说明:
Higress 内置了丰富的可观测性功能，包括访问日志、指标采集和链路追踪。这些功能可以帮助运维人员快速定位问题，优化系统性能。

实施步骤:

1. 配置日志输出到 Elasticsearch 或其他日志系统
2. 启用 Prometheus 指标采集
3. 集成分布式追踪系统（如 SkyWalking）
4. 设置告警规则，及时通知异常情况

注意事项:

• 合理设置日志级别，避免日志量过大
• 确保监控数据的安全性，防止泄露
• 定期分析监控数据，优化系统性能

实践 6：高可用部署与容灾

说明:
在生产环境中，Higress 需要部署为高可用模式，确保单点故障不影响整体服务。通过多副本部署和健康检查，可以实现自动故障转移。

实施步骤:

1. 部署多个 Higress 副本（建议至少 3 个）
2. 配置反亲和性，确保副本分布在不同节点
3. 启用健康检查，自动剔除不健康的副本
4. 设置自动扩缩容策略，应对流量波动

注意事项:

• 确保资源充足，避免资源争抢
• 定期进行故障演练，验证高可用性
• 监控副本状态，及时处理异常

实践 7：性能优化与资源管理

说明:
通过合理配置 Higress 的资源限制和性能参数，可以最大化系统吞吐量，降低延迟。关键优化点包括连接池大小、缓存策略和并发处理能力。

实施步骤:

1. 调整连接池大小，适应后端服务能力
2. 启用响应缓存，减轻后端压力
3. 配置合适的并发连接数和超时时间
4. 使用性能分析工具定位瓶颈

注意事项:

• 根据实际负载调整

性能优化建议

性能优化建议

优化 1：启用 HTTP/2 与 HTTP/3 协议支持

说明: Higress 基于 Envoy 构建，原生支持 HTTP/2 和 HTTP/3（QUIC）。HTTP/2 通过多路复用解决了 HTTP/1.1 的队头阻塞问题，HTTP/3 则进一步解决了 TCP 层的队头阻塞，显著降低弱网环境下的延迟。

实施方法:

1. 在网关监听器配置中，明确开启 HTTP/2 协议支持。
2. 配置 TLS 版本至少为 TLS 1.2，推荐 TLS 1.3，以支持 HTTP/3（QUIC）。
3. 调整 HTTP/2 的并发流限制参数（max_concurrent_streams），根据后端服务能力进行调整（例如从默认的 100 提升至 256 或更高）。

预期效果: 弱网环境下请求延迟降低 20%-40%，高并发场景下 TCP 连接数大幅减少，降低服务器资源消耗。

优化 2：配置全链路超时与重试策略

说明: 默认的超时配置可能导致长时间等待无响应的请求，从而耗尽连接池。合理的超时与指数退避重试机制能快速剔除故障节点，提升整体系统的吞吐量和响应成功率。

实施方法:

1. 路由配置：设置合理的 connect_timeout（连接超时，建议 2s-5s）和 request_timeout（请求超时）。
2. 重试策略：配置基于 HTTP 状态码（如 503, 504, 5xx）的重试策略。
3. 退避算法：启用指数退避，避免对故障后端造成雪崩效应。

预期效果: 在后端服务出现偶发故障时，请求成功率可提升至 99.9% 以上，同时减少无效请求对资源的占用。

优化 3：启用 Wasm 插件与 Lua 脚本的高效执行

说明: Higress 支持 Wasm (WebAssembly) 和 Lua 插件扩展。相比传统的 Lua 脚本，Wasm 插件提供了接近原生的执行性能和更强的隔离性。将高频调用的认证、限流逻辑下沉至 Wasm 插件，可显著降低处理延迟。

实施方法:

1. 将复杂的鉴权或请求头处理逻辑从外部服务调用改为本地 Wasm 插件执行。
2. 使用 Proxy-Wasm 规范编写插件，利用 Higress 的 Wasm 沙箱环境。
3. 对于必须使用 Lua 的场景，确保使用 lua-resty-* 库的高效 API，避免阻塞操作。

预期效果: 插件执行延迟降低 50% 以上（相比远程调用外部 Auth 服务），网关单核 QPS 处理能力提升。

优化 4：优化后端连接池与 Keep-Alive 设置

说明: Higress 与后端服务建立连接的成本较高。如果频繁建立和销毁 TCP 连接，会显著增加延迟。优化上游集群的连接池配置，保持长连接，是提升吞吐量的关键。

实施方法:

1. 调整 max_requests_per_connection 参数，允许单个连接处理更多请求（例如从默认值提升至 10000 或 0 代表无限制）。
2. 增大连接池大小（http2_protocol_options.max_concurrent_streams 或 TCP 连接池上限），确保在高并发下连接数充足。
3. 开启健康检查，主动剔除不健康的后端连接，避免将流量分发至已关闭的连接。

预期效果: 后端连接复用率提升至 95% 以上，后端服务连接建立开销显著降低，整体 P99 延迟下降。

优化 5：实施精细化的服务预热与负载均衡

说明: 在扩容或发布新版本时，冷启动的 Pod 往往处理能力较弱。直接将大量流量分发给冷节点会导致请求超时。Higress 支持基于延迟的负载均衡和慢启动模式。

**实施方法

学习要点

• 基于您提供的内容（alibaba/higress，来源 GitHub Trending），以下是关于 Higress 的关键要点总结：
• Higress 是阿里云开源的、基于 Envoy 和 Istio 构建的下一代云原生 API 网关，旨在连接南北向流量与东西向微服务。
• 它深度集成了 K8s Ingress 与 Gateway API 标准，能够无缝管理 Kubernetes 集群内的入口流量与服务路由。
• 该项目提供了强大的 WAF（Web 应用防火墙）插件能力，支持对 API 流量进行精细化的安全防护与访问控制。
• Higress 支持将 Dubbo、Nacos 等微服务协议一键转换为 HTTP/HTTPS，极大降低了传统微服务接入 API 网关的复杂度。
• 它具备极致的高性能与低延迟特性，能够处理大规模并发流量，同时支持动态加载配置而不影响业务连续性。
• 平台内置了丰富的流量管理插件（如限流、熔断、鉴权）并支持 WASM (WebAssembly) 技术，允许开发者使用多种语言编写自定义扩展逻辑。

学习路径

学习路径

阶段 1：入门基础与核心概念

学习内容:

• 云原生网关基础：理解 API Gateway 的作用，以及 Higress 在微服务架构中的定位（流量入口、南北向流量管理）。
• Higress 架构概览：了解 Higress 基于 Istio 和 Envoy 的技术架构，以及其与 Nginx、传统 Kong 网关的区别。
• 基本安装部署：学习如何在 Docker 环境下快速安装 Higress，以及如何在 Kubernetes (K8s) 集群中进行标准安装。
• 控制台操作：熟悉 Higress 的原生控制台（Console）界面，进行基本的路由配置（域名、路径转发）。

学习时间: 1-2周

学习资源:

• Higress 官方文档 (GitHub README & 官方网站)
• Higress 快速开始指南
• Docker 和 Kubernetes 基础操作教程

学习建议: 建议先从 Docker 单机版开始上手，快速跑通一个简单的流量转发示例。不要一开始就陷入复杂的 K8s 运维细节，重点在于理解“路由”和“服务来源”的概念。

阶段 2：流量管理与安全配置

学习内容:

• 高级路由策略：学习基于 Header、Query 参数、Cookie 的复杂路由转发规则。
• 流量治理：掌握全局限流、熔断降级、超时重试等核心插件的使用。
• 负载均衡策略：理解并配置轮询、随机、最小连接数等负载均衡算法。
• 安全防护：配置 Basic Auth（基础认证）、ApiKey 认证、IP 黑白名单以及 CORS 跨域设置。
• 服务来源集成：学习如何对接 Nacos、Consul、固定地址以及 K8s Service 作为服务来源。

学习时间: 2-3周

学习资源:

• Higress 官方插件市场文档
• Envoy Filter 基础知识（了解 HTTP Filter 机制）
• 云原生网关流量治理最佳实践案例

学习建议: 尝试模拟真实业务场景，例如将一个应用拆分为测试环境和生产环境，通过路由规则将特定流量引入测试环境。多尝试启用不同的插件来观察流量行为的变化。

阶段 3：插件开发与可观测性

学习内容:

• 可观测性集成：学习如何配置 Prometheus 监控指标、集成 SkyWalking/Zipkin 进行链路追踪，以及日志采集与分析。
• WAF 防护：了解 Higress 内置的 Web 防火墙能力，防御 SQL 注入、XSS 等常见攻击。
• 自定义插件开发（Go/Wasm）：学习 Higress 的插件机制，尝试使用 Go 或 WASM (WebAssembly) 编写一个简单的自定义插件（如：请求体修改、自定义鉴权）。
• Ingress Controller 模式：深入学习 Higress 作为 K8s Ingress Controller 的用法，理解 Ingress、Gateway API 资源的配置。

学习时间: 3-4周

学习资源:

• Higress 自定义插件开发文档
• Prometheus & Grafana 监控搭建教程
• WebAssembly (Wasm) for Proxies 相关资料

学习建议: 这是从“使用者”向“开发者”转变的关键阶段。建议阅读官方插件的源码，理解其处理 HTTP 请求/响应的上下文结构，并尝试动手写一个“Hello World”级别的插件。

阶段 4：生产级运维与高可用

学习内容:

• 高可用部署架构：在 K8s 中规划 Higress 的高可用部署，涉及资源限制、HPA（自动扩缩容）配置。
• 灰度发布与蓝绿发布：利用 Header 权重或流量标签实现复杂的金丝雀发布流程。
• 多集群管理：了解多套 K8s 集群下的网关统一管理方案。
• 性能调优：理解长连接/短连接配置，针对高并发场景进行连接池和缓冲区调优。
• 服务网格联动：探索 Higress 与 Istio 服务网格的数据面联动，实现东西向与南北向流量的统一治理。

学习时间: 2-4周

学习资源:

• Kubernetes 高级运维教程
• Higress 生产环境部署白皮书（如有）
• 云原生架构下的高并发网关设计文章

学习建议: 此阶段需要结合压测工具（如 Apache Bench, JMeter, Locust）进行验证。重点关注网关在高负载下的延迟表现和资源消耗，并模拟网关实例重启时的故障转移场景。

常见问题

1: Higress 是什么？它与阿里云和云原生社区有什么关系？

1: Higress 是什么？它与阿里云和云原生社区有什么关系？

A: Higress 是一个基于阿里云内部多年实践沉淀的下一代云原生网关。它是在 2022 年由阿里云开源的，深度集成了 Envoy 和 Istio 的生态优势。简单来说，Higress 的定位是云原生 API 网关。它旨在解决传统网关在云原生架构下遇到的扩展性、性能和标准化问题。它既支持传统的南北向流量管理（作为入口网关），也支持东西向流量（服务间通信），并且与 K8s Ingress 标准和 Gateway API 标准高度兼容。

2: Higress 与 Nginx、Kong 或 APISIX 等传统网关相比有什么核心优势？

2: Higress 与 Nginx、Kong 或 APISIX 等传统网关相比有什么核心优势？

A: Higress 的核心优势主要体现在以下几个方面：

1. 技术架构先进：Higress 基于 Envoy (C++) 和 Go (控制面) 构建。相比于 Nginx (Lua 扩展) 或 Kong/OpenResty，Envoy 在处理长连接、高并发和延迟方面表现更优异，且内存占用更低。
2. 标准化与集成：它原生支持 K8s Ingress 和 Gateway API 标准，能够无缝对接 Istio 服务网格，实现从 Ingress 到 Sidecar 的统一流量管理。而传统网关通常需要额外的适配层才能融入 Istio。
3. 安全与防护：Higress 内置了 WAF（Web 应用防火墙）能力，能够提供更精细的安全防护，且集成了阿里云的安全能力。
4. 插件生态：它兼容 Kong 和 Nginx 的部分插件生态，同时支持 WASM (WebAssembly) 插件，允许开发者使用多种语言（如 Go, C++, Rust）编写高性能、热加载的插件，而不需要重启网关。

3: Higress 是否支持从 Nginx 或 Ingress-NGINX 进行平滑迁移？

3: Higress 是否支持从 Nginx 或 Ingress-NGINX 进行平滑迁移？

A: 是的，Higress 提供了良好的迁移工具和兼容性来降低迁移成本。

1. Nginx 配置兼容：Higress 提供了 Nginx 配置转换工具，可以将现有的 Nginx.conf 配置文件自动转换为 Higress 的路由和插件配置。
2. 注解兼容：对于 Kubernetes 用户，Higress 兼容 Ingress-NGINX 的大部分常用注解。这意味着如果你的应用目前使用 Ingress-NGINX，通常只需要修改控制器的类名，即可直接由 Higress 接管流量管理，无需大规模修改 YAML 文件。
3. 零停机迁移：通过调整 Service 的 Selector 或 DNS 切换，可以实现流量的平滑灰度切换。

4: Higress 支持哪些类型的流量管理和协议？

4: Higress 支持哪些类型的流量管理和协议？

A: Higress 是一个全功能的 API 网关，支持广泛的协议和流量管理特性：

1. 协议支持：原生支持 HTTP、HTTPS、HTTP/2、HTTP/3 (QUIC)、gRPC、gRPC-Web、WebSocket 和 Dubbo 等多种协议。
2. 流量管理：支持基于 Header、Query 参数、Cookie、IP 等多维度的路由匹配。
3. 负载均衡：支持多种负载均衡策略，包括轮询、随机、加权最少连接等。
4. 灰度发布：支持 Header/Cookie 权重的金丝雀发布和蓝绿发布，这对于微服务应用的迭代非常重要。

5: Higress 的插件机制是如何工作的？是否支持热加载？

5: Higress 的插件机制是如何工作的？是否支持热加载？

A: Higress 拥有非常灵活的插件系统，这是其区别于传统网关的一大亮点。

1. Lua/Go/WASM 插件：Higress 支持传统的 Lua 插件（兼容 OpenResty 生态），但更推荐使用 WASM (WebAssembly) 插件。WASM 插件具有沙箱隔离特性，插件崩溃不会导致网关崩溃，且安全性更高。
2. 热加载：通过 WASM 技术，Higress 支持插件的动态热加载。你可以在不重启网关实例、不中断流量的情况下，动态地加载、卸载或更新插件代码。这对于生产环境的运维和快速故障修复非常关键。
3. 插件市场：Higress 社区提供了丰富的预置插件（如 JWT 认证、请求限流、Keyless 认证等），用户也可以在控制台直接配置启用。

6: Higress 的性能表现如何？能否支撑高并发场景？

6: Higress 的性能表现如何？能否支撑高并发场景？

A: Higress 的设计初衷就是为了应对阿里云内部超大规模的流量挑战，因此性能表现非常强劲。

1. 底层优势：基于 Envoy 的 C++ 异步非阻塞架构，Higress 在处理长连接（如 gRPC、WebSocket）和海量并发请求时，延迟通常比基于 Lua 的传统网关更低。

思考题

## 挑战与思考题

### 挑战 1: [简单]

问题**: Higress 基于 Envoy 和 Istio 构建，但针对云原生网关场景做了大量优化。请查阅 Higress 的官方文档或源码，列出 Higress 相比标准 Istio Ingress Gateway，在流量路由配置（如 HTTP 路由规则）方面做了哪些简化和增强？

提示**: 关注 Higress 如何处理 K8s Ingress 资源，以及其特有的 WasmPlugin 或 VirtualService 适配方式。

实践建议

以下是针对 Alibaba Higress 仓库的 6 条实践建议，侧重于 AI 网关场景的实际落地与避坑：

1. 利用 “AI 代理” 插件实现模型供应商切换与负载均衡

Higress 的核心优势在于其 AI 原生能力。建议在配置路由时，不要直接将请求转发给单一 LLM 提供商（如 OpenAI 或通义千问）。

• 具体操作：使用 Higress 的 ai-proxy 插件。在服务来源中配置多个 API Key 或多个 LLM 服务端点。
• 最佳实践：设置基于权重的流量分发。例如，将 90% 的流量发送给低成本模型（如 GPT-3.5-turbo 或 Qwen-Turbo）用于处理简单任务，将 10% 的流量发送给高精度模型（如 GPT-4）用于复杂推理。
• 常见陷阱：忽略不同供应商间的 API 协议差异。Higress 支持协议转换，但需确保在插件配置中正确映射了 model 参数名称，否则会导致上游服务报错 “Model not found”。

2. 配置请求与响应的缓存策略以降低 Token 成本

在大规模 RAG（检索增强生成）应用中，用户查询往往具有高度的重复性。

• 具体操作：针对 POST /v1/chat/completions 等接口配置缓存策略。由于是 POST 请求，通常需要根据请求体（Body）中的 messages 数组内容生成缓存 Key。
• 最佳实践：结合 Higress 的脚本插件或配置项，对语义相似的查询进行短时缓存。对于事实性问答（如“公司报销政策是什么”），设置较长的 TTL（如 1 小时），直接返回网关层的缓存结果，从而绕过 LLM 推理，大幅降低 API 调用成本。
• 常见陷阱：直接缓存整个响应导致上下文丢失。确保缓存策略仅针对无状态的查询，或者在缓存 Key 中包含必要的 Session ID，避免将用户 A 的私密对话内容返回给用户 B。

3. 实施细粒度的 Prompt 模板管理与注入

企业级应用中，通常需要由后端控制 System Prompt，而不是让前端随意传递。

• 具体操作：使用 Higress 的插件（如 ai-stat 或自定义 Wasm 插件）在请求转发前修改请求体。
• 最佳实践：在网关层统一注入 System Prompt。例如，在路由配置中预设一段“角色设定”文本，当请求到达网关时，自动将其追加到用户消息之前。这样可以防止前端通过恶意 Prompt 攻击（如提示词注入）绕过安全限制。
• 常见陷阱：Token 计数超限。在网关层注入 Prompt 时，必须计算注入后的 Token 总量。如果注入的模板过长导致超过模型上下文窗口，会导致请求直接失败，且错误信息难以排查。

4. 建立基于语义的限流与防护机制

AI 网关的限流与传统 API 网关不同，传统 QPS 限流无法防止“慢速大请求”耗尽预算。

• 具体操作：配置针对 Token 吞吐量或请求时长的限流规则。
• 最佳实践：利用 Higress 的请求上下文信息，限制单个 IP 或 API Key 的每分钟 Token 消耗数（TPM）。同时，配置超时策略，对于流式响应（SSE）过长的请求进行强制中断，防止恶意程序通过无限长 Prompt 消耗资源。
• 常见陷阱：仅限制并发连接数。AI 推理耗时较长，仅限制连接数会导致网关连接池被占满，但实际吞吐量极低。必须结合请求处理时间进行综合限流。

5. 敏感数据脱敏与审计日志

由于 AI 模型通常需要将数据发送到外部，数据隐私是最大痛点。

• 具体操作：在 Higress 的请求预处理阶段配置

引用

• GitHub 仓库: https://github.com/alibaba/higress
• DeepWiki: https://deepwiki.com/alibaba/higress

注：文中事实性信息以以上引用为准；观点与推断为 AI Stack 的分析。

站内链接

• 分类： 系统与基础设施 / 开源生态
• 标签： Higress / API 网关 / AI 原生 / Istio / Envoy / WASM / LLM / MCP
• 场景： AI/ML项目 / 云原生/容器 / DevOps/运维

相关文章

• 阿里开源 Higress：AI 原生 API 网关
• 阿里开源 Higress：AI 原生 API 网关
• 阿里开源 Higress：AI 原生 API 网关
• 阿里开源 Higress：AI 原生 API 网关
• 阿里开源 Higress：AI 原生 API 网关 这篇文章由 AI Stack 自动生成，包含多次大模型调用，提供深度的结构化分析。