Alibaba Higress:AI原生API网关开源项目
基本信息
- 描述: 🤖 AI 网关 | AI 原生 API 网关
- 语言: Go
- 星标: 7,839 (+22 stars today)
- 链接: https://github.com/alibaba/higress
- DeepWiki: https://deepwiki.com/alibaba/higress
DeepWiki 速览(节选)
Relevant source files
导语
Higress 是阿里巴巴开源的云原生 API 网关,基于 Istio 和 Envoy 构建。它专注于为 LLM 应用提供 AI 网关能力,同时支持 MCP 服务托管和传统微服务路由等功能。本文将介绍 Higress 的核心架构、AI 网关特性以及插件扩展机制,帮助开发者快速上手并应用于生产环境。
代码示例
| |
预期效果: QPS 提升 30-50%,连接复用率提升至 80% 以上
优化 2:启用 HTTP/2 协议
说明: HTTP/2 支持多路复用,可以在单个 TCP 连接上并行处理多个请求,减少连接建立开销,提升整体吞吐量。
实施方法:
- 在 Higress 配置中启用 HTTP/2
- 修改网关启动参数或配置 CRD
- 确保上游服务也支持 HTTP/2
| |
预期效果: 延迟降低 20-40%,高并发场景下吞吐量提升 50-100%
优化 3:Wasm 插件性能优化
说明: Wasm 插件在请求处理链中执行,过多或低效的插件会显著影响延迟。需要评估插件必要性并优化执行逻辑。
实施方法:
- 使用
higressctl审查已部署的 Wasm 插件列表 - 移除不必要的插件
- 对于自定义插件,优化内存分配和计算逻辑
- 使用插件优先级机制,将关键路径插件前置
| |