基本信息

来源摘要/节选

公开展示已截断至最多 800 个字符；请访问原始来源查看完整上下文。

推理平台（Inference Platform）是位于推理引擎（如 vLLM、SGLang）之上、面向生产环境的基础设施层。推理引擎专注于模型加载和推理计算本身，而推理平台则在此之上提供生产级的编排和管理能力，例如： 多推理引擎支持 ：支持 vLLM、SGLang、TensorRT-LLM 等不同推理引擎。 智能路由与负载均衡 ：提供面向 LLM 推理优化的路由策略，如 Prefix Cache 感知、KV Cache 利用率、请求队列深度、LoRA 亲和性路由等。 流量管理与发布策略 ：支持金丝雀发布、加权流量分配，以及零停机的滚动更新。 容错机制 ：支持请求迁移、请求取消、优雅关闭、过载拒绝等自动故障转移能力，保障生产环境的高可用性。 PD 分离 ：支持通过分离 Prefill 和 Decode 节点来优化大模型服务以提升性能。 分布式推理编排 ：支持多节点、多 GPU 的分布式推理编排，例如通过 Ray 等管理分布式工作负载的创建和生命周期，使得超大模型（如 DeepSeek V3 685B）可以跨多节点部署和服务。 弹性伸缩 ：基于 GPU 利用率、KV Cache 占用率、请求队列深度等指标自动扩缩容。 模型与 KV Cache 管理 ：支持本地缓存预热模型加速推理服务启动，提供中心化的分布式 KV Cache Pool 实现跨推理实例的 KV Cache 共享和复用。 LoRA Adapter 管理 ：动态路由和管理 LoRA Adapter，无需中断服务即可加载、卸载 LoRA Adapter。 可观测性 ：通过 Prometheus 等采集 LLM 推理指标（如 GPU/KV Cache 利用率、TTFT、TPOT、请求队列深度等），实现生产环境的监控和告警。…

来源说明

当前只保存了公开页面节选，不代表原文全文。请以原始来源为准。

本页只呈现已做哈希绑定的来源证据，不包含基于旧正文或缺失原文的扩展推断。