infernex

InferNex 是一个可端到端部署、原子化能力解耦的 LLM 推理加速方案，聚焦 LLM 推理端到端流程中的性能瓶颈点，拥抱开源主流组件生态，通过多因素智能路由策略、动态 xPyD 分离调度和资源管理、近实时可监控、分布式/多级高性能 KVCache 管理能力，显著降低 LLM 推理的每 Token 输出延迟（TPOT）、首 Token 延时（TTFT），并大幅提升系统推理吞吐率（TPS）。