openFuyao v26.06版本发布
2026年7月6日
openFuyao v26.06 社区发行版正式上线!AI推理加速场景, InferNex 性能再突破,TTFT降低55%,总吞吐量平均提升32%,新增权重分发组件,大幅缩短模型冷启动耗时;资源调度层面,基于KubeVirt实现鲲鹏的虚拟机与容器共管能力,并整合众核调度编排,提升安全混部密度;多样化算力接入层面,进一步强化NPU DRA能力,支持更丰富的设备类型;另外引入声明式组件升级架构,内置自动化合规扫描工具,实现运维效率和安全性双提升。该版本多层面协同进化,助力用户在AI 推理场景实现效率与稳定性的双重跃升。
NPU DRA能力增强
SIG-orchestration-engine npu-dra-plugin能力增强:在openFuyao前期版本能力基础上,新增支持310P和910C卡的挂载和硬切分设备挂载,目前能力范围如下: 查看代码仓
- 支持昇腾910B、910C、310P系列NPU设备的资源发现和上报。
- 支持通过
DeviceClass/CEL进行设备筛选。 - 支持利用
ResourceClaim/ResourceClaimTemplate进行资源申请,实现业务Pod与ResourceSlice的绑定。 - 支持通过
CDI将设备注入容器。 - 支持910B硬切分(固定模板vNPU)功能,可根据申请的内存大小自动匹配模板,将整卡切分为多个vNPU实例供不同业务Pod使用。
AI推理加速能力再升级
SIG-ai-inference 持续增强AI推理加速能力,从TTFT、总吞吐量、权重分发等多维度提升推理性能。
InferNex 进一步优化大模型部署能力与推理性能
InferNex部署方式从deployment变更为更加灵活强大的LeaderWorkerSet(LWS)模式,新增多DP架构部署能力,支持一键部署minimax 2.7、deepseek v4、GLM5.2等最新MOE大模型;性能上在多轮对话与定长系统提示词两种场景完成验证,相比基线首token时延平均降低55%,总吞吐量平均提升32%。 查看代码仓
表1 InferNex性能表现
| 优化策略 | TTFT收益(avg) | TPS收益(avg) |
|---|---|---|
| random路由策略 | 基线 | 基线 |
| Mooncake + random路由策略 | 51.0% | 24.8% |
| Mooncake + KVCache aware路由策略 | 59.1% | 40.5% |
| Mooncake + prediction路由策略 | 59.6% | 31.7% |
- infernex-bridge:新增KServe对接插件,支持通过KServe在NPU环境拉起InferNex推理服务。查看代码仓:
- infernex-checker :针对InferNex部署提供系统化环境校验工具,在helm install之前对硬件、Kubernetes集群和业务配置进行全方位检查,有效识别潜在风险和提升部署成功率。 查看代码仓
- hermes-router :新增基于推理时延预测与后端算力饱和度的路由策略,核心组件K8s GIE升级至最新版1.5.0,新增tokenizer模块,全面增强请求级调度能力。查看代码仓
- cache-indexer:使用go语言重构原python项目,优化推理实例本地HBM的KVCache索引维护能力,增加基于Mooncake的内存级KVCache索引感知能力,tokenizer环节迁移到智能路由hermes-router,支持路由进行更准确的全局请求级调度。 查看代码仓
- elastic-scaler :elastic-scaler框架进一步完善CRD语义、实现MetricsManager、Context Builder等关键组件,支持基于LWS的大参数LLM弹性扩缩,提供APA作为默认算法,并支持用户开发自定义扩缩容算法。 查看代码仓
- eagle-eye :新增权重分发及基于灵衢架构的超节点网络动态指标采集能力,覆盖节点侧RDMA网卡和卡侧RoCE网卡的链路状态、实际传输速率、剩余带宽、丢包率等30+项动态性能指标,通过Prometheus进行周期性采集和NATS实现近实时推送。 查看代码仓
新增权重分发组件大幅缩短模型冷启动耗时
- weight-dispatcher:新增模型权重分发组件,实现模型权重从单一存储节点向多计算节点同时分发的功能,提高冷启动场景中模型传输的速度,在多节点并发拉取权重场景下,模型端到端传输时间缩短20%。 查看代码仓
增强基于KubeVirt的虚拟机容器共管能力
SIG-orchestration-engine在支持虚拟机生命周期管理能力(包括创建、删除、启动、停止及状态同步)基础上,实现了鲲鹏环境上的网卡热插拔能力、macvlan、SR-IOV、SR-IOV 实时迁移、虚拟机热迁移等高级虚拟化管理能力。 查看代码仓
- 网卡热插拔能力: 针对运行中的Pod进行增加或删除网卡的操作,通过增加注解
k8s.v1.cni.cncf.io/networks,控制器侦听Pod变化后,获取容器信息(容器ID和Net NS),最后调用CNI接口为容器增加网卡。 KubeVirt社区网络热插拔用户指导请参见KubeVirt网络热插拔用户指导。 - macvlan:绕过传统的Linux网桥,数据包可以直接通过物理网卡收发,降低延迟,提高吞吐量。在KubeVirt环境中,使虚拟机直接接入宿主机的底层(Underlay)网络,以获得接近于物理机的网络性能。
- SR-IOV:在鲲鹏硬件环境中支持SR-IOV(Single Root I/O Virtualization)规范,绕过操作系统内核直接通信,极大地降低了网络延迟,并减少了CPU的额外开销,实现了近乎物理机的性能。
- SR-IOV实时迁移:配置SR‑IOV直通网卡的虚拟机支持在线热迁移。
- 使用界面操作管理虚拟机能力:当前openFuyao容器平台的管理面支持对自定义资源的管理,通过KubeVirt能力管理的虚拟机,在自定义资源页面显示virtualmachines.kubevirt.io资源,支持基础生命周期的管理操作。
众核编排组件能力整合
SIG-orchestration-engine 众核调度编排组件(Many-Core Orchestrator):面向众核服务器在线/离线混部场景,提供宿主机干扰指标采集、节点干扰分析、干扰感知调度与 Kata 虚拟机级隔离能力,在不修改应用代码的前提下降低在线业务长尾延迟抖动、提升安全混部密度。目前能力范围如下: 查看代码仓
- 宿主机干扰指标采集与分析:在每个节点持续采集缓存命中、I/O 延迟、系统压力等底层指标,经分析后生成各节点的干扰等级,并汇总为集群级干扰报告,供调度决策和运维查看。采集覆盖缓存污染、内存压力、I/O 拥塞三类干扰维度,部分节点缺少压力指标采集能力时可自动切换至替代评估方式。
- 干扰感知调度:根据实时采集并分析的节点底层干扰指标,在调度时自动规避高干扰节点、优先选择低干扰节点,避免在线业务被分配到存在资源竞争的节点,从调度层面降低混部环境下的延迟抖动风险。
- Kata 虚拟机级隔离:自动完成 Kata 运行时的安装与注册,用户仅需在 Pod 中指定运行时类型,即可为离线负载启用虚拟机级隔离,从物理层面切断离线业务对在线业务的缓存与 I/O 串扰。调度与隔离两层能力可独立使用,也可组合形成双重防护。
- 可观测性:各组件均提供标准化监控指标接入,干扰报告通过自定义资源对外呈现,支持主流监控体系自动发现,便于持续观测节点干扰状态与调度决策过程。
- 可靠性保障:系统遵循"不阻断业务调度"原则,当分析组件不可用或干扰数据过期时,调度自动回退为基础模式,不影响正常业务部署;各节点独立判断采集能力,互不影响。
版本升级适配声明式组件架构
SIG-installation 在v26.06版本适配声明式组件升级架构,支持按社区发布包的组件清单和依赖关系,自动编排、校验并执行升级,方便用户自定义组件的升级处理,利于版本组件发布和升级路径的管控。具体如下:
- 声明式版本包定义:引入ClusterVersion、ReleaseImage以及UpgradePath三个CRD定义每个openFuyao版本的组件全集以及各openFuyao版本的升级路径,通过提供镜像方式提供统一版本升级内容以及入口;
- 基于组件间依赖关系的升级能力: 实现基于组件依赖关系的DAG调度升级引擎,确保各组件按照依赖定义进行安装,同时最大化并行组件升级减少耗时。
合规扫描工具
SIG-security-committee合规扫描工具:Compliance Operator 是一个基于 Kubernetes Operator 模式的自动化合规扫描工具,对Kubernetes 集群进行安全合规性扫描,兼容CIS Benchmark和DISA STIG基线。 查看代码仓
本文由openFuyao社区首发,欢迎遵照CC-BY-SA 4.0协议规定转载。
