博客

特性介绍 ​

大模型推理服务在Kubernetes集群中部署时，冷启动往往是一个绕不开的瓶颈。数十甚至上百个GB的权重需要下载到推理节点，Pod启动后只能等待权重就绪，浪费GPU算力时间。当多个节点同时部署同一模型时，每个节点独立下载完整权重，不仅启动慢，更给网络带宽带来巨大压力。

openFuyao社区针对这一痛点，推出了Weight-Dispatcher----面向AI推理场景的权重预热与分发组件。它用于在推理实例启动前，将权重从源节点或外部模型仓库分发到目标推理节点的本地缓存目录，减少实例启动阶段反复下载大权重带来的等待时间和带宽压力。用户只需要创建一个ModelWarmupJob，控制器即可自动解析源、目标节点和分发计划，并下发到目标节点的node-agent执行。无需修改应用代码，无需引入额外运维成本。

应用场景 ​

Weight-Dispatcher适用于在Kubernetes集群中部署大模型推理服务，并需要提前准备权重的场景，具体包括：

• 大模型冷启动加速场景：推理服务启动前提前将权重预热到目标节点，缩短Pod启动后等待权重从远端下载的时间。
• 多节点模型分发场景：同一模型需要分发到多个推理节点，避免每个节点都从远端仓库重复下载完整权重。
• 多源并行拉取场景：多个节点或外部源已具备相同权重时，通过多源条带化（Striping，将数据分片到多个源并行拉取）方式提高单节点准备速度，充分利用聚合带宽。

实现原理 ​

Weight-Dispatcher 由以下组件组成：

1. ModelWarmupJob CRD：用户提交的权重预热任务，描述待预热权重、数据存储源节点、目标节点和执行策略。
2. Controller：侦听ModelWarmupJob，完成参数校验、目标节点解析、校验文件生成、分发计划生成和任务状态聚合。
3. node-agent：以DaemonSet形式运行在节点上，用于构建校验文件、读取源数据分片、执行权重拉取和发布权重。
4. 数据面适配器：可根据实际环境或环境变量RDMA_ENABLED与TCP_FALLBACK_ENABLED选择RDMA（Remote Direct Memory Access，远程直接内存访问）或TCP传输路径。
5. 缓存状态机：在目标节点维护缓存加载、发布、失败清理和缓存命中复用逻辑。

一次权重预热任务的执行流程如下：

1. 用户创建ModelWarmupJob。
2. Controller校验spec.artifact、spec.sources和spec.target。
3. Controller解析目标节点；如果配置nodeNames，按节点名解析；如果配置nodeSelector，按节点标签选择。
4. Controller选择一个源构建logical manifest；如果是node源，则调用源节点node-agent的/v1/manifests:build；如果是Hugging Face外部源，则通过模型API构建manifest。
5. Controller校验其他node源的manifest布局是否与基准源一致。
6. Controller根据源和目标数量生成分发计划，并为每个目标节点生成WarmupExecutionPlan。
7. Controller调用目标节点node-agent的/v1/warmups提交任务。
8. node-agent将权重写入目标ready 路径的同级.staging目录，传输完成后发布到ready路径。
9. Controller周期性查询node-agent任务状态，并回写ModelWarmupJob.status。
10. 所有目标节点成功后，ModelWarmupJob.status.phase变为Succeeded；任一目标失败且无pending/running节点时，整体任务变为Failed。

图1 组件架构图

图2 组件部署视图

安装部署及使用 ​

Weight-Dispatcher 通过Helm Chart部署，支持源仓库和OCI制品仓库两种安装方式。详情可参见安装。 不同业务场景配置ModelWarmupJob请参见配置权重分发策略。

如何创建、查看和管理Weight-Dispatcher预热任务请参见使用权重分发加速。

未来展望 ​

未来权重分发加速组件将在以下方面进行规划：

1. 与社区现有扩缩容组件ElasticScaler集成，实现门控与预测机制，实现扩容前预热任务自动下发。
2. 提升权重分发加速性能，减少端到端推理服务就绪时间。
3. 技术组件的成熟度，最终要靠真实业务场景来检验和打磨。社区将以用户反馈为输入，根据真实落地场景不断优化改进Weight-Dispatcher。

资源参考 ​

openFuyao v26.06版本软件包下载地址：https://www.openFuyao.cn/zh/download/