WORLDTECH人工智能 单一来源
Buoyant发布Kinference：面向Kubernetes与vLLM的开源推理控制平面
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
Buoyant已发布Kinference，这是一款面向Kubernetes上vLLM的Apache 2.0许可推理控制平面（用于在众多服务器上运行和管理应用的软件）。它增加了声明式路由策略、感知KV缓存的负载均衡以及按租户划分的指标，并且在Buoyant自己的基准测试中将中位TTFT降低了95%。
Linkerd的开发公司Buoyant发布了Kinference，这是一个开源项目（公开发布，任何人都可以阅读、使用和修改其代码），用于在Kubernetes上构建推理平台。它位于一组vLLM工作节点之前，并决定每个请求的去向。
该项目在一个层中整合了路由策略、令牌速率限制、感知KV缓存的负载均衡和按租户划分的指标。对于需要为众多内部客户提供大量开放权重（训练好的模型参数可供任何人下载）模型服务的开发团队而言，它面向的是模型服务器之上的这一层。
该项目在GitHub上以Apache 2.0许可发布。要点概述：版本v0.1.0-alpha.7，使用Rust编写，采用Apache 2.0许可，通过5个Kubernetes CRD进行配置。
运行环境：任何运行vLLM且启用GPU的Kubernetes集群。Buoyant的基准测试每个资源池使用3块L40S GPU。
性能：相较于普通Kubernetes Service路由，在前缀重复较多的流量上提升显著（自报数据）。最差情况：对于没有共享前缀的提示，中位TTFT没有提升（6.92秒对比6.83秒）。