WORLDTECH人工智能 单一来源
超微、IBM与英伟达推出KV缓存平台，加速AI推理
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
2026年11月5日，三家公司宣布联合推出一个专为大规模AI推理打造的键值（KV）缓存平台。英伟达是一家总部位于圣克拉拉的半导体公司，其产品和服务包括图形处理器和软件。IBM是一家总部位于阿蒙克的软件和信息技术咨询公司。
此次合作提升了AI效率，降低了计算成本和延迟（即从提出请求到获得响应之间的等待时间），有望在复杂应用中加速AI的普及。其目标是让GPU（一种为同时进行大量计算而设计的芯片，用于图形处理和AI）不再重复计算已经处理过的上下文。
基于经过验证的参考架构的基准测试显示，在上下文长度达到130000个token的情况下，首个token生成时间最高可加快56倍。三家公司实际构建的内容：当模型读取提示词时，会建立该上下文的内部记录，即KV缓存。
如果缓存被逐出内存，GPU在下一轮对话时必须从头重建它。这种重建称为重新计算，会消耗昂贵的GPU算力。
新平台旨在保留这份记录。它结合了四个软硬件组件：超微的Petascale存储服务器提供物理存储层。
在Pro中添加您的持仓，即可查找相关报道。