WORLDTECH芯片与硬件 单一来源
谷歌发布TPU Sync：面向TPU的开源KV缓存传输库
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
谷歌发布了TPU Sync，这是一个开源C++库，可在TPU HBM（紧邻处理器堆叠的内存，用于更快地向其提供数据）、主机DRAM、存储和网络之间移动KV缓存和权重。谷歌是一家总部位于山景城的互联网与软件公司。
谷歌云已发布TPU Sync，这是一个开源C++库，用于在Cloud TPU上移动KV缓存和模型权重。该库已在235B至480B的MoE模型上进行测试。
谷歌报告称，在235B至480B的MoE模型上，KV传输延迟（即发出请求到获得结果之间的等待时间）降低了90%以上。该TPU Sync KV缓存传输库将TPU HBM、主机DRAM、共享存储以及数据中心（容纳大量计算机、运行在线服务的建筑）网络视为一个统一的内存层级。
它针对的是一个日益突出的瓶颈：移动模型状态，而非计算模型。谷歌报告称，在235B至480B参数的MoE模型上，KV传输延迟降低了90%以上。
要点速览：该库采用原生C++核心，并提供适用于PyTorch和JAX的Python wheel包。运行平台：根据README，支持Cloud TPU v7x（Ironwood）和v6e。
基准测试使用了TPU v7x（2x2x1）、PCIe Gen5以及200 Gbps网卡。性能方面：在谷歌内部实验室测试中，KV传输延迟和首token时间（TTFT）均大幅下降。