Sarvam推出Sarvam Token Factory,为8个开源模型提供印度本地推理服务
由 WORLDTECH 译自英文。事实、数字、名称和来源均与英文原文一致。 English
事件经过
Sarvam已向所有人开放Sarvam Token Factory。
性能方面:根据Sarvam自身的测量,在大多数测试场景中,从孟买发起请求时首个token的返回速度最快。该平台通过一个与OpenAI兼容的API(一个软件与另一个软件通信所使用的接口),从印度境内的GPU(一种为同时进行大量计算而设计的芯片,常用于图形处理和AI)集群提供Sarvam 105B、GLM 5.3、DeepSeek V4.1 Flash、Kimi K3.1 Pro和Gemma 4 31B等模型服务。
Sarvam Token Factory是Sarvam推出的推理(即运行已训练好的模型以获得结果,而非训练模型)平台,为其自研模型以及开源权重(即训练参数可供任何人下载的模型)模型提供服务,相关模型部署在印度境内的GPU集群上。开发者可通过一个与OpenAI兼容的API调用所有模型。
对于印度的团队而言,这意味着无需将流量发送至海外云服务,即可获得低延迟(从发出请求到获得响应之间的等待时间)的token服务。简要概述:首次发布时共列出8个模型,包括Sarvam 105B(总参数105B,活跃参数9B,上下文长度128K)、GLM 5.3、DeepSeek V4.1 Flash 1017、Kimi K3.1 Pro和Gemma 4 31B。
运行环境:印度境内的NVIDIA B200集群。Sarvam 105B现在每个副本仅需1块B200即可运行。
这是一个托管式推理平台,而非单一模型。Sarvam此前在其Epoch活动上以Sarvam Inference之名首次预览了该平台。