智谱颁布Infra新成就:不加一块GPU,算力多出15%
5月21日,澎湃新闻记者获悉,智谱结合驭驯网络与清华大学,在GLM-5.1线上出产集群中实现了新一代网络架构ZCube的规;涞。
在线上GLM-5.1 coding场景中,在维持GPU算力、软件栈与利用不变的前提下,ZCube节俭了33%互换机与光?槌杀,同时将GPU均匀推理吞吐提升了15%,并将TTFT P99降低了40.6%。
这意味着,同样的硬件投入,智谱的 GLM 大模型此刻每秒能多响应 15% 的 API 要求。对于大模型 API 平台而言,这直接对应更高的并发上限以及在流量峰值下更不变的用户履历。(澎湃新闻记者 范佳来)
文章点评
未查问到任何数据!
颁发评论
◎欢迎参加会商,请在这里颁发您的见解、互换您的概想。