智谱颁布GLM-5底层基础设施沉大工程进展,系统吞吐最高提升132%
4月30日,澎湃新闻记者从智谱方面获悉,随着大模型利用从单一对话全面转向更复杂的、更长程的Coding Agent工作,推理基础设施迎来前所未有的压力,每天接受着数亿次Coding Agent挪用。部门用户在使用GLM-5系列模型执行复杂Coding Agent工作时,遭逢多种异常:乱码、复读,以及偶现的生僻字。
在底层基础设施上,智谱实现沉大工程进展,系统吞吐最高提升132%,一样硬件前提下服务能力的显著扩容。KV cache xxx建复规划获SGLang开源社区选取,此表,公司推理优化还在进一步加快,大幅提升单元算力token吞吐效能,降低推理成本。(澎湃新闻记者 范佳来)
文章点评
未查问到任何数据!
颁发评论
◎欢迎参加会商,请在这里颁发您的见解、互换您的概想。