优刻得携手华中科技大学索求Agent推理基础设施新蹊径
5月28日,据优刻得-W(688158.SH)新闻,优刻得与华中科技大学达成产学研合作,聚焦Agent场景下的大模型推理瓶颈,萦绕KV Cache卸载与复用技术发展结合钻研,共同索求面向下一代AI推理基础设施的系统级创新规划。
双方结合云基础设施、散布式存储与异构推算等领域能力,从“单要求长高低文推理”与“跨要求前缀复用”两个维度,共同推动多层级KV Cache卸载系统建设,为Agent推理服务提供更高效、更具扩大性的底层支持。
【编纂者:黄雯坚】
未查问到任何数据!
◎欢迎参加会商,请在这里颁发您的见解、互换您的概想。
文章点评
未查问到任何数据!
颁发评论
◎欢迎参加会商,请在这里颁发您的见解、互换您的概想。