当前位置矩阵通>行业资讯>正文
字节豆包大模型团队提出稀疏模型架构UltraMem
发布时间:2025/02/12
新榜讯 2 月 12 日消息,据字节跳动豆包大模型团队透露,其 Foundation 团队于近期推出 UltraMem,这是一种能将计算和参数解耦的稀疏模型架构,在确保模型效果的基础上成功化解了推理的访存难题。

新榜讯 2 月 12 日消息,据字节跳动豆包大模型团队透露,其 Foundation 团队于近期推出 UltraMem,这是一种能将计算和参数解耦的稀疏模型架构,在确保模型效果的基础上成功化解了推理的访存难题。据悉,该架构有力地攻克了 MoE 推理时居高不下的访存问题,推理速度相较 MoE 架构加快 2 至 6 倍,推理成本最多可降低 83%。


即刻体验矩阵通,为企业搭建高效的新媒体矩阵管理系统
申请试用
上海新榜信息技术股份有限公司
©2023 NEWRANK沪ICP备14042332号-2
沪公网安备31010402336499号
矩阵ACE地图