英伟达开源 TwoTower 双塔模型!扩散语言模型实用化里程碑

时间:2026-07-03 15:13:26

作者:yonghuang

来源:纯净版系统

  纯净版系统 7 月 3 日最新消息,英伟达通过官方 AI 研究博客正式宣布开源 Nemotron-Labs-TwoTower 块级自回归扩散语言模型,相关权重与推理代码已同步上线 Hugging Face 平台。

英伟达开源 TwoTower 双塔模型!扩散语言模型实用化里程碑

  在开源方面,该模型以开源权重形式在 Huggingface 平台发布,授权协议为 NVIDIA Nemotron Open Model License。

  参数方面,该模型总参数为 60B,采用双塔(TwoTower)架构,包括 30B 的自回归模型(AR)/context Tower 和 30B 的扩散 / 降噪 Tower,每个 Tower 激活 3B 模型,128 个可路由专家。

  架构方面,TwoTower 最大的亮点,在于拆分传统扩散语言模型中的网络任务,将文本生成任务中的上下文表示与去噪过程分离到两个独立的神经网络“塔”中。

  其中一个塔(上下文塔)保持冻结,专注于维护文本的自回归上下文;另一个塔(去噪器塔)经过训练,负责对噪声块进行去噪,两个塔通过逐层交叉注意力连接协作。

  性能方面,英伟达表示从综合基准测试质量来看,双塔架构保留 98.7% 的质量表现,但是实际运行时间吞吐量提高了 2.42 倍。

  小编建议

  1. 如果你是日常工作学习使用,需要家庭版的功能,推荐你下载:Windows11 24H2 X64 官方家庭版(前往下载

  2. 如果你是专业的工作人员,对于数据处理要求较高,建议你下载:Windows11 24H2 X64 专业工作站版(前往下载

  3. 如果你是企业工作人员,对于数据的安全问题和系统的稳定性要求较高,推荐你下载:Windows11 24H2 X64 企业版(前往下载

  4. 如果你是日常使用,想要比较纯净的版本,推荐你下载:Windows11 24H2 X64 最新纯净版(前往下载

  以上是纯净版系统提供的最新资讯,感谢您的阅读,更多精彩内容请关注纯净版系统官网。

大家都在看

提取码
XGZS
关闭 前往下载
官方交流群 扫码关注
扫码关注