Aligned 与 AMD 和 USC ISI 联手,通过 MEGALODON 语言模型为下一代 AI 提供动力
快速阅读: 据《美通社 (新闻稿)》最新报道,7月18日,美国南加州大学启动MEGALODON项目,研究“移动平均门控注意力”(MEGA)架构,以提升模型处理长上下文能力并降低计算复杂度。AMD与Aligned合作突破CUDA性能瓶颈。
据美国南加州大学信息科学研究所(ISI)消息,7月18日,美国,南加州大学信息科学研究所启动了一项名为MEGALODON的重大项目,研究一种名为“移动平均门控注意力”(MEGA)的新架构。该项目旨在提高模型处理长上下文的能力,同时减少计算复杂度。由于模型训练需要大量的GPU资源和复杂的系统协同,AMD与Aligned合作,致力于突破传统CUDA环境下的性能瓶颈。
(以上内容均由Ai生成)