Inception 从隐身中脱颖而出,推出了一种新型的 AI 模型
快速阅读: 据《TechCrunch 技术紧缩》最新报道,初创公司起源由斯坦福大学教授斯特凡诺·埃尔蒙创办,声称开发出一种基于扩散技术的大语言模型(DLM),性能显著更快且成本更低。DLM结合了传统大型语言模型(LLM)的功能,同时能并行生成文本。起源已赢得包括多家《财富》100强公司的客户,并表示其DLM运行速度比传统LLM快10倍,成本降低10倍。
初创公司起源,由斯坦福大学计算机科学教授斯特凡诺·埃尔蒙创办,声称开发出了一种基于扩散技术的大语言模型。起源将其称为基于扩散技术的大语言模型,简称“DLM”。目前最受关注的生成式人工智能模型大致可分为两类:大型语言模型(LLM)和扩散模型。LLM基于变换器架构,用于文本生成。而扩散模型,如Midjourney和OpenAI的Sora所使用的,主要用于生成图像、视频和音频。据该公司称,起源的模型具备传统LLM的功能,包括代码生成和问答功能,但性能显著更快,计算成本更低。埃尔蒙告诉TechCrunch,他在斯坦福实验室长期研究如何将扩散方法应用于文本。他的研究基于这样一个想法:与扩散技术相比,传统的LLM相对较为缓慢。埃尔蒙说:“使用LLM时,你必须先生成第一个词才能生成第二个词,先生成前两个词才能生成第三个词。”
埃尔蒙一直在探索如何将扩散方法应用于文本,因为与LLM不同,扩散模型从对生成数据(例如图片)的一个粗略估计开始,然后一次性将数据聚焦。埃尔蒙假设使用扩散模型可以并行生成和修改大块文本。经过多年努力,埃尔蒙和他的学生取得了重大突破,并在去年发表的一篇研究论文中详细介绍了这一成果。
鉴于这一进展的潜力,埃尔蒙于去年夏天创立了起源,并邀请两位前学生——UCLA教授阿迪蒂亚·格罗弗和康奈尔教授沃洛迪米尔·库莱绍夫共同领导公司。尽管埃尔蒙没有透露起源的融资细节,但TechCrunch了解到Mayfield基金已参与投资。通过满足客户的关键需求,即减少AI延迟和提升速度,起源已赢得包括几家未透露名称的《财富》100强公司在内的客户。埃尔蒙说:“我们发现我们的模型能够更高效地利用GPU。”他指的是通常用于生产运行模型的计算机芯片。“我认为这很重要。这将改变构建语言模型的方式。”
起源提供API以及本地部署和边缘设备部署选项,支持模型微调,并为各种应用场景提供一系列现成的DLM。该公司声称其DLM的运行速度比传统LLM快10倍,成本也降低了10倍。公司发言人告诉TechCrunch:“我们的‘小型’编码模型与[OpenAI的]GPT-4o mini一样好,但速度快10倍以上。我们的‘迷你’模型的表现优于小规模开源模型,如[Meta的]Llama 3.1 8B,并且每秒能够处理超过1,000个标记。”“标记”是行业术语,指原始数据片段。如果起源的声明属实,那么每秒处理1,000个标记确实是一个令人印象深刻的速度。
(以上内容均由Ai生成)