SLM 系列 – DataStax：AI 的“移动部件”内部

快速阅读: 据《计算机周刊》最新报道，构建生成式AI应用需结合多种组件，包括语言模型（LLM）和向量搜索等。DeepSeek的出现证明了小型语言模型（SLM）可在较低成本下达到相似效果。SLM适合特定任务且成本更低，允许公司自主构建。此外，代理AI与混合方法（SLM和LLM结合）可提供更相关的结果。开源项目如Langflow简化了组件更换，使开发人员更聚焦于业务逻辑。

这是由多姆·科尔威尔撰写的一篇《计算机周刊开发者网络》的客座文章，他目前担任DataStax欧洲、中东和非洲地区现场工程负责人。科尔威尔的完整表述如下：构建生成式AI应用程序需要许多新的组成部分，从创建内容响应的大语言模型（LLM）到添加相关数据以供模型使用的向量搜索、数据管理和数据库安装。人们普遍认为LLM是这些系统的核心组成部分。模型越大，生成的回答就越好。这需要更多的资金和更多的训练数据。DeepSeek的发布打破了这一观点。现在，一种不同的语言模型可以在更低的计算成本和成本下提供相同水平的结果。尽管DeepSeek存在安全性和信任问题，但它鼓励了许多开发人员重新考虑他们对AI模型的方法。

小型语言模型（SLM）的选项

SLM使用更小且更专业的数据集进行训练，它们被设计来覆盖特定任务。它们在最初创建时成本更低，运行所需的资源也更少。这意味着公司可以考虑构建自己的SLM，而大型语言模型（LLM）则超出了大多数公司的能力范围，除非这些公司拥有最雄厚的资金。小型语言模型（SLM）的选项为此，开发人员可以使用向量数据存储和检索增强生成（RAG），以提高响应的相关性。这解决了重新训练LLM的成本问题。对于需要全面掌控其环境的组织而言，建立自己的SLM现在成为了一个可行的选择。其他组织创建的LLM将始终受到其许可的限制——即使Meta的LLaMa也不是完全开源的，并且对其使用有一些限制——创建一个受你控制的SLM是一个可行的选择。

代理AI及混合方法

除了作为技术选项的SLM外，还需要考虑“下一个大事件”——代理AI。代理AI涉及将围绕特定目标的工作流程转化为一系列过程，然后使用一个或多个AI代理作为组件，以较少的人工互动来满足该要求。实际上，混合方法可能更为有效，即SLM和LLM将共同使用，以在给定的成本和计算水平下提供最相关的结果。为了实现这一点，我们需要研究如何定义给定过程中“最佳”的结果。生成式AI服务具有“非确定性”，这意味着即使包含正确的数据，每次询问时也会得到不同形式的响应。这对开发人员的实际意义是什么？测试SLM与LLM及其他生成式AI组件将是一项挑战。要获得最准确的性能洞察，需要运行测试，在这些测试中，某个SLM或LLM会被替换掉。这种方法每次都需要重建应用，因此会非常耗时。像Langflow这样的开源项目通过API连接生成式AI应用组件，因此更换一个LLM或SLM只需指向不同的API集，而不是完全重建应用。作为好处，这使得开发人员更容易专注于业务逻辑方面，而不是长期维护集成。

(以上内容均由Ai生成)