演示文稿：GenAI 提高生产力
快速阅读: 《InfoQ 公司》消息，顾分享了财富智库利用生成式AI提升生产力的经验，包括LLM网关、PII脱敏模型、数据应用平台等工具的开发与应用。尽管初期遇到采用率低等问题，但通过不断调整策略，工具的使用率和满意度显著提高。目前，公司正从自建转向购买策略，以Bedrock为例，同时保持对Elasticsearch的使用。
文字记录
顾：我很兴奋地分享我们财富智库（Wealthsimple）利用生成式人工智能提升生产力的一些方式，以及我们走到今天这一步的经历。我的演讲大致分为四个部分。首先，我会分享一些背景信息关于我们做了什么。我们将深入探讨我们的大型语言模型（LLM）之旅。我还会讨论从中得出的学习成果。最后，我将快速概述当今生成式人工智能的情况。
财富智库是一家加拿大的金融科技公司。我们的使命是帮助加拿大人实现自身的财务独立。我们通过一个统一的应用程序实现这一目标，投资、储蓄和消费在这里融为一体。在财富智库，我们的生成式人工智能努力主要分为三个方向。第一个是员工生产力。这是我们最初设想大型语言模型如何创造价值的理论，也是今天仍在投资的领域。当我们开始建立员工生产力的基础、工具和护栏时，这也给了我们信心，开始将同样的技术延伸到我们的客户，以优化运营，这成为我们的第二个关注点。在优化这些运营过程中，我们的目标是利用大型语言模型和生成式人工智能为客户提供更愉悦的体验。第三，但绝非最不重要，是底层的LLM平台，它既支持员工生产力又优化运营。
通过在我们的平台上进行投资，我们在过去一年半里取得了一些成果。我们开发并开源了我们的LLM网关，内部使用率已超过公司的一半。我们开发并发布了内部PII脱敏模型。我们使得在自己的云环境中托管开源LLMs变得非常简单。我们提供了硬件加速的微调和模型训练平台支持。我们已经在生产环境中部署了LLMs来优化运营。
LLM之旅（2023年）
我们是如何走到这一步的？将近两年前，即2022年11月30日，OpenAI发布了ChatGPT，这改变了世界理解和消费生成式人工智能的方式。它将曾经小众且难以理解的技术变得几乎任何人都可以使用。这种人工智能的普及化带来了创新和生产力前所未有的提升。我们只是众多被这种热潮和生成式人工智能潜力吸引的公司之一。
我们在2023年做的第一件事是推出我们的LLM网关。当ChatGPT首次流行时，公众对第四方和第三方数据共享的安全意识不如今天成熟。有些公司无意间过度共享信息给OpenAI，这些信息随后被用来训练新的公开可用模型。结果，许多公司，比如三星，不得不禁止员工使用ChatGPT，以防止信息泄露。这种情况在金融服务业尤其常见。
在财富智库，我们确实看到了生成式人工智能的潜力，所以我们迅速着手构建一个网关，既能解决这些问题，又能提供探索的自由。我们的网关，这是早期的样子截图。在网关的第一个版本中，它所做的只是维护审计跟踪。它会追踪发送到外部的数据、发送到哪里以及谁发送的。
我们的网关是一个工具，我们通过VPN提供给所有员工，由Okta控制，并代理对话中的信息，发送到各种LLM提供商如OpenAI，并追踪这些信息。用户可以通过下拉菜单选择不同的模型来发起对话。我们的生产系统也可以通过LLM服务的API端点以编程方式与这些模型交互，该服务还处理重试和回退机制。
我们很早就为网关添加了另一个功能——导出和导入对话。对话可以导出到我们合作的其他平台，并作为检查点导入，以创建跨不同模型的混合体验。
在构建网关之后，我们遇到了另一个问题，那就是采用率。许多人将我们的网关视为ChatGPT的非官方版本，使用它的动力不大。我们在财富智库的一个哲学是，无论新技术或新工具是什么，我们都希望使正确的方式成为简单的方式，或使正确的方式成为阻力最小的路径。我们也希望对我们的网关做类似的事情。我们希望人们真的想使用它，并且我们希望让人们使用它变得非常容易。
我们强调并放大了一系列胡萝卜加大棒来引导他们朝那个方向发展。重点放在胡萝卜上，我们让大量的用户反馈推动网关的未来迭代。我们的网关的一些好处是，一是免费使用。我们承担所有成本。第二，我们希望提供选择性。我们希望提供一个与所有不同的LLM提供商交互的中心位置。一开始，只有OpenAI和Cohere，选择不多。随着时间的推移，这个列表也在扩展。
我们还想让开发者更容易使用。在与OpenAI早期互动时，他们的服务器可靠性不高，所以我们通过一系列重试和回退机制提高了可靠性和可用性。我们还与OpenAI合作提高了我们的速率限制。此外，我们提供了与我们的测试和生产环境集成的API，这样任何人都可以探索我们的网关与其他业务流程之间的交互。
在这些胡萝卜之外，我们还有一些非常温和的大棒来引导人们走向正确的方向。第一个是我们所说的轻推机制。每当有人直接访问ChatGPT或其他LLM提供商时，他们会在Slack上收到一个温和的提醒，询问他们是否听说过我们的LLM网关，建议他们使用它。与此同时，我们提供了适当的LLM使用指南，指导人们将网关用于所有工作相关的目的。
尽管我们LLM网关的第一版有很好的审计跟踪，但它提供的防护措施和机制很少，无法真正防止数据被外部共享。我们有一个愿景，并推动了未来路线图和网关改进的许多方面。我们的愿景围绕着安全、可靠性和选择性展开。我们对网关的愿景是，使安全路径成为简单路径，并设置适当的防护措施，防止敏感信息与第三方LLM提供商共享。我们希望使其高度可用，并再次提供多个LLM提供商的选择。
基于这些赋能理念，我们在2023年6月推出的下一个东西是我们的PII脱敏模型。我们利用微软的残差框架和我们内部开发的命名实体识别模型来检测和脱敏任何潜在的敏感信息，然后再发送给OpenAI或其他外部LLM提供商。
这是我们的PII脱敏模型在行动中的截图。我提供了一个假的电话号码，我希望你能在这个号码给我打电话。这个号码被我们的PII脱敏模型识别为潜在的敏感PII，因此它会在发送到外部提供商之前被脱敏。
有趣的是，虽然PII脱敏模型弥补了安全方面的漏洞，但也引入了用户体验方面的另一个漏洞。我们从很多人那里听到的反馈是，一方面，PII脱敏模型并不总是准确的，所以很多时候它干扰了答案的准确性和相关性。另一方面，为了有效地将LLMs融入日常工作中，他们需要能够接受一定程度的PII，因为这是他们根本上需要处理的数据。
对我们来说，回到我们使正确方式成为简单方式的哲学，我们开始研究自行托管开源LLMs。想法是通过在我们自己的VPC中托管这些LLMs，我们不需要运行PII脱敏模型。我们可以鼓励人们将任何信息发送到这些模型，因为数据将留在我们的云环境中。我们花了一个月的时间构建了一个简单的框架，使用llama.cpp，这是一个用于自行托管开源LLMs的量化框架。
我们开始自行托管的第一个模型是Llama，当时是Llama 2，Mistral模型，以及OpenAI开源的Whisper。我知道从技术上讲，Whisper不是LLM，它是语音转录模型。为了简化，我们将它纳入了我们的LLM平台。
在引入这些自行托管的LLMs后，我们迅速跟进，通过API引入了检索增强生成，其中还包括对向量数据库的精心选择。我们听到了很多反馈，也看到了行业趋势和用例中LLMs最强大的用例是将其与公司相关的上下文联系起来。在我们的LLM平台上进行类似的投入，我们首先引入了Elasticsearch作为我们的向量数据库。
我们通过Airflow（我们的工作流编排工具）构建了管道和DAG，以更新和索引我们的通用知识库。我们提供了一个非常简单的语义搜索功能，作为第一个RAG API。我们鼓励开发人员和最终用户利用这些API和可复用组件，以便利用与公司上下文相关的LLM。
让我们感到非常有趣的是，尽管上下文功能是许多最终用户期待的功能，尽管从直观上它在平台中是一个有用的构建模块，但参与度和采用率实际上非常低。人们并没有像我们预期的那样扩展我们的知识库。他们也没有扩展自己的API。几乎没有多少探索的空间。我们意识到可能是我们没有让这个过程足够简便。在实验和探索方面仍然存在差距。对于正在构建的LLM和GenAI产品，人们很难获得反馈。
认识到这一点后，我们接下来投资的一个项目是我们所谓的数据应用平台。我们构建了一个内部服务，运行在Python和Streamlit之上。我们选择这个技术栈是因为它易于使用，并且很多数据科学家都很熟悉。同样地，我们将其置于Okta之后，通过VPN提供访问，并创建了一个平台，使得构建新应用并快速迭代变得非常容易。
这个想法是数据科学家、开发人员，或者任何对技术和构建应用感兴趣的人，都可以构建自己的应用，在数据应用平台上运行，并迅速获得反馈并与利益相关者分享。很多情况下，这些概念验证应用逐渐演变成了更大规模的应用。在数据应用平台推出后的头两周里，我们就有了超过七个应用在其上运行。这七个应用里，有两个最终投入了生产环境，为优化运营和创造更愉快的客户体验提供了价值。
随着数据应用平台的引入，我们的LLM平台也开始逐步成型。这是一个高层次的架构图。在第一行，我们有很多上下文数据、知识库，通过Airflow DAG被摄取到嵌入模型中，然后在Elasticsearch中进行更新和索引。我们还选择了LangChain来协调我们的数据应用，它与我们的数据应用平台和LLM服务紧密集成。然后我们有通过LLM服务提供的LLM网关API，与我们的生产环境紧密集成。
随着LLM平台逐步成型，我们开始打造一些我们认为能极大提升员工生产力的内部工具。在2023年底，我们构建了一个名为BoostPack的工具，整合了一些我之前提到过的可复用组件。BoostPack的理念是我们希望为全体员工提供一款基于Wealthsimple上下文的个人助手。我们希望在云基础设施上运行它，拥有三种不同类型的知识库：首先是公共知识库，对公司所有人都可用，包含源代码、帮助文章和财务简报；其次是每个员工的私人知识库，可以存储和查询自己的个人文档；第三是有限共享的知识库，可以与有限的一组同事共享，根据角色和项目划分。
这就是我们所说的Wealthsimple BoostPack。我有一个短片展示它的样子。
BoostPack是我们实际构建在数据应用平台上的一个应用。在这个录像中，我上传了一份关于通过人工智能提高生产力的经济益处的研究报告，将其添加到我的私人知识库中。一旦知识库创建完成，我们可以借助聊天功能提问。除了问答功能，我们还提供了出处信息，这对我们的知识库中的文档特别有效。你可以看到答案的出处，并且链接会带你到那里，如果需要核实事实或深入阅读的话。
在支持多模态输入后，我们平台新增的功能是Bedrock。Bedrock是一项非常有趣的功能，因为它标志着我们从自建转向购买策略的转变。Bedrock是AWS提供的用于与基础大型语言模型交互的托管服务，并且它还提供了以规模化部署和微调这些模型的能力。我们所构建的所有内容与Bedrock提供的功能有很大重叠。早在2023年我们就考虑过Bedrock，但选择自己构建这些能力，因为我们希望通过内部建立信心和专业知识，以便大规模部署这些技术。然而，2024年是一个截然不同的年份，这也成为了我们重新评估自建与购买策略的一个良好转折点。
幻灯片上的这三个要点是我们决定自建还是购买时的主要考量因素。首先，我们需要满足基本的安全性和隐私要求。如果我们要购买某些东西，它们必须符合这一要求。其次，需要考虑上市时间和成本。第三，这也是2023年至2024年间变化较大的一点，就是考虑和评估我们的独特优势，也就是建造某物的机会成本，而不是直接购买它。
有许多趋势推动了这些策略和思维的演变。第一，供应商和大语言模型提供商随着时间推移对安全性的意识提高了很多。大语言模型提供商提供了零日数据保留机制，并且更加深入地与云服务提供商集成。他们从上一年的风险和陷阱中学到了很多，知道消费者重视这些方面。我们看到的第二个趋势，也是对我们内部影响更大的一个，是当我们更好地理解生成式人工智能时，我们也更好地了解了如何应用它来增加价值并提高业务对齐度。很多时候，从我们的工作中获得最大价值并不是通过在市场上构建生成式人工智能工具，而是深入研究我们作为企业的需求，并评估生成式人工智能在此方面的交叉点。这两个方面实际上将我们的策略从最初非常注重自建转向了更多地关注购买。
最后我要提到的一点使整个事情变得更加复杂，那就是在过去的一两年里，越来越多的现有和新供应商都提供了生成式人工智能集成。几乎每个SaaS产品现在都有一个人工智能插件，而且它们都需要花钱。我们内部喜欢用的一个类比是流媒体与有线电视的对比模式，在过去，与有线电视相比，获取Netflix是一个非常经济的决定。如今，随着所有流媒体服务的出现，你可能会发现自己支付的费用远远超过最初的有线电视费用。当评估供应商提供的所有这些额外的生成式人工智能选项时，我们发现自己遇到了类似的困境。也就是说，自建还是购买的决策今天比一年前变得更加复杂。我们当然更愿意购买，但在确保购买的工具能够真正增值而不是仅仅提供重复价值方面有很多需要考虑的因素。
在采用Bedrock之后，我们将注意力转向了我们为与LLM网关交互提供的API。当我们第一次搭建网关、首次发布网关以及首次提供这个API时，我们并没有深入思考其结构会是什么样子，这最终成为一个让我们后悔的选择。随着OpenAI的API规范成为行业标准，我们在集成过程中遇到了不少问题。我们必须从LangChain和其他库和框架中进行修补和重写大量代码，因为我们没有提供兼容的API架构。
今年9月，我们花了一些时间发布了v2版API，该版本确实模仿了OpenAI的API规范。我们从中得到的经验教训是，重要的是要考虑这个行业以及生成式人工智能工具和框架成熟时，这些提供商如何思考正确的标准和正确的集成方式。
学习这让我们更接近当前的状态，尽管过去几年里，我们的平台、工具和相关领域发生了很大变化，但我们也在这一过程中学到了很多。伴随着这些学习过程，我们也更好地理解了人们如何使用这些工具以及他们用这些工具来做什么。我想分享一些我们内部收集到的相关统计数据。
首先，在财富智库内部，生成式人工智能与生产力之间的交集非常明显。在我们进行的调查和客户访谈中，几乎所有使用LLM的人都发现它显著提升了或改善了他们的生产力。这是一个定性的衡量标准。我们还发现LLM网关的采用在任期和级别上较为均衡。个人贡献者与领导者之间的比例相当均衡。这对我们的团队而言是一个很好的验证，因为我们投入了大量精力构建了一个非常自下而上的工具和平台。这是很好的验证，表明我们提供的工具对最终用户来说确实是令人愉悦且无摩擦的。
就我们内部如何利用LLM而言。这些数据有些滞后，但我们确实花时间标注了许多用例。几乎一半的使用涉及某种形式的调试、代码生成或通用编程支持。其次是内容生成/增强，例如，“帮我写点东西。改变这条消息的风格。完成我写的内容”。这部分主要集中在研究或解析文档上。
我们还发现约80%的LLM使用是通过我们的LLM网关进行的。这并非完全准确的衡量标准，因为我们没有完整的直接访问LLM列表，但仅有约20%的LLM流量直接命中提供商，大部分流量是通过网关进行的。我们认为这一点很有趣。
我们在行为层面也学到了不少。今年我们的一大收获是，随着我们的LLM工具日益成熟，我们了解到，我们的工具在融入我们工作的场景时最有价值，而跨平台的信息流动是一个重大障碍。我们希望为人们打造一个集中化的场所来开展工作。与此相反的情形是，如果他们需要打开七个不同的标签页来满足所有LLM或生成式人工智能需求。对于生成式人工智能需要访问多个地方是一种混乱的体验，我们了解到，即便工具数量增加，大多数人仍倾向于使用单一工具。
我们在2023年底认为BoostPack将从根本上改变人们使用这项技术的方式，但这并未实现。我们有一些良好的采用热潮，也有一些不错的应用场景，但最终，我们将工具分成了两部分，为人们创造了两个不同的场所来满足他们的生成式人工智能需求。这对采用和生产力均产生了负面影响。这里的经验教训是，我们需要更加审慎地设计工具，并投入资源集中化这些工具。因为即便人们称这就是他们想要的，即便这在直观上看似合理，用户行为对于这些工具而言往往出乎意料。
生成式人工智能的现状
综合上述所有经验教训，我想进一步分享我们在财富智库当前使用生成式人工智能的情况，以及我们对其未来发展的一些思考。
首先，尽管我们犯了一些错误，总体而言财富智库非常喜爱LLM。在我们提供的各类工具中，每天发送的消息超过2200条。接近公司三分之一的员工是每周活跃用户。公司略超半数员工是每月活跃用户。这些工具的采用率和参与度都很高。与此同时，我们收到的反馈是它有助于提升他们的生产力。
我们还汲取了所有经验教训，所有为员工生产力开发的基础和保障措施也为提供更令人满意的客户体验奠定了基础。这些内部工具构建了开发生成式人工智能的基础模块，并增强了我们寻找优化客户运营机会的信心。通过为公司任何成员提供自由且安全地探索这项技术的空间，我们有了许多自然扩展和涉及生成式人工智能的新功能，其中很多是我们未曾预料到的。
截至目前，我们实际上已在开发和生产环境中拥有诸多优化运营的应用案例。我想分享一个例子。这是我们客户服务分类工作流程的旧状。每天我们都会收到大量工单。几年前，我们专门组建了一个团队来阅读所有这些工单并进行分类。这些工单应该发给哪个团队才能让客户得到问题的解决？很快我们就意识到这个流程效率不高，团队成员也不喜欢他们所做的工作。
我们开发了一种基于Transformer的模型来辅助分类工作。这就是我们所称的原始客户体验分类工作流。该模型仅能处理电子邮件，它会接收工单并将之归类为主题和子主题，这种分类决定了工单应发送至哪个团队。
这是其中一个领域，自然而然地延伸到了生成式人工智能，因为负责此项工作的团队已尝试过我们提供的工具。在我们的LLM平台上实现了两项改进。首先，借助Whisper，我们可以将分类扩展至所有工单，而不仅限于电子邮件。Whisper会先将电话录音转录为文本，再将文本传递至下游系统。
我们自托管的LLMs生成的内容用于丰富分类，从而实现了显著的性能提升，进而为客户支持代表和客户自身节省了大量时间。
回到这张炒作图，2023年我们正处于期望膨胀高峰的上升阶段。2024年略显冷静，因为我们开始步入下行阶段。今年年底，随着我们迈向明年，我认为我们正处于一条有望登上启蒙斜坡的良好轨道。即便过去两年有起伏，依然充满乐观情绪，对未来一年可能带来的机遇充满期待。
参与者1：当涉及帮助人们认识到向LLM输入过多个人信息未必安全时，你们是如何确保人们不会分享可能泄露隐私的信息？
顾：我认为这是我们的理念之一。一方面，我们发现，多年来引入新工具时，良好的意图并不总能奏效。我们不能仅仅依赖人们的信任，也不能仅仅依靠教育。我们需要系统内的防护措施和机制来引导他们，以确保他们做出正确决策，而不是仅仅告诉他们该做什么。这一点非常重要。作为一家金融服务公司，我们处理的是客户的敏感信息。作为常规培训的一部分，已有大量相关内容关于哪些信息可分享，哪些不可分享。
让人难以理解之处在于当这些信息直接与OpenAI共享时会发生什么，例如，在许多情况下像第四方数据共享。例如，Slack提供其AI集成。Notion也提供其AI集成。这代表什么？在某种程度上，这意味着所有这些信息都将直接发送给供应商。这是人们难以理解之处。
这绝非我们已解决的问题，但在入职培训中我们尝试提高意识的方式是增加了AI使用指南模块。我们还在公司内可能参与新供应商采购的领导者及个人中增加了更多教育，从安全角度可能带来的影响。
参与者2：数据平台包含哪些内容？你们是如何在其解决方案中应用它的？
顾：我们的数据平台与机器学习平台之间无疑存在紧密交集。例如，我们数据平台的核心之一是通过Airflow实现的编排框架。我们用它来更新向量数据库中的嵌入并确保其与我们的知识库同步。
除此之外，在探索方面，尤其是对于我们的数据科学家而言，他们在构建新的LLM和ML产品过程中，我们数据仓库中的数据与下游应用场景之间有着紧密交集。我将其视为两大交集。
参与者3：在谈话之初，你提到Elasticsearch是你的向量数据库能力用于RAG目的的相似性检索。后来你提到转向Bedrock。当你转向Bedrock时，你是否保留了Elasticsearch还是在那时就舍弃了它？
顾：我们并未放弃Elasticsearch。实际上，我们正在使用OpenSearch，即AWS管理版的Elasticsearch。当时我们选择OpenSearch/Elasticsearch是因为它已是我们的技术栈一部分，选择它轻而易举。我们并非一开始就认定这是永久选择。我们知道这是一个快速发展的领域。目前，Bedrock对我们来说仍相对较新。我们主要利用它来扩展我们的LLM服务提供商选项，特别是针对Anthropic模型。我们尚未深入探究或评估其向量数据库、微调及其他功能。
我们认为这是我们在2025年需深入研究的方向之一，当我们思考下一代平台迭代时的样子。
参与者3：你对使用OpenSearch获得的相似性检索结果满意吗？
顾：我认为我们对此感到满意。研究表明，至少从性能和相关性角度看，这种方法通常并非最佳方式。我们真正感到满意之处在于一是易于扩展，延迟表现很好，整体上使用起来简便。我认为根据具体应用场景，如可能采用重排序器或采用不同方法可能更适合具体应用场景。
(以上内容均由Ai生成)
