为银行构建 AI 护栏的科技公司
快速阅读: 《美国银行家》消息，随着金融行业追求生成式人工智能的潜在收益，相关技术供应商如Ethos、Corridor平台和H2O.ai应运而生，提供模型测试、验证和风险管理。这些公司强调模型出错风险及数据使用的透明度。H2O.ai发布针对金融服务的生成式人工智能模型风险管理框架，Ethos则筹集资金以改善其模型风险管理系统。这两家公司均致力于帮助金融机构更好地管理和控制人工智能模型的风险。
金融行业追求生成式人工智能带来的好处时，一个小型产业随之兴起，提供可以测试、验证并为这些模型设定风险控制的技术。诸如Ethos、Corridor平台和H2O.ai等公司已经为从大型银行到小型金融科技公司提供服务。生成式人工智能的潜在收益十分诱人。在本周的《美国银行家》播客中，Huntington银行首席财务官扎克·沃斯曼表示，他预计该行将从生成式人工智能应用中看到10%至15%的生产率提升。但是银行也需要控制其部署的任何生成式人工智能模型。所有银行使用的算法模型，无论是基于人工智能还是其他技术，都受到联邦储备系统的SR 11-7模型风险管理指导原则的约束。“金融机构应当注意基于错误或误用模型的决策可能带来的负面影响（包括经济损失），并采取积极的模型风险管理措施来应对这些问题。”2011年联邦储备系统致监管人员的信函中这样写道。其他人工智能法规也在逐步实施。欧盟的人工智能法案于去年夏天发布，将于2026年8月生效。“据我所知，这是首次有法规要求你必须自动化[人工智能风险管理]功能，否则它们可能会崩溃并造成问题。”Corridor平台的首席执行官马尼什·古普塔在接受《美国银行家》采访时表示。
此外，生成式人工智能还带来了需要缓解的风险。风险根据前富国银行模型风险管理主管、现H2O.ai公司高级副总裁阿古斯·苏迪安托的说法，最重要的风险是人工智能模型出错。“这始终是首要考虑的问题，因为当模型出错时，无论是对机构声誉还是对客户都会造成伤害。”苏迪安托告诉《美国银行家》。“当我们使用模型时，我们总是承担着模型风险，因此在部署任何模型之前，我们需要了解所有风险以及如何应对。”因此，他说，每家银行都需要拥有独立且向风险管理组织报告的模型验证者，而不是业务部门。“他们的工作是找出模型可能出现的问题。”苏迪安托说。“最终，对于每一个应用，我们需要理解有哪些风险？哪些地方可能出现问题？你需要测试它直到失败，以便了解模型会如何失效。”
例如，如果一家银行正在使用生成式人工智能模型来总结客户投诉，那么这个总结可能是错误的。模型可能会产生幻觉，添加不存在的信息，或者给出不完整的总结。模型风险管理人员需要找出在哪些情况下模型会产生幻觉或提供不完整的答案，并处理这两种情况的危害。另一个挑战是理解模型使用了哪些数据。“这种可解释性，这种理解，数据的局限性和它如何影响你的模型”是另一个经常缺失的要素，费舍尔说。“你需要教育团队成员了解风险，确保从所有相关方获取正确的输入，并明确谁在使用它、他们用它做什么。然后能够进行有效的治理。”她说。“而在最高层面上，你希望你的高管能够理解这些风险，并做出有利于公司同时防止经济损失的战略决策。”
科技公司如何应对
周四，H2O.ai发布了面向金融服务等受监管行业的生成式人工智能模型风险管理框架。该框架旨在帮助银行和其他机构大规模进行模型测试和评估，采用人工智能和人工校准相结合的方式。它可以与任何大型语言模型配合使用，苏迪安托表示。让人类测试和评估模型是非常耗时的，苏迪安托说。让大型语言模型来做这件事是不可追踪的，他说。他主张采用透明、可追踪且可解释的自动化测试，结合人工判断进行校准。H2O.ai表示，该公司已与包括富国银行、美国银行和第五十三银行在内的多家银行的AI从业者、风险管理团队和模型验证者合作。
Ethos在2月底为其银行和金融科技公司的模型风险管理系统筹集了600万美元的种子资金。本轮融资由Canapi Ventures领投，Capital One Ventures和Better Tomorrow Ventures参与投资。纽约Ethos公司的首席执行官兼联合创始人杰特·奥里斯塔吉奥曾在DataRobot公司工作，该公司为包括银行在内的高度监管客户提供服务。“我看到了金融机构对创新的渴望，同时也看到了他们在管理先进建模和人工智能风险方面面临的挑战。”奥里斯塔吉奥说。这促使他共同创立了Ethos。
人工智能“这是一个巨大的优先事项”：Huntington银行首席财务官沃斯曼谈人工智能
2025年3月4日 上午9:26
奥里斯塔吉奥称Ethos的技术为统一的模型风险管理平台。“我们帮助金融机构审计他们的模型和其他决策系统。”他说。“这包括人工智能和生成式人工智能，但也包括机器学习模型、更传统的统计模型，甚至包括需要跟踪和纳入风险管理的电子表格。”Ethos的模型风险管理软件具有他所说的受治理的库存——模型、验证和变更控制、风险评分卡的单一真实来源，这些都需要被跟踪并在模型风险管理周期中移动。它还拥有一个工作流引擎，公司可以使用它来构建、执行和协调自定义模型风险管理流程，如模型注册和验证，包括文档、测试和向其他人（如银行董事和更广泛的风险管理团队）报告。Ethos可以集成到监控工具中，这些工具可以分析模型输出中的错误、幻觉或偏差。FairPlay公司就是这一类别的公司之一，它提供了基于人工智能的贷款模型的偏见和准确性测试。位于洛杉矶的FairPlay公司正在开发技术，以帮助减少大型语言模型的偏差。Ethos正在开发一个名为Ethos Core的产品，将出售给较小的机构。在更大规模上，新泽西州霍沃思市的Corridor平台与谷歌合作，在谷歌云上提供Corridor的GenGuardX，这是与一家大银行共同开发的模型管理平台。（它也可以在微软Azure、亚马逊网络服务和其他云基础设施上运行。）谷歌还提供用于监控和测试模型的工具。Corridor平台的首席执行官兼联合创始人马尼什·古普塔表示，GenGuardX已经在两家一级银行和几家较小的银行及金融科技公司中投入使用。“我们所做的，是在你确定了模型设计和用途之后，能够测试每个组件，然后如何将它们组合在一起，以及你需要什么样的防护措施。然后通过分析或人工在环测试来测试整个系统。”古普塔说。“然后我们在你自己的安全环境中让你挑战它并尝试破坏它。这对于大型语言模型来说也是一个非常重要的控制措施，你可以尝试破坏它并提供反馈，从而加强整个管道和防护措施。”
(以上内容均由Ai生成)
