AI Agents：自动化成功还是快速跟踪公司责任？

快速阅读: 《JD Supra》消息，AI代理作为生成式AI的进阶形式，正逐渐改变公司运营方式，但也带来潜在风险。公司需关注AI代理的角色定义、权限限制、行为监控、透明度及员工影响等问题，以规避法律和监管风险。这包括明确AI职责、设置权限限制、建立风险管理和审计机制、确保透明度及制定劳动力转型策略。

AI代理是生成式人工智能的下一个进化阶段，有潜力重塑公司运营和创新的方式。对于正在考虑实施AI代理或已经使用它们的公司来说，睁大眼睛去了解情况是很重要的。在本周的博客中，我的同事列宁·洛佩兹讨论了什么是AI代理，以及相关的益处和风险，还有实际考虑事项和警示信号。——普里亚·胡斯金斯

自主代理、能动性人工智能（AI）或AI代理似乎最近非常流行。最近，赛富时（Salesforce）首席执行官马克·贝尼奥夫被引用说：“今天的首席执行官可能是最后一批领导全人类员工队伍的人。”他还说：“我们现在真的进入了管理和协调人类与代理共同工作的世界。”赛富时已经实施了AI代理，它并不是唯一的公司。对于那些与赛富时一样采用AI代理的董事和管理团队，或者正在考虑向这个方向发展的公司来说，有一些需要记住的考虑因素，以限制风险并避免成为下一个AI相关诉讼的目标。

这份资源来自国际隐私专业人士协会。谈到监管环境，我们应该预料到联邦、州和外国监管框架的拼凑会变得更加复杂。即使联邦政府决定放松对人工智能的监管和执法，各州和外国政府也没有显示出任何放缓的迹象。

**实用考虑和警示标志**

尽管人工智能代理可以为公司的底线带来几个潜在的好处，但它们也带来了几个风险，这可能使公司面临私人诉讼和监管调查的风险。如果你的公司目前正在使用或考虑使用人工智能代理，以下是一些董事可能想问管理层的关键问题，以及需要注意的警示标志。

1. **人工智能代理将具体承担哪些角色和功能？**
– **为什么这个问题很重要：** 如前所述，与传统的分析数据和/或自动重复任务的人工智能形式不同，人工智能代理可以独立行动、做出决策，并在无人干预的情况下采取行动。确认管理层已确保人工智能代理的角色定义明确，符合业务需求，并且不会引入不必要的复杂性和风险。
– **警示标志：** 如果人工智能代理在考虑或部署时没有明确的战略用途——例如自动化财务建模、客户服务或网络安全监控——这可能导致低效、运营混乱或意外后果。此外，如果管理层无法阐述人工智能代理的理由，这是按下暂停按钮的原因。

2. **我们将如何确保我们的人工智能代理保持与我们设定的目标一致？**
– **为什么这个问题很重要：** 人工智能代理自主运行，但它们应在明确定义的护栏内操作，以避免未经授权的行为或意外行为。重要的是要确认这些护栏定期被重新审视。尽管目前人工智能代理处理百万美元交易还为时过早，但人工智能实际上已经做出了涉及生死的决定——请参阅上述联合健康案例。最终，公司应建立规则、监督机制和人类干预点来控制人工智能决策。
– **警示标志：** 如果没有明确限制人工智能代理的权限——例如财务限额或需要人类参与的合规触发器——那么人工智能做出未经授权决定的风险很大，例如未经适当审核就批准交易或更改业务流程。

3. **我们如何确保人工智能代理的行为不可预测，并如何减轻这些风险？**
– **为什么这个问题很重要：** 由于人工智能代理不断学习和适应，它们的行为可能会出乎意料，导致错误、监管违规或诉讼。董事们明智的做法是确保公司有一个风险管理策略，包括持续监控、审计和补救机制。
– **警示标志：** 如果公司缺乏审计其人工智能代理行为或实时检测意外行为的方法，可能会导致一系列严重后果。此外，缺乏“关闭开关”或人类覆盖机制是一个严重的警示信号。

4. **我们如何确保人工智能代理透明且可问责？**
– **为什么这个问题很重要：** 除了开发人工智能代理的组织内部的个人外，大多数人可能会描述人工智能代理是在黑盒中运作的。当公司必须迅速回应监管机构、股东和客户对人工智能代理决策透明度的需求时，这可能成为一个问题——特别是在招聘、医疗保健、贷款和治理等敏感领域。你需要确保那些可能需要回应这些类型询问的人（例如，执行领导层、投资者关系、法律部门等）对公司的人工智能代理的工作原理有基本了解。还需要有一种简单的方式提取这些信息，以防你的流程成为监管调查或诉讼的对象。
– **警示标志：** 如果公司不能清楚地解释其人工智能代理如何做出决策，它可能会面临增加的监管审查。在诉讼的情况下，你可能会看到法院有可能授予原告广泛的发现请求。如果没有明确的责任结构来应对人工智能驱动的结果，董事们应该质疑系统是否已准备好投入使用。

5. **人工智能代理将如何影响员工，以及我们的劳动力转型策略是什么？**
– **为什么这个问题很重要：** 随着公司投资于人工智能，裁员似乎是一个不可避免的事实。从劳动力角度来看，这可能会引发关于工作保障和士气的担忧，并可能影响公司文化。本着这种精神，董事们应确保公司已经考虑到了对人力资本的影响。这可以包括员工保留、遣散和技能提升计划。
– **警示标志：** 如果在没有考虑劳动力影响的情况下采用人工智能代理，公司可能会受到员工、工会和公众的反对。没有明确的员工保留战略的公司可能会损害士气并增加员工流失率。

(以上内容均由Ai生成)