AI自主代理引发数据与责任新挑战

发布时间:2025年9月15日    来源:szf
AI自主代理引发数据与责任新挑战

快速阅读: AI自主代理引发数据和责任追踪难题,平台如Salesforce、Adobe等推出代理工具,能代表用户决策行动,但需建立治理框架防止失控,确保数据安全与责任归属。

下一波人工智能不仅关乎更智能的工具,还涉及自主代理。这引发了一些棘手的问题:当代理之间相互指导时,谁真正掌控局面?如果它们出错,谁来负责?

这些问题已经开始让一些媒体和广告业高管夜不能寐。

他们的担忧源于越来越多的工具:

从Salesforce到Adobe再到Microsoft和Optimizely,平台供应商正推出代理型AI工具,这些工具不仅能辅助用户,还能代表用户行动。这些系统能够做出决策,学习行为并自动适应。

同时,诸如模型上下文协议和谷歌开源的A2A(代理到代理)协议等,正在为AI代理登录网站和使用API代表用户操作奠定基础,Huge首席技术官Marc Maleh强调。随着时间推移,这些代理可以自动在后台运行任务——例如,在特定地区天气变化时更换广告创意,他补充道。然而,随着代理越来越依赖其他代理的指令,数据和责任追踪变得愈加模糊。

Maleh认为这不是理论问题,而是必然趋势。数据似乎也支持这一点。据TolBit上周发布的最新报告显示,AI代理正向网络注入更多非人类流量。TolBit数据显示,今年第一季度至第二季度间,人类访客减少了9.4%。报告还指出,自主无头浏览活动增加,这类活动由Perplexity等AI引擎执行,但在站点日志中显示为人类访问,TolBit声称。

Maleh认为,企业需要建立防护措施以防止AI代理失控。“如果你是品牌方且没有治理框架,拥有多代理系统,而你未曾考虑过‘我用这个代理访问Marc的信用卡信息,该代理假设另一个代理也能访问相同信息——我如何得知这一点?’突然间,由于多代理系统的操作,你购买了自己并不想买的产品。因此,这不仅是技术和数据问题,也是品牌形象问题。”他补充道。

当Huge与NBCUniversal和Planet Fitness等客户合作处理数据和AI项目时,这一话题经常被提及。讨论范围从模型决策如何记录和传达,到确保代理行动可追溯性的机制——如审计跟踪和数据日志。责任归属也成为热门话题:如果代理带有偏见、产生有害输出或执行失误,谁应承担责任:代理商、供应商、品牌还是终端用户代理?

消费者或客户的数据隐私保护以及建立防止代理与第三方代理交互时发生勾结或意外后果的控制措施,也是主要讨论内容之一。

编排不等于治理

像Adobe的代理编排器或Microsoft的Copilot Studio编排层这样的代理型编排平台,确实内置了治理功能,如权限管理、日志记录、干预点和审计跟踪。但即使有编排,如果没有明确的政策,也可能缺乏问责制。

代理编排关注的是代理如何运行;代理治理关注的是代理是否负责任地运行。因此,虽然编排可以促进治理,但没有明确政策,它可能变成没有问责的自动化。

“消费者迟早会关心多模态代理系统如何使用他们的数据,”Adobe合作伙伴解决方案负责人Clive Henry表示。就像个性化推动了《通用数据保护条例》和加州《消费者隐私法》等数据隐私法规的出台,代理工作流尚处于早期阶段——规则仍在制定中,但目标是为消费者带来更好的结果,Henry强调。

“允许这些代理流程进入其网络体验的公司,最终会希望确保他们不会因接收和存储此类数据而面临来自消费者或消费者团体的法律追责。”Henry说。

推动企业在内部建立代理治理框架,以确保必要的防护措施到位,这是Henry所强调的必要步骤。

对于媒体公司而言,这与广告商面临的风险一样大。例如,当有人选择电视节目观看时,理论上,代理可以登录其流媒体应用程序,扫描库,并根据你的心情、喜欢的类型或演员返回推荐。但亨利强调,这引发了一些问题:如果代理在浏览,谁来控制这些平台上通常出现的广告,以及使用什么数据来定位它们?如果另一个人使用相同的界面,代理会使用与之前观看者相同的用户名和密码吗?

“我认为这些问题会导致拥有订阅平台的媒体公司说‘我希望在有这些事情的标准之前,不开放我的接口给代理’,”他补充道。

营销人员是在向人类还是代理做广告?

根据AI Marketers Guild创始人戴维·伯科维茨的说法,首席营销官需要确保尽早关注消费者受到的影响,而不仅仅是首席技术官和首席信息官。AI Marketers Guild是一个专注于AI如何改变营销的社区。“这可能会彻底改变——你甚至是在为人类还是机器人创建信息?如果这只是被视为某种技术政策或实施,那么首席营销官很可能会被排除在外,”他说。

Perplexity的Comet浏览器自主浏览以创建每日新闻摘要。根据托尔比特团队的测试,它看起来就像一个使用Chrome的人类。Perplexity的Comet浏览器在网站日志中不标识自己是AI工具。相反,它以标准的“Chrome”用户代理身份获取页面,并使用人类的住宅IP地址。因此,即使用户只看到摘要,出版商的分析也会将其记录为正常的(人类)访问——实际上是AI在后台浏览和点击,这是托尔比特上周发布的报告所称。

“无论是人类企业、广告商、出版商还是代理商,所有各方都将以某种形式拥有代理代表,并有一种自动化版本的实体能够做出决策并代表该方行事,”伯科维茨说。

AI冒充人展示了为何需要设置代理的护栏。

如果代理更加积极地寻找合适的客户、访客和目标受众,这将彻底改变广告、营销、媒体等领域,伯科维茨补充道。“我们如何为一个未来做准备,在这个未来中,不同的代理——基本上是机器人——彼此交流,往往没有人类干预?这里有很多不同的规则,我认为我们不想处于一种情况,即只是让这种情况发生,看看会怎样,”他说。

(以上内容均由Ai生成)

你可能还想读

欧洲报告揭示AI新闻助手准确性问题,谷歌Gemini表现最差

欧洲报告揭示AI新闻助手准确性问题,谷歌Gemini表现最差

快速阅读: 欧洲广播联盟和BBC报告显示,AI平台传播新闻存严重风险,影响新闻生态,Perplexity和谷歌AI加剧公众信任下降,研究发现来源、准确性和背景问题是主要障碍。 欧洲广播联盟和BBC发布的一份新报告显示,使用生成式人工智能平台 […]

发布时间:2025年10月23日
AI热潮推动美股大涨,ChatGPT引发21万亿市值增长

AI热潮推动美股大涨,ChatGPT引发21万亿市值增长

快速阅读: 特朗普退让提振市场情绪,但股市上涨主因是AI热潮。自2022年11月ChatGPT推出以来,美国标普500指数市值增加21万亿美元。 特朗普倾向于退让提振了市场情绪,但推动股市上涨的主要动力是围绕生成式人工智能(AI)的炒作。在 […]

发布时间:2025年10月23日
北欧Riff获1600万美元A轮融资,助力企业级AI应用开发

北欧Riff获1600万美元A轮融资,助力企业级AI应用开发

快速阅读: 挪威Riff完成1600万美元A轮融资,累计2100万美元,由Northzone领投。Riff提供AI应用开发平台,支持多行业,旨在提升商业效果和项目成功率,新资金将用于市场扩展。 总部位于奥斯陆的Riff(原名Databutt […]

发布时间:2025年10月23日
Meta裁减AI部门约600岗位,加速技术竞赛

Meta裁减AI部门约600岗位,加速技术竞赛

快速阅读: Meta Platforms 从超级智能实验室裁减约600个职位,以加速AI技术发展。AI首席Alexandr Wang通知裁员,旨在加快决策,增加员工责任。Meta继续为TBD实验室招聘,该团队聚集高薪AI人才。 据报道,Me […]

发布时间:2025年10月23日
渠道伙伴成企业AI转型关键,助力解决安全与数据挑战

渠道伙伴成企业AI转型关键,助力解决安全与数据挑战

快速阅读: Gartner预测,至2026年80%企业将部署生成式AI,但安全与数据基础设施挑战成障碍。研究显示,近半数企业因安全顾虑暂缓云迁移,超半数数据无备份,70%企业过去一年遭遇网络攻击,平均损失五周生产力。VARs在协助企业克服安 […]

发布时间:2025年10月23日
英政府推出AI工具,大幅提高咨询反馈分析效率

英政府推出AI工具,大幅提高咨询反馈分析效率

快速阅读: 英国政府宣布加速人工智能发展,采用“汉弗莱”系列中的Consult工具,每年可节省75,000个人工工作日,该工具处理50,000份咨询回复仅需2小时,效率远超人工。 英国政府宣布,将加速推进人工智能的发展。此前一项研究发现,每 […]

发布时间:2025年10月23日
IBM新Z17主机助力营收大增,AI成增长引擎

IBM新Z17主机助力营收大增,AI成增长引擎

快速阅读: IBM在生成式AI领域赢得95亿美元订单,大型机收入同比增长59%,新Z17机器贡献显著。AI基础设施增长15%,存储成为关键销售点。 克里希纳指出,IBM在生成式AI领域赢得了95亿美元的订单,这是一个显著的成绩。此外,IBM […]

发布时间:2025年10月23日
英特尔之后,消息称美国政府欲用联邦资金入股多家量子计算公司

英特尔之后,消息称美国政府欲用联邦资金入股多家量子计算公司

快速阅读: 特朗普政府正与多家量子计算公司谈判,拟通过联邦资金注资换取股权,涉及IonQ、Rigetti Computing等,每家获至少1000万美元。 感谢IT之家网友 小兴365 的线索投递! IT之家 10 月 23 日消息,据《华 […]

发布时间:2025年10月23日