绘制 AI 透明度和安全性图表：来自 AAAI Philadelphia 的见解
快速阅读: 据《开放数据研究所》最新报道，上周，开放数据研究所（ODI）在AAAI会议上举办两场活动，探讨AI数据透明性和安全数据。通过教程和工作坊，与多家机构合作，聚焦AI透明度现状、法规影响及安全评估方法。欲了解详情或合作，请联系 [email protected]。
2025年4月7日，星期一
上个月，开放数据研究所（ODI）的研究团队在美国人工智能促进协会（AAAI）会议上举办了两场会议，这是人工智能领域最重要的学术会议之一。我们非常荣幸能够与包括MLCommons、谷歌、麻省理工学院、RAi英国、Hugging Face、负责任的人工智能和伦敦国王学院在内的多家机构合作，共同举办了一场为期半天的教程和一场全天的工作坊。
会议为汇聚专家提供了绝佳的机会，大家共同探讨了我们关注的两大前沿问题——人工智能数据透明性和用于人工智能安全的数据。通过这些交流，我们对当前局势有了更清晰的认识，并明确了这两个关键实践领域接下来的重点任务。AAAI规模庞大（2024年温哥华会议吸引了5193名参与者），这意味着与会者从不同的视角带来了宝贵的见解。本文总结了我们的会议内容以及从中提炼出的关键洞见。
迈向广泛且有影响力的AI数据透明度
我们的半天教程《人工智能数据透明性：过去、现在及未来》于2月26日举行。来自IBM（大卫·皮奥斯基博士）、麻省理工学院（尚恩·朗普雷）、谷歌（奥马尔·本杰卢恩博士）、Hugging Face（露西·艾梅·科菲博士）、伦敦国王学院和ODI（埃莱娜·辛姆佩尔教授与索菲亚·沃思）的演讲者分享了他们最新的尖端研究成果，为听众呈现了一个关于演变中的景观概览。
第一部分聚焦于当前的AI数据透明现状——如果不了解我们目前所处的位置，就很难确定问责制和变革所需的透明度的核心领域。这一部分包括麻省理工学院的尚恩·朗普雷关于基础模型透明指数（FMTI）的演讲。FMTI表明，AI透明性依然存在严重不足，其中数据透明度尤为薄弱。我们分享了一项由ODI进行的探索性研究，该研究证实了FMTI，并深入分析了AI事件数据库中标记系统的数据透明度，强调了获取数据透明度信息的多样性挑战，超越了关键基础模型。尚恩进一步概述了通过审计AI数据集来创造透明度的重要性，这有助于更清晰地描绘和更好地跟踪AI领域的数据集。
随后，我们概述了AI数据透明性的新兴法规，尤其是在欧盟的人工智能法案（AI Act）下，该法案提出了一些更为严格的要求（包括最近发布的法案行为准则的最新版本），这将要求许多组织进行重大调整。这有可能在短期内显著推动欧盟乃至全球的数据透明度。
在第三部分，我们展示了我们在AI数据透明性指数中的发现，该指数提供了一种评估模型提供商是否生成有意义且以用户为中心的透明度的方法，并主张更多工作应围绕用户需求制定最低标准。这为IBM的大卫·皮奥斯基博士介绍了事实表方法论奠定了基础，他也是该方法的创始人之一。这详细说明了组织如何评估特定客户和利益相关者的透明度需求，并在现场解决这些问题。
最后，我们讨论了构建基础设施以支持更好的数据透明度的重要性，谷歌的奥马尔·本杰卢恩博士进行了实际演示，介绍了Croissant标准。该标准的一个关键目标是使透明度信息机器可读，以便可以收集和搜索。
总的来说，我们探讨了数据透明度作为建立问责制和帮助开发人员、部署人员和用户确保AI安全和负责任的一部分的基础作用——而不是作为一个最终目标。似乎区分两个关键要素是有帮助的：找出如何以可行和有效的方式激励透明度（包括基础设施、政策、创造透明度等），并确保这些信息能够解决其设计旨在解决的关键需求。
探索AI安全的数据集和评估器
我们与伦敦国王学院和RAi英国共同开发并联合主持了2025年3月3日的《AI安全的数据集和评估器研讨会》。研讨会召集了领先的学术界、工业界和政策专家，以应对AI安全挑战，特别关注增强数据集、基准测试和评估方法。
在MLCommons的彼得·马特森博士的特邀演讲中，他首先强调了建立可靠AI生态系统的重要性，展示了诸如MLCommons的Croissant元数据格式和新颖基准测试的努力。通过洛拉·阿罗约博士和戈帕尔·拉姆乔恩教授的领先专家演讲，我们讨论了严格的、适用于现实世界的真实基准和评估方法的必要性。之后，弗吉尼亚·达尼姆教授在另一场特邀演讲中强调了通过结构化、跨学科治理策略平衡短期伦理关切和长期安全问题的重要性。
随后，由行业和学术界发言者组成的两场小组讨论（包括洛拉·阿罗约博士、安尼克特·贾因、纳坦·维德拉、肯·弗里克拉斯、马克·科贝尔尼克博士、安吉洛·达利博士、拉贾特·高什、戈帕尔·拉姆乔恩教授、斯里贾·查克拉博蒂和肖恩·麦格克罗博士）指出了评估不断发展的多模态和自主AI系统安全性时存在的关键空白，这些系统带来的挑战超出了现有框架。具体提到的问题包括AI系统变得越来越不透明、容易受到对抗性滥用、由于解释性有限而难以问责等。提出的解决方案集中在开发能够处理复杂AI工作流的评估器、标准化个性化安全过滤器以减轻针对性危害，以及强制透明引用实践以增强用户信任。
我们的下一步计划包括与MLCommons标准对齐，合作开发改进后的评估器和数据集。我们在ODI正在进行的关于负责任数据管理、AI数据透明度等领域的工作将直接支持这些努力。
结论与展望
为了实现有意义的AI数据透明度，我们需要持续监控透明度和问责制的现状，并通过法规和其他形式的激励措施设定明确的标准。在ODI，我们希望为透明度的实际需求提供证据，以确保透明度努力以帮助公众、记者、政策制定者、开发者和其他决策者履行他们在负责任AI中的角色的方式提供信息。我们还打算与合作伙伴合作，构建基础设施以确保这些措施得以实施。
在AI安全的背景下，我们的近期下一步行动涉及推进合作，以开发严谨的评估器和增强的数据集，特别是针对AI生命周期中的透明度和可靠性问题。基于MLCommons基准测试倡议的见解和弗吉尼亚·达尼姆倡导的结构化治理方法，ODI计划专注于数据驱动策略，以应对多模态和自主AI系统中的新兴风险。我们邀请有兴趣标准化稳健、透明的AI评估方法的研究人员和组织，尤其是关于数据质量、对抗鲁棒性和可解释性方面，与我们合作，塑造负责任、可靠的AI实践。
如果您想在这些主题上与我们合作，请随时发送电子邮件至 [email protected]。
托马斯·凯里-威尔逊
索菲亚·沃思
埃莱娜·辛姆佩尔
(以上内容均由Ai生成)
