商会支持NIST推进AI测试与验证标准

快速阅读: 美国商会赞赏NIST制定基于科学、利益相关者参与的AI标准，强调对抗性评估、紫队演练、自主AI系统指导及持续监控的重要性，旨在促进AI创新与安全。

美国商会（以下简称“商会”）感谢有机会向国家标准技术研究所（NIST）提交关于《人工智能测试、评估、验证和确认（TEVV）标准零草案》的意见。

商会赞扬NIST通过“零草案”流程，致力于制定基于科学、由利益相关者参与的标准。这一方法体现了深思熟虑且包容的方式，能够促进制定坚实可靠、自愿采纳的标准，这些标准以行业专业知识和实际实施为基础。

正如商会在《人工智能原则》[1]中所述，我们强烈支持以行业为主导、共识为基础的标准制定，这是负责任数字创新的基石。自愿标准提供了适应快速技术进步所需的灵活性，同时确保了问责制和公众信任。

此外，《商会人工智能委员会报告》[2]强调了软法机制——如标准和最佳实践——在塑造道德和有效的AI治理方面的重要作用。这些工具能够提供特定领域的指导，促进创新并支持全球竞争力。NIST在召集政府和行业共同开发这些预标准方面的领导作用对于维持美国在AI领域的领先地位至关重要。

在此精神下，商会就拟议的零草案提出以下意见和建议，以帮助确保框架具有实用性、可扩展性，并符合实际需求。

一般意见：

1. **优先考虑对抗性评估**：我们敦促草案将对抗性评估——包括基于角色的“红队演练”——提升为核心组成部分，而不仅仅是一个可选附录。在评估过程中嵌入对抗性测试对于发现传统保证方法可能未发现的漏洞至关重要。

2. **纳入紫队演练指导**：草案应纳入“紫队演练”，整合进攻（红队）和防御（蓝队）安全功能。这种协作方法不仅确保了风险的有效检测，还在实际操作环境中实现了有效缓解。

3. **扩大对代理和自主AI系统的覆盖范围**：我们建议更深入地讨论代理或自主AI系统，这些系统可以独立于人类监督运行。这些系统带来了独特的安全性和安全性挑战，可能需要在框架内提供专门的指导。

4. **持续监控**：为确保持续的安全性和可靠性，框架应支持AI系统部署后的持续监控。持续监控对于检测新兴行为和适应不断变化的威胁至关重要。

5. **引入严重性和风险分类**：标准化的严重性和风险分类系统将使组织能够有效地对发现的问题进行分类并做出相称的响应。这将提高实施的一致性，支持更高效的资源配置。

6. **纳入模型来源和供应链验证**：草案应解决上游风险，包括模型来源和供应链验证的要求。了解模型在部署前的来源和完整性对于管理继承的漏洞非常重要。

7. **细化评估意图和威胁模型的概念映射**：我们建议澄清框架的概念图，以区分评估者的意图（例如，保证测试与对抗性测试）和系统的威胁模型。这一区分将有助于从业者根据具体的风险概况对齐评估策略。

8. **提供特定行业的例子和参考**：为了便于实际实施，框架应包括特定行业的例子和参考资料，如MITRE ATLAS和OWASP ML Top 10。这些资源提供了可操作的见解，可以帮助从业者在其各自领域内应用草案和未来的框架。

结论：

商会赞赏NIST在推进可信AI方面通过合作、基于科学的工作来推动进一步标准制定的领导作用。随着AI技术的不断发展和渗透到经济的每一个领域，测试、评估、验证和确认框架必须保持敏捷、风险意识强，并基于操作现实。通过纳入上述建议，NIST可以帮助制定一个不仅反映技术严谨性，还支持创新、竞争力和公众对AI系统的信心的标准。我们期待继续参与，并准备好支持NIST开展这项重要工作。

此致，

迈克尔·理查兹

商会技术参与中心执行主任

美国商会

[1] 美国商会. “美国商会发布人工智能原则。”

美国商会

2019年9月23日，美国商会发布了《人工智能原则》报告，网址为：https://www.uschamber.com/regulations/us-chamber-releases-artificial-intelligence-principles。

2023年3月9日，美国商会技术参与中心发布了《人工智能委员会报告》，网址为：https://www.uschamber.com/technology/artificial-intelligence/artificial-intelligence-commission-report。

关于作者：迈克尔·理查兹是美国商会技术参与中心的政策执行主任。更多内容请参阅相关链接。主题包括技术和人工智能。

(以上内容均由Ai生成)