AI医疗应用：法律与伦理挑战
快速阅读: AI正革新医疗健康行业，涵盖药物开发、疾病诊断等领域，如谷歌的Med-PaLM等。WHO推出S.A.R.A.H.，支持多语言响应。未来，国际合作将推动医疗AI创新与安全使用。
I. AI在医疗健康领域的角色
AI正在通过增强药物开发、疾病诊断、治疗、患者监测及行政管理等多个方面来革新医疗健康行业。显著的例子包括谷歌的Med-PaLM、斯坦福大学的CheXNet以及英伟达与Hippocratic AI的合作。除了私营部门的进展，世界卫生组织（WHO）于2024年4月推出了S.A.R.A.H.（智能AI资源助手健康版）。这一由生成式AI驱动的数字健康促进者原型支持八种语言的增强同理心回应。
展望未来，我们预计医疗健康公司、科技企业和研究机构之间的合作将日益增多。这种协同效应将进一步推动医疗健康服务交付和患者结果的创新与改善。
II. 医疗健康领域AI的法律框架
在医疗健康领域监管AI是一项复杂的工作，需要在促进科学创新与保护人权和安全之间找到平衡。不同国家可能采取不同的AI监管方法，反映出各自独特的价值观和优先事项。例如，欧盟、日本、韩国和中国等司法管辖区已有专门针对AI的法律，而英国、美国和澳大利亚等国则将现有的技术中立法律应用于AI。
这些不同的监管方法导致了公司在部署和构建AI时面临显著的合规负担。
我们认为，有效的医疗健康AI监管需要国际间的合作。通过共同努力，各国可以创建一个能够在全球范围内增进人类福祉的统一框架。这种合作努力有助于确保AI技术的安全和道德使用，同时促进创新并保护人权。
a. AI法律框架概览
i. 当前的AI法律框架
国际组织和政府正在积极与利益相关者合作，制定法规和行业标准。目前，大多数这些指导方针以原则为基础，重点在于公平和公正地使用AI。例如，世界卫生组织（WHO）发布了多项关于医疗健康领域AI的指南，强调伦理考量和最佳实践。这些指南强调设计和使用AI系统时应尊重患者隐私、促进公平并减轻偏见的重要性。
2024年，经济合作与发展组织（OECD）更新了其AI原则，这是首个国际性的AI标准。这些原则旨在平衡创新、人权和民主价值。
从主权国家立法的角度来看，医疗健康领域AI的法律环境仍处于初期阶段，并持续发展。许多国家目前依赖于现有的技术中立法律，如数据保护和平等法律，以及行业标准来处理与AI相关的问题。此外，一些国家正在采取主动措施，开发解决AI技术引发问题的方法。
在美国，食品药品监督管理局（FDA）最近发布了多篇关于AI药物开发和制造医疗器械的讨论文件，以及关于去中心化临床试验的指导意见。FDA总体上支持在医疗健康发展中使用AI，并已审查和授权超过1200个AI/机器学习（ML）赋能的医疗设备。此外，FDA药品评价与研究中心（CDER）建立了“先进制造评估框架”（FRAME）倡议，以支持可能为患者带来益处的先进制造技术的采用。
在欧盟，AI法案被视为世界上第一部全面的AI法律。尽管该法案的大部分要求要到2026年8月1日才生效，且纯粹的研发AI不在其大部分范围之内，但该法案根据四个风险类别对AI系统施加监管要求：（1）禁止的AI，（2）高风险AI，（3）触发透明度要求的AI，（4）通用AI。在医疗健康背景下，“高风险AI”和“触发透明度要求的AI”这两个中间类别最相关。这些类别将施加特定的监管义务，以确保AI在医疗健康应用中的安全和道德使用。
我们还看到越来越多的医疗健康公司使用通用目的AI模型（GPAIM），涵盖研发和企业职能的数百种不同用途。这通常是通过对大型语言模型使用专有数据进行定制实现的。因此，行业一直在呼吁澄清此类定制部署GPAIM在何种程度上会涉及特定的欧盟AI法案义务（自2025年8月2日起适用）。
尽管欧盟委员会的指南
2025年7月发布的报告提供了关于计算阈值的一些见解，这些阈值决定了下游修改是否构成新模型的创建（下游修改者因此成为GPAIM的“提供者”，需遵守严格的合规要求）。然而，简单的数字阈值并不能全面反映实际情况。定制通用人工智能模型的方法多种多样，单一的计算阈值无法捕捉到某些可能对模型行为产生更大影响的定制技术，例如系统提示。因此，实际操作中需要对每次修改进行谨慎的个案分析。可能受欧盟AI法案GPAI要求影响的组织应考虑《通用目的AI实践守则》（GPAI守则）的相关性。
虽然GPAI守则不具备法律约束力，但在欧洲AI办公室的领导下，通过多方合作制定，旨在成为支持组织遵守AI法案的实用工具，特别是在透明度、版权和安全方面。起草过程中引发了利益相关者的广泛讨论，有人认为GPAI守则过于严格，呼吁给予更大的灵活性，尤其是在大型语言模型的训练上。不过，欧盟委员会认为签署方将从“简单透明的方式”中受益，以证明其遵守AI法案的情况，预计执法将重点关注其对GPAI守则的遵守情况。目前尚不清楚组织如何管理这种遵守，特别是面对技术挑战（如输出过滤）和法律复杂性（尤其是与正在进行的法庭行动的相互作用）以及提供商与部署者之间的责任分配问题。
与欧盟不同，英国至今未出台任何专门针对AI的法律。相反，它鼓励监管机构首先确定现有技术中立立法（如医疗器械法规、英国GDPR、数据保护法）如何适用于AI用途。例如，药品和健康产品管理局（MHRA）正在积极努力扩展现有的软件法规，涵盖“作为医疗设备的人工智能”（AIaMD）。MHRA的新计划侧重于确保AI系统的可解释性和可解读性，以及管理AI模型的再训练，以维持其长期的有效性和安全性。
在中国，国家卫生健康委员会和国家药品监督管理局最近发布了多项指南，涉及AI驱动医疗设备的注册及在诊断、治疗、公共卫生、医学教育和管理中应用AI的许可场景。所有指南都强调了在人类监督下，AI在药物和医疗器械开发及监测中的辅助角色。
领先的AI开发者也在建立内部的AI伦理政策和流程，包括独立的伦理委员会和审查委员会，以确保AI研究的安全性和伦理性。这些框架对于国际上具有法律约束力的监管环境的成熟至关重要。
针对AI工具，建议采取基于情景的评估方法。医疗保健公司面临着微妙的平衡：一方面，他们运营的许可证取决于患者的信任，这要求将安全置于首位。确保患者感到安全是不可妥协的，特别是在生命攸关的行业。另一方面，过度的风险规避可能会抑制那些有可能改变生活并为患者和社会带来更好结果的创新。找到这一平衡点至关重要：严格的测试和审查过程必须与促进创新的承诺共存，确保进步的同时不牺牲安全。
为此，建议采用基于风险的框架来监管医疗领域的AI。该方法根据每个应用的风险级别调整审批流程。简而言之，与AI工具相关的风险越高，当局应要求更多的控制和保障措施。例如，用于医学培训、疾病意识推广和医疗自动化的AI工具通常被视为低风险。相反，执行自主手术和关键监控的AI工具可能被视为高风险，需要更高的透明度和审查。通过根据具体风险量身定制监管要求，我们可以在促进创新的同时确保安全得到充分保护。
此外，审查人工智能系统的团队应由具有广泛专业知识和学科背景的利益相关者组成，以确保全面监督。例如，这可能包括医疗保健、医疗技术、法律和合规、网络安全、伦理及其他相关领域的专业人士，以及患者利益团体。通过汇集多元视角，可以更好地解决医疗领域人工智能的复杂性和伦理问题，促进信任和责任。
数据保护和隐私
在医疗背景下使用人工智能时，数据隐私要求是一个关键考虑因素，尤其是许多司法管辖区的法律对“个人数据”的定义非常宽泛，可能涵盖大量数据。此外，隐私监管机构一直是人工智能相关执法行动的先驱。例如，OpenAI的ChatGPT在欧盟层面通过欧洲数据保护委员会（EDPB）工作组和NOYB（None of your Business）/欧洲数字权利中心（由知名隐私活动家Max Schrems创立的数据隐私运动组织）受到了广泛的监管审查，后者在奥地利对该公司提起投诉，指控其违反《通用数据保护条例》（GDPR）。DeepSeek也立即引起了欧盟和其他国际监管机构的关注，调查已经启动，EDPB工作组的范围也扩展到涵盖其产品。
人工智能的隐私考量
使用人工智能时需考虑多个隐私问题。这可能带来挑战，尤其是在美国的开发者试图在高度监管的欧盟等司法管辖区导航数据保护合规性时。这包括确定处理活动的合法基础。许多司法管辖区的数据隐私法包含合法利益基础或类似条款，当适用时，允许数据控制者在未获得个人明确同意的情况下处理个人数据。然而，对于这一基础是否可用于人工智能相关的处理，存在不同的看法。
2024年12月，欧洲数据保护委员会（EDPB）发布了第28/2024号意见书，提供了关于在开发和部署人工智能模型（包括大型语言模型）时使用合法利益作为处理个人数据的法律基础的详细指导（EDPB AI意见书）。尽管该意见书指出合法利益可能是可能的法律基础，但强调需要进行彻底的平衡测试、必要性测试，并采取强有力的保护措施来保障数据主体的权利。EDPB AI意见书中列举的合法利益可作为适当法律基础的例子相对有限，包括对话代理、欺诈检测和信息系统威胁分析等。
几个月前，即2024年10月，EDPB通过了另一份意见书，更广泛地讨论了处理个人数据的合法利益基础（EDPB LI意见书）。虽然该意见书提到科学研究可能构成合法利益，但对基于社会利益建立合法利益持谨慎态度，强调合法利益应与控制者或第三方的利益相关联，并且处理活动应“严格”必要（即没有其他合理且同样有效的、对隐私侵扰较小的方法）。
EDPB AI意见书澄清，在开发阶段非法处理个人数据不一定自动导致部署阶段的后续处理非法，但控制者必须能够证明在整个人工智能系统生命周期中的合规性和责任。
个人同意
作为替代方案，企业可能需要为人工智能相关的处理活动获取个人同意。尽管由于有效同意的高标准，这一基础难以使用，但在涉及特殊类别数据（包括健康数据）的人工智能医疗背景下尤为困难，因为这要求同意达到“明确同意”，并可能因公众对人工智能技术的不信任和误解而变得更加复杂。
此外，在某些司法管辖区，个人通常会对他们的个人数据使用设置严格的条件，包括时间限制。这可能会阻止个人数据用于人工智能，因为一旦数据被摄入人工智能系统，往往无法删除或修改。
专业责任
在使用人工智能时，还需考虑专业责任问题。
确定人工智能系统出错时的责任归属是一个特别复杂的问题，尤其是考虑到整个价值链中可能涉及的多方。这一挑战因不同阶段适用的不同法规而变得更加严峻，法律环境仍在针对这些新技术的发展作出回应。
在完全自主的人工智能决策情况下，一种可能的方法是将责任归咎于AI开发者，因为很难让人类用户对其无法控制的结果负责。然而，责任分配可能会因具体情况和现行的监管框架而有所不同。
当AI系统在有人类参与的情况下运行时，另一种潜在方法是监管机构引入严格责任标准，以应对使用AI工具产生的后果。虽然这可以为患者提供更大的保护，但也可能影响技术革新的速度。另一种建议是要求AI开发者和商业用户投保产品责任险，以帮助应对这些风险。例如，世界卫生组织建议建立无过错、无责任赔偿基金，以确保患者在无需证明责任的情况下获得补偿。
2025年7月，欧洲议会司法、公民自由和机构事务政策部门委托的一项研究发表。该研究旨在批判性地分析欧盟对AI系统民事责任监管的演变方法，讨论了四项政策提案，并倡导针对高风险AI系统的严格责任制度。
最终，医疗保健领域中AI的法律责任问题仍未解决，可能需要随着技术和法规的发展不断调整。鉴于价值链的复杂性和不同监管体制的相互作用，问责制将是一个特别的挑战。所有利益相关者都需要继续对话，以确保法律框架能够跟上技术发展，并将患者安全作为核心关注点。
三、伦理关切
在医疗保健中使用AI系统时，开发者和部署者可能需要解决多个伦理问题。以下是三个突出的例子。
a. 偏见导致不公正的歧视
AI系统中的偏见可能导致对某些受保护群体的不正当歧视。医疗保健中可能出现两种主要类型的偏见：
差异影响风险：当应受到相同对待的人被不同对待时，就会发生这种情况。例如，一项研究表明，在美国医疗系统中，黑人患者的“风险评分”显著低于具有类似医疗状况的白人患者。这种差异是因为算法使用每位患者的年度护理成本作为衡量其医疗状况复杂性的代理指标。然而，由于系统性种族主义、较低的保险率和较差的医疗服务获取等因素，对黑人患者的支出较少。因此，使用护理成本为黑人患者创造了不合理的差异。
不当治疗风险：当训练数据未能充分考虑患者群体的多样性时，AI系统中可能会出现偏见，从而导致次优或有害的结果。例如，一项研究表明，面部识别算法在识别肤色较深个体时往往表现出更高的错误率。尽管这项研究集中在面部识别上，但同样的原则适用于医疗保健领域，其中用于皮肤病诊断的AI系统在肤色较深的患者身上表现得不够准确。这是因为用于训练这些系统的数据集中包含大量来自肤色较浅个体的图像。此类偏见可能导致误诊或治疗延误，突显了在医疗保健AI应用中使用多样性和代表性训练数据的关键需求。
b. 透明度和可解释性
向个人提供关于医疗决策如何制定、所使用的决策过程以及考虑的因素的信息，对于维持医护人员与患者之间的信任至关重要。理解某些决策背后的理由不仅对确保高质量的医疗服务和患者安全很重要，也有助于促进患者对其治疗的医疗和身体自主权。然而，对于人工智能系统，尤其是生成型人工智能来说，可解释性尤其具有挑战性，因为其“黑箱”性质意味着使用者可能无法准确识别AI系统是如何产生其输出的。希望技术进步，包括最近在神经网络可解释性方面的工作，能够为这一挑战提供实用的解决方案。
为了实现公平、高质量的结果，终端用户（通常是医疗保健专业人员）了解AI系统在其临床工作流程中的预期角色，以及AI系统是替代还是辅助用户决策，这一点非常重要。然而，在某些情况下，人类用户覆盖AI系统的输出可能是不合适的；他们参与工作流程的方式将取决于AI工具的具体用途。例如，如果一个AI系统被训练用于检测皮肤细胞样本中潜在的癌细胞，而该AI系统标记了一个样本为可能的癌症，但医疗保健专业人员不同意，那么将测试升级到二级审查可能比简单地覆盖AI系统的决定更为合适。在这里，假阳性通常比假阴性风险要小。因此，在确定任何人类参与过程的工作流程应如何操作时，采取一个深思熟虑、细致入微的方法是非常重要的。
结论：人工智能在医疗保健领域提供了显著的好处，但也带来了必须应对的法律和伦理挑战。政策制定者、医疗保健专业人员、AI开发者和法律专家之间的合作努力对于建立保护患者权利并促进先进医疗技术公平获取的健全框架至关重要。
贡献者：
David Egan，葛兰素史克全球数字与隐私助理总法律顾问（伦敦）
Jieni Ji，安理国际律师事务所顾问（香港/上海）
(以上内容均由Ai生成)
