｜目 录｜
前言
一. 人工智能在医疗服务领域的机遇与挑战
(一) 人工智能在医疗服务领域的机遇: 应用场景的全面覆盖
(二) 人工智能在医疗服务中面临的挑战: 介入诊疗的风险与监管
二. 人工智能介入诊疗的路径及其具体应用场景
(一) 诊疗活动的含义
1. 诊疗活动的法律定义
2. 诊疗活动的一般含义
3. 诊疗活动的综合理解
(二) 人工智能介入诊断
1. 医学影像智能辅助诊断
2. 中医经络智能检测
(三) 人工智能介入治疗
1. 临床专病智能辅助决策
2. 医学影像智能辅助治疗
3. 手术智能辅助规划
4. 放射治疗靶区智能辅助勾画
5. 处方前置审核智能辅助(含中药审方)
6. 临床用药智能辅助
7. 患者用药指导智能辅助
8. 手术机器人
9. 针灸推拿机器人
(四) 人工智能介入诊断和治疗
1. 基层全科医生智能辅助决策
2. 中医临床智能辅助诊疗
三. 人工智能介入诊疗的产品风险与监管
(一) 产品风险
1. 医疗器械一般风险
2. 人工智能医疗器械特有风险
(二) 产品监管: 人工智能医疗器械
1. 人工智能的医疗器械管理属性与类别
2. 人工智能医疗器械的软件审查要求
四. 人工智能介入诊疗的行为风险与监管
(一) 行为风险
1. 违规替代医生诊疗
2. 违规自动生成处方
3. 知情同意缺失
4. 违规收费风险
(二) 行为风险的行政监管
1. 诊疗资质监管
2. 诊疗规范监管
结语
2. 人工智能医疗器械的软件审查要求
人工智能医疗器械的特殊监管要求体现在医疗器械的注册审查上, 具体而言是体现在软件审查要求上。本文基于人工智能医疗器械的软件属性, 从生存周期质控, 风险管理开展要求, 重大更新变更注册和网络安全建设与控制四个方面的要求依次梳理其监管框架。
(1) 软件生存周期质控
根据《医疗器械软件注册审查指导原则》, 软件生存周期指软件系统从概念定义至停止使用的时间周期, 包括软件开发策划、软件需求分析、软件设计、软件编码、软件测试、软件发布、软件部署、软件维护、软件停运等阶段。前文所述软件风险中的算法性能和数据质量风险应当在软件生存周期的质控要求中予以考虑。
人工智能算法的类型不同, 根据学习策略可分为有监督学习和无监督学习, 根据学习方法可分为基于模型的算法和基于数据的算法, 根据可解释性可分为白盒算法和黑盒算法。不同算法的特性、适用场景各不相同, 评价重点亦有所侧重, 同时, 不同类型的人工智能算法可组合使用, 需结合各算法特性和算法组合形式进行整体评价。
《人工智能医疗器械注册审查指导原则》以有监督深度学习为例详述人工智能医疗器械生存周期过程质控要求, 并明确其他类型的人工智能算法可参照执行。《深度学习辅助决策医疗器械软件审评要点》把软件设计开发概括为需求分析、数据收集、算法设计、验证与确认等过程, 并规定了深度学习辅助决策软件开发过程的质控要求。随着人工智能在医疗领域应用的深入发展, 医疗细分领域的算法和数据监管要求也将日渐精细化。例如, 2025年初, 国家药监局经公开征求意见和组织专家论证, 确定了《采用脑机接口技术的医疗器械用于人工智能算法的脑电数据集质量要求与评价方法》推荐性医疗器械行业标准制订计划。
(2) 风险管理开展要求
《人工智能医疗器械注册审查指导原则》明确注册申请人应结合人工智能医疗器械的预期用途、使用场景、核心功能开展风险管理活动, 采取风险控制措施将风险降至可接受水平, 并贯穿于人工智能医疗器械全生命周期过程, 形成记录以供体系核查。若发生算法更新、软件更新, 也应将风险管理贯穿于更新全程, 形成记录以供体系核查。具体而言, 风险管理要求包括: (1)明确算法的软件安全性级别(轻微、中等、严重)并详述判定理由。(2)提供算法风险管理资料, 明确过拟合与欠拟合、假阴性与假阳性、数据污染与数据偏倚(如数据扩增)等风险的控制措施。若无单独文档可提供软件风险管理资料, 并注明算法风险管理所在位置。
根据《医疗器械软件注册审查指导原则》的补充, 对于由风险管理所确定的风险等级判定的初始软件安全性级别, 后续可通过外部风险控制措施(含软件措施、硬件措施)降低。另外, 软件组件需与所属医疗器械整体开展风险管理工作。对于医疗器械软件运行环境的组成部分即外部软件环境, 主要为成品软件, 涉及系统软件、通用应用软件、通用中间件、支持软件, 虽非监管对象, 但需从风险管理角度考虑其对医疗器械软件的影响。
另外, 《移动医疗器械注册技术审查指导原则》要求移动医疗设备的风险管理应当综合考虑其等效的传统医疗器械的风险(如电气安全、生物相容性等)以及所用移动计算终端的风险, 移动独立软件的风险管理应当综合考虑传统独立软件的风险以及所用移动计算终端的风险, 控制型移动医疗附件的风险管理应当结合医疗器械产品进行整体考虑, 数据型移动医疗附件的风险管理应当参照移动医疗设备或移动独立软件的情况。患者使用(特别是在家庭环境使用)的移动医疗器械还应考虑使用环节的风险。
(3) 重大更新变更注册
根据《医疗器械软件注册审查指导原则》, 软件更新是指注册申请人在软件生存周期全过程对软件所做的任一修改, 亦称软件变更、软件维护。软件维护通常与软件更新含义相同, 但可特指发布后软件更新。《人工智能医疗器械注册审查指导原则》规定, 人工智能算法更新属于软件更新范畴, 故算法更新也应遵循软件更新的基本原则及要求。
软件更新从不同角度出发有不同分类方法。从更新内容角度可分为增强类更新和纠正类更新(即软件缺陷修复)。增强类更新又可分为完善型更新和适应型更新, 纠正类更新又可分为修正型更新和预防型更新。从更新结果角度可分为重大更新和轻微更新。
重大软件更新指影响到医疗器械安全性或有效性的增强类更新, 即重大增强类软件更新, 应申请变更注册。轻微软件更新指不影响医疗器械安全性与有效性的增强类更新、纠正类更新, 包括轻微增强类软件更新、纠正类软件更新, 通过质量管理体系进行控制, 无需申请变更注册, 待下次变更注册时提交相应注册申报资料。
(4) 网络安全建设与控制
医疗器械网络安全是指保护医疗器械产品自身和相关数据不受未授权活动影响的状态, 其保密性(Confidentiality)、完整性(Integrity)、可得性(Availability)相关风险在全生命周期均处于可接受水平。
《医疗器械网络安全注册审查指导原则》(2022年修订版)旨在指导注册申请人规范医疗器械网络安全生存周期过程和准备医疗器械网络安全注册申报资料, 同时规范医疗器械网络安全的技术审评要求, 为医疗器械软件、质量管理软件的体系核查提供参考。该原则从医疗器械安全有效性评价角度出发, 对信息安全、网络安全、数据安全不做严格区分, 统一采用网络安全进行表述, 即从网络安全角度综合考虑医疗器械的信息安全和数据安全。《深度学习辅助决策医疗器械软件审评要点》规定, 除考虑软件自身网络安全能力建设外, 还应当在软件全生命周期过程中考虑网络与数据安全过程控制要求, 包括上市前设计开发阶段和上市后使用阶段。
综上, 人工智能在诊疗领域的应用产品风险主要通过人工智能医疗器械相关规定加以监管, 其中包括医疗器械分类监管的一般原则和人工智能医疗器械的特殊监管要求。另外, 国务院办公厅于2024年12月发布《国务院办公厅关于全面深化药品医疗器械监管改革促进医药产业高质量发展的意见》, 明确优化医疗器械标准体系, 研究组建人工智能、医用机器人等前沿医疗器械标准化技术组织。[11]未来, 人工智能医疗器械的技术监管将持续走向精细化, 生产者, 经营者与使用者也将面临更大的挑战。
四、人工智能介入诊疗的行为风险与监管
(一) 行为风险
1. 违规替代医生诊疗
人工智能虽在医疗活动中可以充当助手和工具的角色, 如在影像初步筛查环节帮助医生快速定位可疑区域, 或是通过大数据分析为疾病流行趋势提供参考。但在针对患者展开实际的诊断与治疗工作时, 尤其是面对罕见病、复杂疑难病症以及个体差异极为显著的病例时, 人工智能缺乏独立、主动的思考能力, 难以依据患者的独特生活背景、过往病史以及细微的身体变化进行全面综合的判断。倘若将患者的生命健康全然托付给人工智能, 鉴于人工智能目前存在算法性能不稳定、数据质量参差不齐、软件更新不及时以及网络安全漏洞等一系列风险, 这必然会对患者的生命健康安全造成难以估量的威胁。
2. 违规自动生成处方
若人工智能自动生成处方, 使患者的生命健康安全完全交由人工智能, 而由于人工智能尚存在包括但不限于算法性能, 数据质量, 软件更新和网络安全等一系列的风险, 势必对患者生命健康安全造成不可预估的威胁, 也严重违反当下医疗常规。例如若算法若存在偏差, 可能会错误评估药物剂量, 导致患者用药不足影响治疗效果, 或用药过量引发严重不良反应。数据质量欠佳则可能因错误数据的输入, 推荐不适合患者体质或过敏史的药物。
3. 知情同意缺失
若医疗机构将人工智能应用于诊疗活动中, 若未充分向患者告知技术存在的局限性以及数据来源情况, 未能让患者清楚了解其中的诊疗风险, 那么就可能违反知情同意这一重要原则。技术局限性方面, 人工智能可能无法准确解读一些特殊症状背后的深层病因, 而数据来源若涉及多方采集且未经严格筛选, 其准确性和安全性都存疑。此外, 若人工智能辅助诊疗属于特殊检查或特殊治疗项目, 按照规定, 必须取得患者或其近亲属的明确同意。如在一些基因检测结合人工智能分析的诊疗项目中, 涉及患者基因数据等敏感信息, 风险性高且收费也较高, 若未经同意擅自开展, 构成侵犯患者的知情同意权。
4. 违规收费风险
当前, 我国的医保体系尚未明确将人工智能医疗产品纳入报销范围。医保报销有着严格的准入标准, 需考量产品的临床有效性、安全性以及成本效益等多方面因素。若医疗机构违规对这类产品进行收费, 极有可能涉及医疗欺诈行为, 或者违反市场监督管理相关规定。
(二) 行为风险的行政监管
在人工智能的法律主体地位尚未得到普遍认同的当下, 其并不能作为法律意义上的行为主体, 所谓有关人工智能的行为风险, 是指人工智能提供者和使用者的行为带来的法律风险。《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》分别对深度合成和生成式人工智能服务的提供和使用行为提供了规范指引。人工智能在诊疗领域的应用若涉及到以上技术或服务, 自然应当遵守相关规定, 本文重点讨论其在医疗领域的特殊行为需遵守的规范, 即介入诊疗活动的严格监管。
1. 诊疗资质监管
《中华人民共和国医师法》(以下简称《医师法》)规定, 医师经注册后, 可以在医疗卫生机构中按照注册的执业地点、执业类别、执业范围执业, 从事相应的医疗卫生服务。[12]医师是指依法取得医师资格, 经注册在医疗卫生机构中执业的专业医务人员, 包括执业医师和执业助理医师。[13]其次, 《医疗机构管理条例》规定, 任何单位或者个人, 未取得《医疗机构执业许可证》或者未经备案, 不得开展诊疗活动。[14]医疗机构必须按照核准登记或者备案的诊疗科目开展诊疗活动。[15]另外, 《互联网诊疗监管细则(试行)》明确规定, 医师接诊前需进行实名认证, 确保由本人提供诊疗服务。其他人员、人工智能软件等不得冒用、替代医师本人提供诊疗服务。[16]以上规定限制了诊疗活动的主导者只能是取得资质和医疗卫生机构及医师。
如前文所述, 人工智能介入诊疗活动的应用场景日益丰富, 大幅提高了诊疗效率和准确率, 但也引发了人工智能从“工具”到“替代”的忧思。若放任人工智能肆意扩大其在诊疗活动中的影响, 取代医师对疾病作出判断和决策, 患者生命健康权益将受到严重威胁, 故限制人工智能对诊疗活动的介入边界尤为重要, 防止完全依赖人工智能实施独立的诊断或治疗活动。
由于诊疗活动含义的丰富性, 人工智能在其中发挥作用的过程复杂性, 以及科技公司与医疗机构合作模式的多元性, 判断人工智能的提供或使用行为是否构成独立的诊断或治疗活动, 需要根据对诊疗活动的理解, 逐一分析每个环节的行为性质, 并从单独和整体两个维度, 分别判断其是否符合诊疗活动的构成要件。本文以“临床用药智能辅助”这一应用场景为例, 分析从数据采集, 数据分析到药物推荐一系列过程的性质。
就诊断而言, 其核心在于“认知和判断”。单独来看, 单纯的检测以及比对, 行为上采用了检查的医学手段, 但目的只为得到客观的检查数据和比对结果, 不涉及判断过程, 不具有诊断意义。但若继续对客观结果进行医学解读, 作出对患者所患疾病及其病因、部位、性质、功能损害程度等医学判断, 且面向患者提供这一结论, 则构成诊断, 若面向医生提供, 则主导判断的仍然是医生, 作出最终诊断的也是医生。另外, 检查固然是诊断的前提, 但诊断的核心在于判断, 不论是基于外界提供的数据进行判断, 还是基于自己检测得到的数据进行判断, 都不影响诊断行为的成立。整体来看, 只要涉及客观数据的医学解读和判断, 则在此之前的检查属于诊断的前置环节, 将构成诊断的一部分。就治疗而言, 其核心在于“决策和干预”。因此, 若使用人工智能直接面向患者推荐药物, 则取代了医生的决策, 类似于处方行为, 属于治疗, 若面向医生, 医生将对报告结论进行审查, 并主导最终决策, 该报告的目的是提供临床用药指导或建议, 而非治疗。
综上, 我国对诊疗资质采取“单位+个人”的双重监管, 单位须取得《医疗机构执业许可证》, 个人须取得医师执业证书, 否则不得从事医师执业活动。[17]并且, 取得执业证书的医师只能在取得执业许可的医疗机构中按照注册的执业地点、执业类别、执业范围执业, 从事相应的诊疗服务。人工智能介入诊疗活动, 提高效率和准确率的同时, 仍须遵守诊疗资质的相关监管规定, 不得代替医师独立实施诊疗活动, 不得以技术美名掩盖非法行医的实质。
2. 诊疗规范监管
我国对诊疗活动的监管不仅体现在资质要求上, 还落实到了具体诊疗规范中。即便利用人工智能辅助诊疗的医疗机构已经取得执业许可, 仍要保证在人工智能介入诊疗活动的过程中遵守诊疗规范, 不因人工智能的介入导致诊疗质量的下降。
一、遵守诊疗技术规范。《医师法》规定, 医师在执业活动中应遵循临床诊疗指南, 遵守临床技术操作规范和医学伦理规范等。[18]医师应当使用经依法批准或者备案的药品、消毒药剂、医疗器械, 采用合法、合规、科学的诊疗方法。[19]另外, 确保诊疗安全有效、经济合理。《医师法》规定医师应当坚持安全有效、经济合理的用药原则, 遵循药品临床应用指导原则、临床诊疗指南和药品说明书等合理用药。[20]
二、禁止使用人工智能自动生成处方。根据《互联网诊疗监管细则(试行)》明确规定, 医疗机构开展互联网诊疗活动应当严格遵守《处方管理办法》等规定, 加强药品管理。处方应由接诊医师本人开具, 严禁使用人工智能等自动生成处方。[21]以上规定虽然是在互联网诊疗监管细则中得以明确, 但人工智能不得代替医生实施独立诊疗的原则在前文所述的《医师法》、《医疗机构管理条例》等上位法诊疗资质相关条文中皆有体现。2007年施行的《处方管理办法》所称处方是指由注册的执业医师和执业助理医师(以下简称医师)在诊疗活动中为患者开具的、由取得药学专业技术职务任职资格的药学专业技术人员(以下简称药师)审核、调配、核对, 并作为患者用药凭证的医疗文书。[22]《处方管理办法》还规定医疗机构使用未取得处方权的人员、被取消处方权的医师开具处方, 情节严重的, 吊销其《医疗机构执业许可证》; 医师未按照本办法规定开具药品处方, 情节严重的, 吊销其执业证书。以上都呈现了处方权的严格监管, 禁止使用人工智能等自动生成处方。
三、遵从知情同意原则。《医疗机构管理条例》规定医务人员在诊疗活动中应当向患者说明病情和医疗措施。需要实施手术、特殊检查、特殊治疗的, 医务人员应当及时向患者具体说明医疗风险、替代医疗方案等情况, 并取得其明确同意; 不能或者不宜向患者说明的, 应当向患者的近亲属说明, 并取得其明确同意。因抢救生命垂危的患者等紧急情况, 不能取得患者或者其近亲属意见的, 经医疗机构负责人或者授权的负责人批准, 可以立即实施相应的医疗措施。[23]《医疗机构管理条例实施细则》进一步明确, 特殊检查、特殊治疗: 是指具有下列情形之一的诊断、治疗活动: (一)有一定危险性, 可能产生不良后果的检查和治疗; (二)由于患者体质特殊或者病情危笃, 可能对患者产生不良后果和危险的检查和治疗;(三)临床试验性检查和治疗; (四)收费可能对患者造成较大经济负担的检查和治疗。若人工智能辅助诊疗服务项目构成特殊检查或治疗, 医务人员须根据法律规定, 履行告知义务, 取得患者或其近亲属的明确同意。
四、不得违规收费。人工智能对诊疗活动中的介入会增加或降低诊疗成本不能一概而论, 但可以明确的是, 目前国家医保尚未明确纳入任何人工智能医疗产品。例如, 2024年11月《放射检查类医疗服务价格项目立项指南(试行)》发布时, 国家医保局特别注明其中涉及的“人工智能辅助诊断”扩展项不得与主项目同时收费。未来, 人工智能医疗产品是否会像一般药品或医疗服务项目一样纳入医保范围, 有待技术发展和实践检验。当下而言, 应本着安全有效和经济合理的原则, 站在有益于患者健康和减轻经济负担的立场, 理性选择和使用人工智能辅助诊疗。
结语
人工智能技术与医疗服务的深度融合, 正在重塑现代医学的实践范式。本文研究表明, 人工智能介入诊疗活动在提升效率、优化决策的同时, 也因其技术复杂性衍生出产品风险、行为失范等多重挑战。要实现人工智能与医疗服务的良性互动, 必须构建起覆盖产品全生命周期、贯穿诊疗行为全过程的立体化监管体系: 既要依托《医疗器械监督管理条例》的系列配套技术法规强化产品风险管控, 也要通过完善诊疗资质认证、规范诊疗规范来守住行为监管底线。未来, 随着生成式人工智能、脑机接口等技术的加速渗透, 医疗监管需持续强化跨学科协同机制, 既要保持对技术创新的包容审慎态度, 更要坚守保障患者安全的价值立场。唯有通过法律规制、技术治理与伦理规范的协同发力, 才能真正实现人工智能赋能医疗健康的美好愿景, 让科技真正成为守护人民生命健康的可靠力量。
[11] 《国务院办公厅关于全面深化药品医疗器械监管改革促进医药产业高质量发展的意见》(国办发〔2024〕53号)。
[12] 《中华人民共和国医师法》第十四条。
[13] 《中华人民共和国医师法》第二条。
[14] 《医疗机构管理条例》(2022修订)第二十三条。
[15] 《医疗机构管理条例》(2022修订)第二十六条。
[16] 《互联网诊疗监管细则(试行)》第十三条。
[17] 《中华人民共和国医师法》第十三条。
[18] 《中华人民共和国医师法》第二十三条。
[19] 《中华人民共和国医师法》第二十八条。
[20] 《中华人民共和国医师法》第二十九条。
[21] 《互联网诊疗监管细则(试行)》第二十一条。
[22] 《处方管理办法》第二条。
[23] 《医疗机构管理条例》(2022修订)第三十二条。
前言
一. 人工智能在医疗服务领域的机遇与挑战
(一) 人工智能在医疗服务领域的机遇: 应用场景的全面覆盖
(二) 人工智能在医疗服务中面临的挑战: 介入诊疗的风险与监管
二. 人工智能介入诊疗的路径及其具体应用场景
(一) 诊疗活动的含义
1. 诊疗活动的法律定义
2. 诊疗活动的一般含义
3. 诊疗活动的综合理解
(二) 人工智能介入诊断
1. 医学影像智能辅助诊断
2. 中医经络智能检测
(三) 人工智能介入治疗
1. 临床专病智能辅助决策
2. 医学影像智能辅助治疗
3. 手术智能辅助规划
4. 放射治疗靶区智能辅助勾画
5. 处方前置审核智能辅助(含中药审方)
6. 临床用药智能辅助
7. 患者用药指导智能辅助
8. 手术机器人
9. 针灸推拿机器人
(四) 人工智能介入诊断和治疗
1. 基层全科医生智能辅助决策
2. 中医临床智能辅助诊疗
三. 人工智能介入诊疗的产品风险与监管
(一) 产品风险
1. 医疗器械一般风险
2. 人工智能医疗器械特有风险
(二) 产品监管: 人工智能医疗器械
1. 人工智能的医疗器械管理属性与类别
2. 人工智能医疗器械的软件审查要求
四. 人工智能介入诊疗的行为风险与监管
(一) 行为风险
1. 违规替代医生诊疗
2. 违规自动生成处方
3. 知情同意缺失
4. 违规收费风险
(二) 行为风险的行政监管
1. 诊疗资质监管
2. 诊疗规范监管
结语
2. 人工智能医疗器械的软件审查要求
人工智能医疗器械的特殊监管要求体现在医疗器械的注册审查上, 具体而言是体现在软件审查要求上。本文基于人工智能医疗器械的软件属性, 从生存周期质控, 风险管理开展要求, 重大更新变更注册和网络安全建设与控制四个方面的要求依次梳理其监管框架。
(1) 软件生存周期质控
根据《医疗器械软件注册审查指导原则》, 软件生存周期指软件系统从概念定义至停止使用的时间周期, 包括软件开发策划、软件需求分析、软件设计、软件编码、软件测试、软件发布、软件部署、软件维护、软件停运等阶段。前文所述软件风险中的算法性能和数据质量风险应当在软件生存周期的质控要求中予以考虑。
人工智能算法的类型不同, 根据学习策略可分为有监督学习和无监督学习, 根据学习方法可分为基于模型的算法和基于数据的算法, 根据可解释性可分为白盒算法和黑盒算法。不同算法的特性、适用场景各不相同, 评价重点亦有所侧重, 同时, 不同类型的人工智能算法可组合使用, 需结合各算法特性和算法组合形式进行整体评价。
《人工智能医疗器械注册审查指导原则》以有监督深度学习为例详述人工智能医疗器械生存周期过程质控要求, 并明确其他类型的人工智能算法可参照执行。《深度学习辅助决策医疗器械软件审评要点》把软件设计开发概括为需求分析、数据收集、算法设计、验证与确认等过程, 并规定了深度学习辅助决策软件开发过程的质控要求。随着人工智能在医疗领域应用的深入发展, 医疗细分领域的算法和数据监管要求也将日渐精细化。例如, 2025年初, 国家药监局经公开征求意见和组织专家论证, 确定了《采用脑机接口技术的医疗器械用于人工智能算法的脑电数据集质量要求与评价方法》推荐性医疗器械行业标准制订计划。
(2) 风险管理开展要求
《人工智能医疗器械注册审查指导原则》明确注册申请人应结合人工智能医疗器械的预期用途、使用场景、核心功能开展风险管理活动, 采取风险控制措施将风险降至可接受水平, 并贯穿于人工智能医疗器械全生命周期过程, 形成记录以供体系核查。若发生算法更新、软件更新, 也应将风险管理贯穿于更新全程, 形成记录以供体系核查。具体而言, 风险管理要求包括: (1)明确算法的软件安全性级别(轻微、中等、严重)并详述判定理由。(2)提供算法风险管理资料, 明确过拟合与欠拟合、假阴性与假阳性、数据污染与数据偏倚(如数据扩增)等风险的控制措施。若无单独文档可提供软件风险管理资料, 并注明算法风险管理所在位置。
根据《医疗器械软件注册审查指导原则》的补充, 对于由风险管理所确定的风险等级判定的初始软件安全性级别, 后续可通过外部风险控制措施(含软件措施、硬件措施)降低。另外, 软件组件需与所属医疗器械整体开展风险管理工作。对于医疗器械软件运行环境的组成部分即外部软件环境, 主要为成品软件, 涉及系统软件、通用应用软件、通用中间件、支持软件, 虽非监管对象, 但需从风险管理角度考虑其对医疗器械软件的影响。
另外, 《移动医疗器械注册技术审查指导原则》要求移动医疗设备的风险管理应当综合考虑其等效的传统医疗器械的风险(如电气安全、生物相容性等)以及所用移动计算终端的风险, 移动独立软件的风险管理应当综合考虑传统独立软件的风险以及所用移动计算终端的风险, 控制型移动医疗附件的风险管理应当结合医疗器械产品进行整体考虑, 数据型移动医疗附件的风险管理应当参照移动医疗设备或移动独立软件的情况。患者使用(特别是在家庭环境使用)的移动医疗器械还应考虑使用环节的风险。
(3) 重大更新变更注册
根据《医疗器械软件注册审查指导原则》, 软件更新是指注册申请人在软件生存周期全过程对软件所做的任一修改, 亦称软件变更、软件维护。软件维护通常与软件更新含义相同, 但可特指发布后软件更新。《人工智能医疗器械注册审查指导原则》规定, 人工智能算法更新属于软件更新范畴, 故算法更新也应遵循软件更新的基本原则及要求。
软件更新从不同角度出发有不同分类方法。从更新内容角度可分为增强类更新和纠正类更新(即软件缺陷修复)。增强类更新又可分为完善型更新和适应型更新, 纠正类更新又可分为修正型更新和预防型更新。从更新结果角度可分为重大更新和轻微更新。
重大软件更新指影响到医疗器械安全性或有效性的增强类更新, 即重大增强类软件更新, 应申请变更注册。轻微软件更新指不影响医疗器械安全性与有效性的增强类更新、纠正类更新, 包括轻微增强类软件更新、纠正类软件更新, 通过质量管理体系进行控制, 无需申请变更注册, 待下次变更注册时提交相应注册申报资料。
(4) 网络安全建设与控制
医疗器械网络安全是指保护医疗器械产品自身和相关数据不受未授权活动影响的状态, 其保密性(Confidentiality)、完整性(Integrity)、可得性(Availability)相关风险在全生命周期均处于可接受水平。
《医疗器械网络安全注册审查指导原则》(2022年修订版)旨在指导注册申请人规范医疗器械网络安全生存周期过程和准备医疗器械网络安全注册申报资料, 同时规范医疗器械网络安全的技术审评要求, 为医疗器械软件、质量管理软件的体系核查提供参考。该原则从医疗器械安全有效性评价角度出发, 对信息安全、网络安全、数据安全不做严格区分, 统一采用网络安全进行表述, 即从网络安全角度综合考虑医疗器械的信息安全和数据安全。《深度学习辅助决策医疗器械软件审评要点》规定, 除考虑软件自身网络安全能力建设外, 还应当在软件全生命周期过程中考虑网络与数据安全过程控制要求, 包括上市前设计开发阶段和上市后使用阶段。
综上, 人工智能在诊疗领域的应用产品风险主要通过人工智能医疗器械相关规定加以监管, 其中包括医疗器械分类监管的一般原则和人工智能医疗器械的特殊监管要求。另外, 国务院办公厅于2024年12月发布《国务院办公厅关于全面深化药品医疗器械监管改革促进医药产业高质量发展的意见》, 明确优化医疗器械标准体系, 研究组建人工智能、医用机器人等前沿医疗器械标准化技术组织。[11]未来, 人工智能医疗器械的技术监管将持续走向精细化, 生产者, 经营者与使用者也将面临更大的挑战。
四、人工智能介入诊疗的行为风险与监管
(一) 行为风险
1. 违规替代医生诊疗
人工智能虽在医疗活动中可以充当助手和工具的角色, 如在影像初步筛查环节帮助医生快速定位可疑区域, 或是通过大数据分析为疾病流行趋势提供参考。但在针对患者展开实际的诊断与治疗工作时, 尤其是面对罕见病、复杂疑难病症以及个体差异极为显著的病例时, 人工智能缺乏独立、主动的思考能力, 难以依据患者的独特生活背景、过往病史以及细微的身体变化进行全面综合的判断。倘若将患者的生命健康全然托付给人工智能, 鉴于人工智能目前存在算法性能不稳定、数据质量参差不齐、软件更新不及时以及网络安全漏洞等一系列风险, 这必然会对患者的生命健康安全造成难以估量的威胁。
2. 违规自动生成处方
若人工智能自动生成处方, 使患者的生命健康安全完全交由人工智能, 而由于人工智能尚存在包括但不限于算法性能, 数据质量, 软件更新和网络安全等一系列的风险, 势必对患者生命健康安全造成不可预估的威胁, 也严重违反当下医疗常规。例如若算法若存在偏差, 可能会错误评估药物剂量, 导致患者用药不足影响治疗效果, 或用药过量引发严重不良反应。数据质量欠佳则可能因错误数据的输入, 推荐不适合患者体质或过敏史的药物。
3. 知情同意缺失
若医疗机构将人工智能应用于诊疗活动中, 若未充分向患者告知技术存在的局限性以及数据来源情况, 未能让患者清楚了解其中的诊疗风险, 那么就可能违反知情同意这一重要原则。技术局限性方面, 人工智能可能无法准确解读一些特殊症状背后的深层病因, 而数据来源若涉及多方采集且未经严格筛选, 其准确性和安全性都存疑。此外, 若人工智能辅助诊疗属于特殊检查或特殊治疗项目, 按照规定, 必须取得患者或其近亲属的明确同意。如在一些基因检测结合人工智能分析的诊疗项目中, 涉及患者基因数据等敏感信息, 风险性高且收费也较高, 若未经同意擅自开展, 构成侵犯患者的知情同意权。
4. 违规收费风险
当前, 我国的医保体系尚未明确将人工智能医疗产品纳入报销范围。医保报销有着严格的准入标准, 需考量产品的临床有效性、安全性以及成本效益等多方面因素。若医疗机构违规对这类产品进行收费, 极有可能涉及医疗欺诈行为, 或者违反市场监督管理相关规定。
(二) 行为风险的行政监管
在人工智能的法律主体地位尚未得到普遍认同的当下, 其并不能作为法律意义上的行为主体, 所谓有关人工智能的行为风险, 是指人工智能提供者和使用者的行为带来的法律风险。《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》分别对深度合成和生成式人工智能服务的提供和使用行为提供了规范指引。人工智能在诊疗领域的应用若涉及到以上技术或服务, 自然应当遵守相关规定, 本文重点讨论其在医疗领域的特殊行为需遵守的规范, 即介入诊疗活动的严格监管。
1. 诊疗资质监管
《中华人民共和国医师法》(以下简称《医师法》)规定, 医师经注册后, 可以在医疗卫生机构中按照注册的执业地点、执业类别、执业范围执业, 从事相应的医疗卫生服务。[12]医师是指依法取得医师资格, 经注册在医疗卫生机构中执业的专业医务人员, 包括执业医师和执业助理医师。[13]其次, 《医疗机构管理条例》规定, 任何单位或者个人, 未取得《医疗机构执业许可证》或者未经备案, 不得开展诊疗活动。[14]医疗机构必须按照核准登记或者备案的诊疗科目开展诊疗活动。[15]另外, 《互联网诊疗监管细则(试行)》明确规定, 医师接诊前需进行实名认证, 确保由本人提供诊疗服务。其他人员、人工智能软件等不得冒用、替代医师本人提供诊疗服务。[16]以上规定限制了诊疗活动的主导者只能是取得资质和医疗卫生机构及医师。
如前文所述, 人工智能介入诊疗活动的应用场景日益丰富, 大幅提高了诊疗效率和准确率, 但也引发了人工智能从“工具”到“替代”的忧思。若放任人工智能肆意扩大其在诊疗活动中的影响, 取代医师对疾病作出判断和决策, 患者生命健康权益将受到严重威胁, 故限制人工智能对诊疗活动的介入边界尤为重要, 防止完全依赖人工智能实施独立的诊断或治疗活动。
由于诊疗活动含义的丰富性, 人工智能在其中发挥作用的过程复杂性, 以及科技公司与医疗机构合作模式的多元性, 判断人工智能的提供或使用行为是否构成独立的诊断或治疗活动, 需要根据对诊疗活动的理解, 逐一分析每个环节的行为性质, 并从单独和整体两个维度, 分别判断其是否符合诊疗活动的构成要件。本文以“临床用药智能辅助”这一应用场景为例, 分析从数据采集, 数据分析到药物推荐一系列过程的性质。
就诊断而言, 其核心在于“认知和判断”。单独来看, 单纯的检测以及比对, 行为上采用了检查的医学手段, 但目的只为得到客观的检查数据和比对结果, 不涉及判断过程, 不具有诊断意义。但若继续对客观结果进行医学解读, 作出对患者所患疾病及其病因、部位、性质、功能损害程度等医学判断, 且面向患者提供这一结论, 则构成诊断, 若面向医生提供, 则主导判断的仍然是医生, 作出最终诊断的也是医生。另外, 检查固然是诊断的前提, 但诊断的核心在于判断, 不论是基于外界提供的数据进行判断, 还是基于自己检测得到的数据进行判断, 都不影响诊断行为的成立。整体来看, 只要涉及客观数据的医学解读和判断, 则在此之前的检查属于诊断的前置环节, 将构成诊断的一部分。就治疗而言, 其核心在于“决策和干预”。因此, 若使用人工智能直接面向患者推荐药物, 则取代了医生的决策, 类似于处方行为, 属于治疗, 若面向医生, 医生将对报告结论进行审查, 并主导最终决策, 该报告的目的是提供临床用药指导或建议, 而非治疗。
综上, 我国对诊疗资质采取“单位+个人”的双重监管, 单位须取得《医疗机构执业许可证》, 个人须取得医师执业证书, 否则不得从事医师执业活动。[17]并且, 取得执业证书的医师只能在取得执业许可的医疗机构中按照注册的执业地点、执业类别、执业范围执业, 从事相应的诊疗服务。人工智能介入诊疗活动, 提高效率和准确率的同时, 仍须遵守诊疗资质的相关监管规定, 不得代替医师独立实施诊疗活动, 不得以技术美名掩盖非法行医的实质。
2. 诊疗规范监管
我国对诊疗活动的监管不仅体现在资质要求上, 还落实到了具体诊疗规范中。即便利用人工智能辅助诊疗的医疗机构已经取得执业许可, 仍要保证在人工智能介入诊疗活动的过程中遵守诊疗规范, 不因人工智能的介入导致诊疗质量的下降。
一、遵守诊疗技术规范。《医师法》规定, 医师在执业活动中应遵循临床诊疗指南, 遵守临床技术操作规范和医学伦理规范等。[18]医师应当使用经依法批准或者备案的药品、消毒药剂、医疗器械, 采用合法、合规、科学的诊疗方法。[19]另外, 确保诊疗安全有效、经济合理。《医师法》规定医师应当坚持安全有效、经济合理的用药原则, 遵循药品临床应用指导原则、临床诊疗指南和药品说明书等合理用药。[20]
二、禁止使用人工智能自动生成处方。根据《互联网诊疗监管细则(试行)》明确规定, 医疗机构开展互联网诊疗活动应当严格遵守《处方管理办法》等规定, 加强药品管理。处方应由接诊医师本人开具, 严禁使用人工智能等自动生成处方。[21]以上规定虽然是在互联网诊疗监管细则中得以明确, 但人工智能不得代替医生实施独立诊疗的原则在前文所述的《医师法》、《医疗机构管理条例》等上位法诊疗资质相关条文中皆有体现。2007年施行的《处方管理办法》所称处方是指由注册的执业医师和执业助理医师(以下简称医师)在诊疗活动中为患者开具的、由取得药学专业技术职务任职资格的药学专业技术人员(以下简称药师)审核、调配、核对, 并作为患者用药凭证的医疗文书。[22]《处方管理办法》还规定医疗机构使用未取得处方权的人员、被取消处方权的医师开具处方, 情节严重的, 吊销其《医疗机构执业许可证》; 医师未按照本办法规定开具药品处方, 情节严重的, 吊销其执业证书。以上都呈现了处方权的严格监管, 禁止使用人工智能等自动生成处方。
三、遵从知情同意原则。《医疗机构管理条例》规定医务人员在诊疗活动中应当向患者说明病情和医疗措施。需要实施手术、特殊检查、特殊治疗的, 医务人员应当及时向患者具体说明医疗风险、替代医疗方案等情况, 并取得其明确同意; 不能或者不宜向患者说明的, 应当向患者的近亲属说明, 并取得其明确同意。因抢救生命垂危的患者等紧急情况, 不能取得患者或者其近亲属意见的, 经医疗机构负责人或者授权的负责人批准, 可以立即实施相应的医疗措施。[23]《医疗机构管理条例实施细则》进一步明确, 特殊检查、特殊治疗: 是指具有下列情形之一的诊断、治疗活动: (一)有一定危险性, 可能产生不良后果的检查和治疗; (二)由于患者体质特殊或者病情危笃, 可能对患者产生不良后果和危险的检查和治疗;(三)临床试验性检查和治疗; (四)收费可能对患者造成较大经济负担的检查和治疗。若人工智能辅助诊疗服务项目构成特殊检查或治疗, 医务人员须根据法律规定, 履行告知义务, 取得患者或其近亲属的明确同意。
四、不得违规收费。人工智能对诊疗活动中的介入会增加或降低诊疗成本不能一概而论, 但可以明确的是, 目前国家医保尚未明确纳入任何人工智能医疗产品。例如, 2024年11月《放射检查类医疗服务价格项目立项指南(试行)》发布时, 国家医保局特别注明其中涉及的“人工智能辅助诊断”扩展项不得与主项目同时收费。未来, 人工智能医疗产品是否会像一般药品或医疗服务项目一样纳入医保范围, 有待技术发展和实践检验。当下而言, 应本着安全有效和经济合理的原则, 站在有益于患者健康和减轻经济负担的立场, 理性选择和使用人工智能辅助诊疗。
结语
人工智能技术与医疗服务的深度融合, 正在重塑现代医学的实践范式。本文研究表明, 人工智能介入诊疗活动在提升效率、优化决策的同时, 也因其技术复杂性衍生出产品风险、行为失范等多重挑战。要实现人工智能与医疗服务的良性互动, 必须构建起覆盖产品全生命周期、贯穿诊疗行为全过程的立体化监管体系: 既要依托《医疗器械监督管理条例》的系列配套技术法规强化产品风险管控, 也要通过完善诊疗资质认证、规范诊疗规范来守住行为监管底线。未来, 随着生成式人工智能、脑机接口等技术的加速渗透, 医疗监管需持续强化跨学科协同机制, 既要保持对技术创新的包容审慎态度, 更要坚守保障患者安全的价值立场。唯有通过法律规制、技术治理与伦理规范的协同发力, 才能真正实现人工智能赋能医疗健康的美好愿景, 让科技真正成为守护人民生命健康的可靠力量。
[11] 《国务院办公厅关于全面深化药品医疗器械监管改革促进医药产业高质量发展的意见》(国办发〔2024〕53号)。
[12] 《中华人民共和国医师法》第十四条。
[13] 《中华人民共和国医师法》第二条。
[14] 《医疗机构管理条例》(2022修订)第二十三条。
[15] 《医疗机构管理条例》(2022修订)第二十六条。
[16] 《互联网诊疗监管细则(试行)》第十三条。
[17] 《中华人民共和国医师法》第十三条。
[18] 《中华人民共和国医师法》第二十三条。
[19] 《中华人民共和国医师法》第二十八条。
[20] 《中华人民共和国医师法》第二十九条。
[21] 《互联网诊疗监管细则(试行)》第二十一条。
[22] 《处方管理办法》第二条。
[23] 《医疗机构管理条例》(2022修订)第三十二条。