FDA最新工艺验证指南深度解析
药厂与GMP
2010年 第31卷 第4期 8月20日出版 Pharmaceutical & Engineering Design 2010, 31(4)
医 药 工 程 设 计 ··
FDA最新工艺验证指南深度解析
丁恩峰1 高海燕2
(1. 英国施达化学集团公司中国代表处;2. 石药集团恩必普药业有限公司,河北石家庄 050031) 摘要 工艺验证是制药企业实施 GMP 规范的关键问题。一个工艺是否成熟和稳定,是否可以持续生产出符合质量要 求的产品,取决于工艺验证的深度和广度。1987 年,FDA 发布了关于工艺验证的指南文件。FDA 关于工艺验证的 要求和理解深深地影响着世界各国药政当局和制药行业。2008 年 11 月, FDA 再次发布最新的工艺验证指南(草案) , 对工艺验证的概念和要求进行了大幅度地修改和更新。笔者通过查阅 FDA 网站资料, FDA 最新工艺验证指南(草 对 案)进行深度解读和评析,并汇总其他著名制药企业和行业协会关于这个指南地评价意见,有利于对这个指南文件 进行系统研究。 关键词 FDA;工艺验证;GMP;工艺设计;工艺确认;工艺查证;QBD 文献标识码: A 文章编号: 1008-455X(2010) 04-0021-09
中图分类号: R951
Detailed Analysis of Guide to Validation of Newest FDA Process
Ding Enfeng, Gao Haiyan
( 1. Cedar Chemical Group, China Representative Agency Shijiazhuang, 050031; 2. Shijiazhuang Pharma Group NBP Pharmaceutical Co., Ltd Shijiazhuang, 050031 ) Abstract: Process validation is a key in execution of GMP in pharmaceutical enterprise. Whether a process is stable and mature enough and whether qualified products can be produced continuously lie in the scope of the process validation. In 1987, a guide document was issued by FDA. FDA’s requirements and understanding for process validation influence pharmaceutical industry deeply. In November, 2008, a new guide to process validation was issued again by FDA, in which the concepts and requirements of process validation were modified and updated. By consulting the information from FDA net station, in this article, the author analyzed the latest version of the guide of process validation issued by FDA in detail and su mmarized the opinions and evaluations of this guide from a variety of remarkable pharmaceutical enterprises. What presented herein may be referenced in systematical research of this guide document. Keywords: FDA; process validation; GMP; process design; process verification; process consulting; QBD
验证工作是实施 GMP 规范的基础,而工艺验 证又是验证工作中的关键性环节。1987 年,FDA 发布了关于工艺验证的指南文件;FDA 关于工艺验 证的要求和理解深深地影响着世界各国药政当局和 制药行业。2008 年 11 月,FDA 再次发布最新的工 艺验证指南(草案) ,对工艺验证的概念和文件要 求进行了大幅度地修改和更新。毫无疑问,这个指
南文件将对 GMP 实施产生巨大影响,尤其对于以
收稿日期 :2010-05-07 作者简介 :丁恩峰(1974-),男,理科学士、高级工程师,目前 负责规范市场供应商评价和审计工作,以及DMF文件编制、审核和 申报。 Tel :0311-85692040 E-mail :[email protected]
国际市场为主的外向型制药企业,影响也必将是深 远的。 笔者通过查阅 FDA 网站资料,并结合其他著名 制药企业和行业协会对于这个指南的评价意见,对 这个指南文件进行系统的分析和解读。 1 工艺验证指南文件结构 FDA 工艺验证指南全名为《工艺验证:一般原 则和规范》 。指南全文分为 7 部分,依次是:简介、 背景、 工艺验证的法规和法规要求、 建议、 性能确认、 批次的同步放行、文件和分析方法等。 2 工艺验证指南文件解读 为了方便读者阅读,本部分顺序按照 FDA 工艺 验证指南正文顺序进行依次解读和评价,并且采用 了表格形式进行比较。
·· 医 药 工 程 设 计
第一部分:简介
工艺验证指南 原文翻译
2010年 第31卷 第4期 8月20日出版 Pharmaceutical & Engineering Design 2010, 31(4)
I.简介 本指南概括了一般的原则与方法,这些原则与方法是 FDA 认为进行工艺验证的恰当要素,这些工艺被用于生产人用药、动 物用药以及生物制品,包括活性药物成分 (API 或药用物质 ),在本指南中以上统称为药品或产品。本指南整合了一般的原 则和方法,所有的生产企业都可以将这些原则和方法应用于生产工艺的验证。 应该在划线部分后面增加生物技术产品,应用范围和本指南后面描述保持一致。 本指南将工艺验证活动与产品生命周期概念以及现有 FDA 相关指南(这里指得是 Q8、Q9 和 Q10 指南)进行了协调。生命 周期概念将产品与工艺开发、商业生产工艺的确认以及维护工艺在日常商业生产中处于受控状态连结在一起。本指南可促 进现代生产的原则、工艺改进、创新并且形成完善的科学。 无 以下类别的药品在本指南范围之内: • 人用药物 • 兽药 • 生物制品和生物技术产品 • 制剂产品与活性药物成分 (API 或药用物质 )3 • 复合产品 ( 药物和医疗设备 ) 中的药物成分 1 建议从这个指南应用范围删除 API 术语,采用 Q7 的 12.4 部分关于工艺验证的要求;或者将 Q7 引入这个指南,作为一个 支持文件。因为,指南正文和注释 3 里面的解释引用了 Q7 的完整 12 款,和后面第二阶段关于设施设备的验证要求相冲突。 2 建议明确表明:这个指南使用范围限于新化学实体和新生物实体药物。对于已经上市的制剂和 API 而言,如果要求采用这 个指南,实施难度太大。第三阶段建议的持续工艺核实应该通过进行
产品年度质量回顾和提交生产报告来完成。 3 这个指南的应用范围是很随意的,应该修订。例如:人药包括制剂和原料药,而兽药也包括制剂和原料药。 4 如果指南仅仅适用于复合产品中的药物成分,而不是适用于复合产品,那么复合产品制药企业会面临困惑。 本指南不适用于以下类别的产品: • A 型含药产品与含药饲料 • 医疗设备 • 膳食补充剂 • 公共卫生服务法 361 节下的移植用人体组织 什么是 A 型含药产品和含药饲料?在指南正文和注释里面没有发现任何有用的信息,应该给出一个名词术语解释。 本指南没有具体说明哪些信息应包括在药政提交文件中,有兴趣的人士可以参照适当的指南或与适当的中心联系,以确定 哪些信息应包括在提交中。 无 本指南也没有专门讨论自动化工艺控制系统的验证 ( 即计算机硬件和软件界面 ),这些常整合到现代药物生产设备中。当然, 本指南也是与那些在生产中包括自动化设备在内的工艺验证相关的。 1 在这个指南后面的 196 - 198 行段落对自动化系统进行了讨论,这里却说不包括。内容自相矛盾,需要澄清这段描述。 2 随着科学技术的发展,自动化设备和系统在生产工艺中所占比例越来越大。如果这个工艺验证指南不涉及这些问题,会给 制药企业留下新的困惑, 因此, 建议 FDA 在这个指南增加关于自动化工艺验证的详细信息, 或者增加一个附录论述这个话题。
评价意见 工艺验证指南 原文翻译 评价意见
工艺验证指南 原文翻译
评价意见
工艺验证指南 原文翻译
评价意见 工艺验证指南 原文翻译 评价意见 工艺验证指南 原文翻译
评价意见
第二部分:背景
II. 背景 在 1987 年 5 月 11 日的联邦公报 (52 FR 17638) 上,FDA 发布了一个通告,宣布了题为工艺验证的一般原则指南 (1987 年指 南 ) 的问世。自那以来,通过我们的药政监管获得的额外经验,使得我们能够为业界更新我们关于这一议题的推荐建议。本 修订指南传达了 FDA 关于工艺验证的目前思考,并与 1987 年指南最早引入的基本原则相一致。本指南同样提供了能反映 FDA 倡议的“21 世纪制药 cGMP -基于风险的办法”中某些目标的建议,特别是关于在药品生产中使用先进技术,以及实 施现代风险管理和质量管理体系的工具和概念。当最终完成后,本指南将取代 1987 年的指南。 无 FDA 有权力和责任来检查和评估生产厂家所实施的工艺验证。用于药品生产验证的 cGMP 法规要求药品应具有高度保证来 生产以符合其预期拥有的所有属性 ( 见 21CFR211.100(a) 与 211.110(a))。有效的工艺验证为保证产品质量发挥了重大作用。 质量保证的基本原则是药物生
产应符合其预期使用目的;这一原则整合了对下列情况的理解: • 产品质量、安全性和有效性系由设计而得,或融入产品。 • 仅仅对中控和成品进行监控或检测,质量不能得到充分的保证。 • 对每一步的生产工艺进行控制,以确保成品符合所有设计特性与质量属性,包括规格标准。
工艺验证指南 原文翻译
评价意见
工艺验证指南 原文翻译
2010年 第31卷 第4期 8月20日出版 Pharmaceutical & Engineering Design 2010, 31(4)
医 药 工 程 设 计 ··
评价意见
1 建议增加第四款内容: “产品、工艺、设备和设施的设计提供关于患者所承担风险的足够控制” 。因为,这指南大幅度的引 入了 Q9 的风险管理原则,患者利益应该兼顾。 2 建议删除符合所有设计特性,保留符合所有质量属性就够了。 3 对生产工艺的每一步进行控制,这个要求过高。对于 API,仅仅需要控制关键工艺步骤;而对于制剂,控制步骤可以适当 的增加,这样更好的贯穿 Q9 风险管理的原则。 本指南将工艺验证定义为收集并评估从工艺设计阶段一直到生产的数据,用这些数据来确立科学证据,证明该工艺能够始 终如一地生产出优质产品。工艺验证涉及到了在产品生命周期及生产中所发生的一系列活动。本指南将工艺验证活动描述 为三个阶段。 1 建议改为“工艺验证定义为收集并评估从工艺设计阶段一直到生产和商业销售的数据,用这些数据来确立科学证据,证明 该工艺能够始终如一地生产出优质产品。 ”为了和后面提出工艺验证应该覆盖产品生命周期的概念相一致,应该增加商业销 售环节。例如:产品稳定性、裂片、包装完整性,这些问题都可能发生在销售环节。 2 优质产品(quality product)应该准确定义,避免混淆。 3 新的工艺验证的概念确实引入了很多新概念,但是也给制药界传统的观念以很大的挑战。自从 FDA 的 1987 年工艺验证指 南发布以后,其他药政机构发布了很多相关的工艺验证指南。总结而言,工艺验证具备 3 个关键点: ——工艺验证的对象是生产工艺。而在研发阶段,工艺还没有完全形成,还处于摸索和研究中,工艺验证要求的过分向前 延伸给制药界很大的困惑和冲击。 ——工艺验证需要证实工艺符合预先设定的标准和目的用途。而在研发阶段,工艺参数范围还处于变化之中,制药行业同 样对于这一条很难处置。 ——工艺验证需要证实工艺具有一致性。对于研发阶段的工艺,工艺的一致性是根本不可能达到的。 因此,建议这个指南对于第一阶段在工艺验证中的作用进行明确界定,避免引起行业的困惑。 第 1 阶段—工艺设计:在该阶段,基于从开发和放
大试验活动中得到的知识确定工业化生产工艺。 第 2 阶段—工艺确认:在这一阶段,对已经设计的工艺进行确认,证明其能够进行重复性的商业化生产。 第 3 阶段—持续工艺核实:工艺的受控状态在日常生产中得到持续地保证。 1 认为第一阶段属于研发过程,而不属于工艺验证过程。或者说,属于工艺验证的准备阶段,而不属于正式的工艺验证阶段。 2 应该把更多的注意力集中于中试阶段获得知识的使用,而不是集中于设计阶段知识的使用。这是深刻理解研发的人给出的 中肯建议。中试对于工艺的成败和完善,是非常重要的。鉴于人类对于微观世界和宏观世界的认识还是肤浅的,因此,即 使优秀研发专家,也不能确保在工艺设计阶段就可以看穿整个产品生命周期所面临的困难和工艺实施的障碍。因此,中试 对于工艺的完善和工艺验证的成功,至关重要。 本指南描述了每一阶段的典型活动,但在实践中,有些活动在不同的阶段可能会重叠。 这个指南没有提及再验证的概念,这是一个很大的缺陷。事实上,水平再高的研发队伍和药政法规队伍,也不可能确保工艺 验证流程完全按照指南推荐的 3 个阶段按部就班的进行。 工艺的改进、 客户新要求的提出使得工艺验证更加复杂和具有挑战性。 因此,很多活动确实会在不同阶段交叉呈现。这样的活动属于验证的变更处理,还是再验证范畴,指南应该清楚界定。 从某工艺商业化销售给消费者使用前的任何一批,生产企业应该已经获得对该生产工艺性能的高度保证,即它将始终如一 地生产出能满足关于鉴别、含量、质量、纯度和效价属性要求的原料药与制剂产品。这些保证应该从产品小试、中试和 / 或 大生产研究的客观信息和数据中得到。这些信息和数据应该能够证明该商业化生产工艺有能力在其商业生产条件,也包括 那些造成工艺失败的高风险条件下,一贯地生产出可接受的优质产品。 1 我们建议删除“包括那些造成工艺失败的高风险条件下” ,既然确定造成工艺失败的高风险条件是工艺验证的前提条件, 那么这些高风险条件不应该出现在工艺验证的实践中。 一句话,我们实施工艺验证的目的是追求成功,而不是寻找失败。 2 有一个问题应该明确。如果制药企业通过工艺确认证实工艺是稳定的,可以生产出符合质量标准的产品,那么这些工艺确 认过程中生产的产品可以销售吗?这个问题必须明确。 3 必须明确,或者应该给出指导性意见。工艺确认需要多少批次才能符合药政法规的要求。 一个成功的验证程序取决于来自产品与工艺开发的信息与知识,这种知识与理解是建立适合于
生产工艺的某一控制方法的 基础。生产企业应当: • 了解变异来源 • 检测变异是否存在以及发生的程度 • 理解变异对工艺,以及最终对产品属性的影响 • 使用与工艺和产品风险相适应的方法来控制变异 无 每个生产企业应当判断是否已经对此获得了足够的理解,即对其生产工艺提供一个高度保证,从而证明其产品商业化销售 的正当性。没有对生产工艺的理解而仅注重于资质性的成果,不可能带来对质量的充足保证。在工艺建立并确认后,生产 企业必须保证该工艺在其工艺生命周期内处于受控状态,既使是在材料、设备、生产环境、人员和生产工艺变更的条件下。 1 建议修改为“没有对生产工艺的理解而仅注重于工艺和制造系统的资质性的成果,不可能带来对质量的充足保证。 ”修改 目的是为了澄清概念。 2 建议增加名词解释, 应该澄清生命周期对于不同产品的时间范围。 这样, 制药企业才能把我自己需要对生产工艺控制的程度。
工艺验证指南 原文翻译
评价意见
工艺验证指南 原文翻译
评价意见
工艺验证指南 原文翻译
评价意见
工艺验证指南 原文翻译
评价意见
工艺验证指南 原文翻译
评价意见 工艺验证指南 原文翻译
评价意见
·· 医 药 工 程 设 计
2010年 第31卷 第4期 8月20日出版 Pharmaceutical & Engineering Design 2010, 31(4)
第三部分:工艺验证的法规和法规要求
III. 工艺验证的法规和法规要求 药品 ( 制剂与其成分 ) 的工艺验证是食品、 药品与化妆品法之 501(a)(2)(B) 节规定的一个法定的、 强制性的要求, 其规定如下: 某一药品…,如果在其生产、加工、包装或持有中所使用的方法、设施或管理控制不符合 cGMP 要求,或未按照 cGMP 要 求来操作或管理,以便保证药品符合本法规所要求的安全性、鉴别、含量并符合其声称的质量与纯度特性,该药品将被视 为伪劣药品。 FDA 法规描述的 cGMP 即是 21CFR 的 210 与 211 部分。 无 cGMP 的第 210 和 211 部分对工艺验证进行了一般性和特殊性的要求。§211.100(a) 提供了工艺验证的基础,其指出, “应 当有设计的书面的用于生产与工艺控制的程序,用以保证其声称或代表拥有的药品鉴别、含量、质量和纯度”( 重点强调 )。 该法规要求生产企业设计一个能使产品符合这些特质的工艺,包括操作与控制。在工艺验证中产品质量意味着产品性能在 批与批之间、单位与单位之间是一致的。许多产品为单一来源或涉及复杂的生产工艺。验证还提供了另一种保证,即工艺 被适度地保护,远离了可能会影响生产产量的变异性来源,产量的损失可能会造成市场供应问题,进而影响到公众健康。 1
建议改为“在工艺验证中产品质量意味着产品性能在批与批之间、单位与单位之间是均一的。 ”还需要解释一下,单位指 的是生产操作单位,还是制剂单位? 2“许多产品为单一来源或涉及复杂的生产工艺。 ”然而,应该澄清的是相同的要求和原则适用于所有类型的产品,而不仅 仅适用于这种类型的产品。 3 为了避免混淆,产品性能应该清楚定义。 其它的 cGMP 法规界定了验证的不同方面。第 211.110(a) 节中控物料与药品的取样和检测,要求控制程序“…应该建立, 以便监控产品的输出并对有可能造成中控物料与药品特性变异的那些生产工艺的性能进行验证”( 重点强调 )。该法规建立 了这样的要求,既使是精心设计的工艺也必须包括中间工艺控制程序,以保证最终成品的质量。 我们建议这段文字应该重新编辑,因为这段文字很特别,字面意思好像指的是工艺的参数放行。 cGMP 法规要求, 批样品代表的是所分析的批号 ( 参见 §211.160(b)(3)), 取样计划可带来统计上的信心 (§211.165(c) 与 (d)), 即该批符合其预定的规格标准 (§211.165(a))。第 211.110(b) 提供了在建立中控标准时要遵守的两个基本原则,第一项, “中 间物料的规格标准应该与最终产品的规格标准相一致” ,相应地,对中间物料应当进行控制以确保成品能符合其要求的质量。 本法规第二项原则进一步要求中控标准, “应该来自于先前可接受的工艺平均值及可能的工艺变量估计,而且应该用合适的 统计方法进行确定” 。这项要求,部分地确立了生产企业分析工艺性能并控制批与批之间变异的必要性。 1 修改为“这项要求,部分地确立了生产企业分析工艺性能,有必要对中控参数和控制手段进行调整,并进而控制批与批之 间变异的必要性。 ” 2 这段文字更多的强调工艺验证的传统方法,而有些忽略了意图推荐的现代化方法。建议增加现代化控制方法内容。 cGMP 法规中同样描述并定义了与过程设计、开发与维护相关的活动。第 211.180(e) 要求,产品性能与生产经验的资料和数 据要进行定期审核,以确定是否与已经批准的工艺有任何变更。产品性能的持续反馈是工艺维护的本质特点。 无 此外,cGMP 法规还要求生产药品的设施应当有合适的尺寸、材质以及布局以利于适当地操作 (21CFR211.42)。设备必须是 适当的设计,足够的尺寸,并适当地布局以方便其预定的操作用途 (21CFR211.63)。自动化、机械以及电子设备必须根据书 面程序进行校验、检查或核实以便保证其合适的性能。 无 总之,cGMP 法规要求应当对生产工艺进行设计和控制,以确保工艺中间物料与成品满足其预定的质量标准,而且
应当一 贯如此。 尽管指南罗列了很多法规内容,试图证明法规原来就对工艺验证有要求。但是实际上,没有任何一段法规明确提出工艺验 证的概念和明确要求。因此,建议 FDA 在修订 cGMP 时,增加工艺验证相关内容,解决上位法规和下位指南的支撑关系。
工艺验证指南 原文翻译
评价意见
工艺验证指南 原文翻译
评价意见
工艺验证指南 原文翻译 评价意见
工艺验证指南 原文翻译
评价意见
工艺验证指南 原文翻译 评价意见 工艺验证指南 原文翻译 评价意见 工艺验证指南 原文翻译 评价意见
第四部分:建议
工艺验证指南 原文翻译 IV. 建议 A. 工艺验证的一般考虑 在产品生命周期的各个阶段,旨在捕捉科学知识的良好的项目管理与归档将使得工艺验证更加有效和高效率。这些惯例应 确保统一收集并评估有关工艺信息,减少多余信息的收集与分析机会,在后面的产品生命周期里加强利用这些资料。 我们建议删除“减少多余信息的收集与分析机会” ,尽管这对于制造商代表一种商业风险,但是这句话和指南无关。 我们建议以整合团队的方式来进行工艺验证, 其中包括来自于各不同的专门学科的专家, 包括工艺工程、 工业药学、 分析化学、 微生物学、统计学、生产和质量保证。项目计划,以及来自于高级管理层的全力支持,是必不可少的成功要素。
评价意见 工艺验证指南 原文翻译
2010年 第31卷 第4期 8月20日出版 Pharmaceutical & Engineering Design 2010, 31(4)
医 药 工 程 设 计 ··
评价意见 工艺验证指南 原文翻译 评价意见
建议对指南的注释 8 进行拓展,引入 Q9 指南。当分析涉及患者的风险时,也应该有多学科的团队来负责。 在整个产品生命周期中,可以开展各种研究以便发现、观察、联想或确认有关产品和工艺的信息。所有研究应该按照可靠 的科学原则进行策划、实施并妥善记录,并且应当按照在适当的生命周期阶段建立的书面程序进行审批。 无 B. 产品生命周期里工艺验证的阶段与活动 下面的小节描述了建议的阶段与具体活动。 1. 第 1 阶段—工艺设计 a. 建立和捕获工艺知识与理解 工艺设计是定义商业化生产工艺的活动,这个工艺将反映在主生产和控制记录里。这个阶段的目标是设计一个适合于日常 商业化生产的工艺,能够始终如一地生产出满足其关键质量属性的产品。 关键质量属性应该准确定义。推荐采用 Q8R 的定义:关键质量属性是物理、化学、生物或者微生物性质或者特征,这些性 质或者特征必须(直接地或者间接地)被控制来确保产品质量。 一般来说,早期工艺设计实验不需要在 cGMP 条件下进行。当然,应当
按照合理的科学方法和原则,包括良好的文件规范 来实施。 该建议与 ICH 的工业指南 Q10 制药质量体系是一致的。 各种决策以及控制依据应该充分地记录归档并进行内部审核, 以便核实和保存其价值,从而在以后的工艺与产品生命周期里使用。 当然也有例外的情况,例如,清除病毒与杂质的研究会直接影响药物的安全性,应当在 cGMP 条件下进行,即便是小规模 地实施。质量部门应当参与这些研究,如同在典型的商业化生产中一样。 1 我们建议删除这段话,因为 GMP 作为验证活动的参考,对于患者使用的产品生产过程是强制性要求。然而,在工艺验证 中很多产生的物料将不会被用于临床试验,并且某些验证研究是在 GLP 和良好文件规范监管下进行的,而不是在 GMP 监 管下进行的,例如:生物技术产品的病毒清除研究就是这种情况。 在这种情况下,如果过分的将 GMP 引入某些产品的研发阶段,会造成管理范围的混淆。 2 建议修改这段话,因为杂质清除的概念很宽泛。在药品研发的早期阶段,一些工艺设计的活动也用于清除杂质。如果过分 引入 GMP 管理,成本会增加很多。 产品开发活动为设计阶段提供了关键的输入数据,如:预定的剂型、质量属性以及一般的生产途径。从产品开发阶段得到 的工艺信息在工艺设计阶段可以作为杠杆。当然,全部的在商业化生产中典型的输入变量在这个阶段一般是不知道的。应 考虑商业生产设备的功能性和限制性,以及生产中设定的不同成分批号、不同生产操作者、不同环境条件以及不同计量系 统所带来的变异的情况。设计的可代表商业化工艺的小试或中试规模的模型可以用来评估这些变异。当然,对工艺进行开 发和测试直至失败,这不是药政当局的期望,他们更希望工艺能够控制在商业化生产条件下,包括那些可能带来较高风险 工艺失败的组合情况。 1 建议也考虑批量缩小的模式,因为这个模式也可能用于评估工艺操作情况和工艺的耐受性。 2 建议澄清这句话,既然在失败界限的检测不是一个验证当局的要求,然而这句话提到测试“包括使得工艺具有高风险失败 的情况” 。可以看出,指南中的这句话是矛盾的。 设计一个有效的工艺和一个有效的工艺控制方法取决于所获得的工艺知识和理解。实验设计 (DOE) 研究可以帮助开发工艺 知识,它通过揭示相互关系,包括在可变输入 ( 例如:成分 10 特性或工艺参数 ) 与结果输出 ( 例如:中间物料、中间体 或成品 ) 之间多种因素的相互作用来进行。风险分析工具可用于筛选 DOE 研究中的潜在变量,实现以最小化的实验总数来 获取最大化的知识。DOE 研究结