纸质档案数字化技术规范
ICS01.140.20
A 14
备案号:
DA
中华人民共和国档案行业标准
DA/T 31—ⅹⅹⅹⅹ
替代DA/T 31—2005纸质档案数字化技术规范
specification fordigitization of paper-based records
(征求意见稿)ⅹⅹⅹⅹ-ⅹⅹ-ⅹⅹⅹⅹ 发布 ⅹⅹⅹⅹ-ⅹⅹ-ⅹⅹ 实施国 家 档 案 局 发 布
纸质档案数字化技术规范
本标准规定了纸质档案数字化技术和管理要求。
本标准适用于采用扫描设备对纸质档案的数字化加工处理及数字化成果的管理。
下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件,仅注日期的版本适用于本文件。凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件。
GB/T 2887 计算机场地通用规范
GB/T 12628 硬磁盘驱动器通用规范
GB/T 20530-2006 文献档案资料数字化工作导则
GB/T 26163.1 信息与文献 文件管理过程文件元数据 第1部分 原则
GB/T 26225 信息技术 移动存储 闪存盘通用规范
DA/T 1 档案工作基本数据
DA/T 15 磁性载体档案管理与保护规范
DA/T 18 档案著录规则
DA/T 38 电子文件归档光盘技术要求和应用规范
DA/T XX 档案信息系统运行维护规范
ISO/TR 13028 信息与文献 档案数字化实施指南(Information and Documentation —Implementation guidelines for digitization of records)
GB/T 20530-2006、DA/T 1、DA/T18界定的以及下列术语和定义适用于本文件。
利用计算机技术将模拟信号转换为数字信号的处理过程。
对纸质档案进行数字化加工处理,使其在保持纸质档案内在联系的基础上,转化为存储在磁带、磁盘、光盘等载体上的数字副本,并按照纸质档案的内在联系,建立起与目录数据和元数据的可靠关联的处理过程。
4.1 各单位应统筹规划、科学开展纸质档案数字化工作。
4.2 纸质档案数字化工作的开展应遵循ISO/TR 13028和GB/T20530提出的要求和建议。
4.3 纸质档案数字化应遵循档案管理的客观规律,真实反映档案内容,最大程度地展现档案原貌。
4.4 应加强纸质档案数字化各环节的安全管理,确保纸质档案实体和档案信息的安全。应避免或减少各环节操作对纸质档案实体的破坏,最大程度地维持纸质档案的原貌。
4.5 纸质档案数字化成果包括扫描产生的纸质档案数字副本、存储档案目录数据及数字化过程中捕获的必要元数据的数据库、数字化工作中产生的工作文件、存储载体等。档案目录数据、元数据与纸质档案数字副本之间应建立正确、可靠的关联。
4.6 应采取有效的管理和技术手段,确保纸质档案数字化成果质量。
4.7 加工涉密档案时,应按照涉密档案相关的管理和技术要求开展工作。
纸质档案数字化工作的组织
5.1 机构及人员
5.1.1 应建立完善的纸质档案数字化工作组织架构,以支持对纸质档案数字化工作进行统筹规划、组织实施、协调管理、安全保障、技术保障、监督检查、成果验收等,确保纸质档案数字化工作的顺利开展。
5.1.2 应配备具备相应素质和技术水平的工作人员,并通过科学规范的管理制度对工作人员进行规范化管理。为强化纸质档案数字化工作的安全性,应加强对外聘工作人员的审核。
5.2 基础设施
5.2.1 应配备专用加工场地,加工场地的选择及其温湿度等环境的控制应有利于档案实体的保护。场地应进行合理布局,形成档案存放、数字化前处理、档案著录、档案扫描、图像处理、质量检查等工作区域。场地内应配备可覆盖全部场地的防火、防水、防有害生物、防盗报警、视频监控等安全管理系统。
5.2.2 应合理规划、配备和管理纸质档案数字化设施设备,确保设施设备安全、先进,能够满足纸质档案数字化工作的需要。
5.3 管理制度
5.3.1 应制定科学化、规范化的管理制度,并在数字化工作过程中严格执行,以使纸质档案数字化工作质量和档案安全得以有效保障。
5.3.2 纸质档案数字化管理制度建设应从岗位管理、人员管理、场地管理、设备管理等方面的制度建设进行。岗位管理制度主要规定数字化工作各岗位的目标和职责,形成明确的岗位业务流程规范、考核标准、奖惩办法等;人员管理制度主要对人员的安全保密、日常行为、外聘人员信息审核及管理、非工作人员来访登记等进行规范;场地管理制度主要对工作场地内基础设施及环境、网络、监控设施、现场物品及证件等的管理进行规范;设备管理制度主要对数字化工作各环节涉及的全部设备的管理进行规范,确保设备安全、科学、高效运行。
5.4 工作流程控制
5.4.1 纸质档案数字化包括确定数字化对象与制定总体方案、档案出库、数字化前处理、建立数据库、档案扫描、图像处理、档案入库、数字化成果验收等环节。
5.4.2 应依据相关的法律法规和各类技术标准,制定相关的工作流程和各环节操作规范等,对数字化全过程进行有效的控制,确保数字化成果质量。
5.4.3 应加强对纸质档案数字化工作的全流程安全管理,及时对档案扫描、图像处理等各个环节产生的数据进行备份。
5.4.4 应建立完善的问题反馈机制,对纸质档案数字化工作过程中后端环节发现前端环节中产生的问题进行及时反馈和修正。及时获取数字化成果后续管理和利用过程中的效果反馈,提高数字化工作质量。
5.5 工作文件管理
5.5.1 应针对数字化全过程,建立完善的管理工作文件,以此加强对数字化工作的管理。
5.5.2 纸质档案数字化工作文件主要包括数字化工作方案、档案原件数字化审批书、档案出入库交接单、纸质档案数字化流程单、质量检查情况登记单、数据验收单、项目鉴定验收报告、数字化成果移交清单等,采取委托外部机构实施时,还应包括项目招标文件、投标文件、中标通知书、项目合同、保密协议等。数字化工作各环节应准确、完整地填写工作文件。
5.5.3 应加强对数字化工作文件的管理,明确纸质档案数字化工作过程中形成的工作文件的整理、归档、移交等管理要求。在数字化工作完成的同时建立起完整、规范的记录。
5.6 委托外部实施
5.6.1 纸质档案数字化工作如需委托专业数字化加工企业实施,档案部门应从企业性质、股东组成、安全保密、企业规模、注册资金情况等方面严格审查数字化加工企业的相关资质;按照GB/T 20530-2006第5章的要求考查数字化加工企业的技术能力;从规章制度的建立建全程度等方面考查加工企业的管理能力;遵照政府采购法相关要求确定纸质档案数字化项目承担企业。
5.6.2 在项目实施过程中,档案部门应指派本单位人员参与档案数字化工作委外业务的监督、指导。也可采用第三方监理协助完成质量监控、进度监控、投资监控、安全监控和协调沟通等方面的工作。
5.6.3 建议档案部门自行配备数字化加工设备,若必须使用加工企业的设备,验收时应将设备中的存储部件或整体设备全部验收移交至档案部门。
6 确定数字化对象与制定总体方案
6.1 确定数字化对象
6.1.1 数字化对象的确定应符合国家相关法律法规的规定。
6.1.2 应综合考虑档案的珍贵程度、开放程度、利用率、亟待抢救程度等因素确定纸质档案数字化对象。
6.1.3 应制定并执行科学规范的审批程序,由档案原件法定持有保管单位的法人或授权代表对数字化对象进行审批,并签署纸质档案数字化审批书等凭证性文件,与纸质档案数字化工作过程中形成的其他文件一并保存。
6.2 制定总体方案
6.2.1 应在充分调研的基础上,制定科学合理的总体方案,确保纸质档案数字化工作达到预期目标。
6.2.2 纸质档案数字化总体方案的制定应综合考虑数字化目的、档案状况、设备情况、费用情况等,做出合理规划。
6.2.3 纸质档案数字化总体方案应包括工作目标、工作内容、成本核算、数字化技术方法和主要技术指标、验收依据、人员安排、责任分工、进度安排、安全管理措施等内容。
6.2.4 重大纸质档案数字化项目,或有条件的情况下,应对总体方案进行专家论证,确保其科学、规范、合理。
6.2.5 纸质档案数字化总体方案应经相关领导审批后严格执行。
应严格按照档案库房管理规定为数字化对象办理出库相关手续,清点无误后出库,进行纸质档案数字化工作。
8.1 确定扫描范围
纸质档案数字化工作应特别注意保持纸质档案数字副本的完整性,原则上应将确定为数字化对象的纸质档案全部扫描,不宜进行挑扫。
8.2 档案整编
8.2.1 编制页号
8.2.1.1 应对没有页号或页号不正确的档案重新编制页号。
8.2.1.2 应在统一位置书写页号,且不压盖档案内容。页号应从“1”开始连续编制。
8.2.1.3 书写页号所使用的笔、墨等不应破坏档案原件或对档案长期保存造成影响。
8.2.1.4 应将破损页面、缺页等特殊情况进行登记。
8.2.2 拆除装订
如果纸质档案装订物影响扫描工作进行,且装订拆除后可复原的档案,可拆除装订物进行数字化。拆除装订物时应注意保护档案不受损害。对排列顺序不准确的档案应进行重排。
8.2.3 规范目录
8.2.3.1 纸质档案数字化过程中,应进一步完善档案原件的排列、编目等工作。
8.2.3.2 应按照纸质档案基本整理单位对档案进行精确划分,同时,对照档案原件对目录内容进行修改、补充,并在后续工作中采集入数据库中。对每个基本整理单位的档案中,需要在利用过程中特别处理的页面,在目录中进行标识,并在后续工作中采集入数据库中,以便在利用时进行有针对性地处理。
技术修复
破损严重、无法直接进行扫描的档案,应先由专业技术人员采用科学的技术方法进行技术修复。折皱不平影响扫描质量的原件应先进行压平或熨平等相应处理。平整页面时不得破坏档案原件固有形态,不得强行撕破档案页面。
建立数据库
9.1 档案目录数据与纸质档案数字化过程及后期数字化成果管理工作中形成的元数据均应存入数据库。数据库结构的设计应特别注意保持档案的有机联系,有利于数字化成果的管理和利用。
9.2 按照DA/T 18的要求确定档案目录数据的著录项。
9.3 将纸质档案数字化前处理工作中对纸质档案目录进行修改、补充的结果录入数据库,形成准确、完整的目录数据。
9.4 纸质档案数字化过程及后期数字化成果管理工作中,应捕获必要的元数据,用以记录数字化项目信息、数字图像生成环境、数字化各类技术参数及数字化成果管理、利用情况等。数字化过程中需采集的元数据参见附录A。
9.5 应按照GB/T 26163.1提出的原则进行纸质档案数字化元数据的建立、捕获、存储、描述、维护、利用,以及方针、策略和方法的制定。
9.6 应采用计算机自动校对与人工校对相结合的方式,对目录数据和元数据的质量进行检查,包括著录项目的完整性、著录内容的规范性、准确性,元数据元素的完整性和赋值规范性等。发现不合格的数据应及时进行修改。
档案扫描
.1 基本要求
10.1.1 档案扫描应根据纸质档案原件实际情况、数字化目的、设备情况等选择相应的扫描方式,进行相关参数的设置和调整。参数的设置和调整应保证图像不失真,效果最接近档案原件。
10.1.2 纸质档案数字化参数的选择,应考虑到数字化后续进行COM输出、OCR识别、出版、仿真复制等利用时的要求。
10.1.3 应定期对扫描仪和显示器等设备作色彩管理,以尽量避免色彩偏差,使扫描图像色彩接近档案原件色彩。
10.1.4 为保证扫描图像质量,应使扫描仪保持正常的工作状态,每次开启扫描仪后,宜进行预热,再正式进行扫描。
.2 扫描方式
10.2.1 扫描方式的选择应特别注意对档案实体的保护,原则上应采用平板扫描仪等对档案实体破坏性小的扫描设备进行数字化。
10.2.2 根据档案幅面的大小选择相应规格的扫描仪进行扫描。超出所使用扫描仪扫描尺寸的档案可采用更大幅面扫描仪进行扫描,也可以采用小幅面扫描仪分幅扫描后进行图像拼接的方式处理。分幅扫描时,相邻图像之间应留有足够的重叠,若后期采用软件自动拼接的方式,重叠尺寸建议不小于原件的1/3。
10.3 扫描色彩模式
10.3.1 扫描色彩模式的选择,应综合考虑档案原件情况、档案数字化规模、计算机网络条件、存储条件、利用目的等多种因素选择扫描色彩模式。
10.3.2 为最大限度保留档案原件信息,利于多种方式的利用,宜全部采用彩色模式进行扫描。永久保存的档案应全部采用彩色模式进行扫描。页面中有红头、印章或插有照片、彩色插图、多色彩文字等的档案,应采用彩色模式进行扫描。
10.3.3 页面为黑白两色,并且字迹清晰、不带插图的档案,也可采用黑白二值模式进行扫描。
10.3.4 或页面为黑白两色,但字迹清晰度差或带有插图的档案,也可采用灰度模式扫描。
10.3.5 同一份档案对应的档案页面,宜采用相同的色彩模式进行扫描。
10.4 扫描分辨率
10.4.1 扫描分辨率的选择,应保证扫描后图像清晰、完整,并综合考虑档案数字副本的保管期限、利用方式等因素。
10.4.2 扫描分辨率应不小于200dpi。综合考虑信息技术的不断发展,为最大限度地采集档案信息,满足后续多种利用目的的需要,扫描分辨率建议不小于300dpi。如文字偏小、密集、清晰度较差时,应适当提高分辨率。如有仿真、印刷、出版等其他用途时,可根据需要调整分辨率。
10.5 存储格式
10.5.1 纸质档案数字化副本应存储为无损压缩TIFF格式。根据需要,可再存储一份JPEG、JPEG2000、PDF等格式的数字副本,压缩率的选择可根据实际应用的需求而定。
10.5.2 纸质档案数字化副本提供网络查询时,也可从网络浏览速度、易操作性、存储空间占用等方面进行综合考虑,将图像转换为其他格式。
.6 图像文件命名
10.6.1 图像文件命名方式的选择应遵循如下原则:
a) 应依据档号为图像文件命名;
b) 应确保纸质档案数字化成果管理系统中数字图像命名的唯一性;
c) 应支持对同一份档案中不同稿本、附件等的区分。
10.6.2 扫描后的图像存储为单页文件时,可按档号与图像流水号的组合对图像文件命名。若同一份档案存在不同稿本,可按档号、稿本代码、图像流水号等的组合对图像文件命名。
10.6.3 扫描后的图像存储为多页文件时,可采用该档案的档号对图像文件命名。若存在不同稿本,可按档号、稿本代码等的组合对图像文件命名。
10.6.4 应科学建立纸质档案数字副本的存储路径,确保数据挂接的准确性。
图像处理
.1 图像拼接
对大幅面档案进行分幅扫描形成的多幅图像,应进行拼接处理,合并为一个完整的图像,以保证档案数字图像的整体性。拼接时应确保拼接处平滑地融合,拼接后整幅图像无明显拼接痕迹。应采用有效的技术手段,提示后续检查时对拼接部位进行重点查看。
11.2 旋转及纠偏
对方向不符合阅读方向的图像应进行旋转还原。对出现偏斜的图像应进行纠偏处理。
.3 裁边
如需对数字图像进行裁边处理,应在距页边最外延至少2至3毫米处裁剪数字图像,不得裁掉纸质档案原有页边,包括破损、歪斜页边。
.4 去污
如需对数字图像进行去污处理,以去除在扫描过程中产生的污点、污线、黑边等影响图像质量的杂质,处理过程中应严格遵循展现档案原貌的原则,不得去除档案页面原有的纸张褪变斑点、水渍、污点、装订孔等。
.5 图像质量检查
11.5.1 图像不完整、无法清晰识别或图像失真时,应重新扫描。
11.5.2 对于漏扫、重扫、多扫等情况,应及时改正。
11.5.3 扫描图像的排列顺序与档案原件不一致时,应及时进行调整。
11.5.4 对图像拼接、旋转及纠偏、裁边、去污等处理情况进行检查。发现不符合图像质量要求时,应重新进行图像处理。
2 数据挂接
12.1 应借助相关软件对数据库中的目录数据、元数据与纸质档案数字副本进行挂接,以实现目录数据、元数据与其对应纸质档案数字副本的关联。
2 逐条对挂接结果进行检查,包括目录信息、元数据与纸质档案数字副本对应的准确性、已挂接图像文件与实际扫描数量的一致性、图像文件是否能正常打开等。发现错误及时进行纠正。
13 档案入库
13.1 恢复装订
数字化工作完成后,拆除过装订物的档案应按档案保管的要求重新装订。恢复装订时,应注意保持档案原貌,做到安全、准确、无遗漏。
13.2 档案入库
按照档案入库相关要求对纸质档案进行处理和验收,并履行档案入库手续。
数字化成果验收
4.1 验收方式与验收指标
14.1.1 建议档案部门成立专业的数字化成果验收组对数字化成果进行验收。
14.1.2 应采用计算机自动检验与人工检验相结合的方式对纸质档案数字化成果进行验收检验。能够采用计算机自动检验的项目应采用计算机自动检验的方式进行100%检验,检验合格率应为100%。对于无法用计算机自动检验的项目,可采用抽检的方式进行人工检验。抽检比率不得低于5%,抽检合格率应为100%。
4.2 验收内容
应对目录数据与元数据进行验收,主要包括数据库中各条目的内容、格式等的准确程度、必填项是否填写等。
应对图像文件进行验收,主要包括数字化参数、存储路径、命名的准确性、数字副本的完整性、排列顺序的准确性、图像的清晰度、图像处理的精确程度等。
应对数据挂接进行验收,主要包括目录数据与数字副本的挂接的准确性等。
应对工作文件进行验收,主要包括《纸质档案数字化流程单》等数字化工作过程中形成的工作文件的完整性等。
应对存储载体进行验收,主要包括载体的可用性、有无病毒等。
4.3 验收结论
14.3.1 每批纸质档案数字化质量检验达到本标准14.1和14.2的要求,予以验收“通过”。验收未通过应视情况进行返工或修改后,重新进行验收。
14.3.2 验收完成后须经验收组成员签字。验收“通过”的结论,必须经验收组长审核、签字后方有效。
5 数据存储
存储范围
验收合格的完整数据应及时进行存储,包括纸质档案数字副本、存储目录数据与元数据的数据库、纸质档案数字化工作过程中产生的各种工作文件等。
5.2 存储载体及存储方式
15.2.1 存储载体的选择应考虑载体存储容量、数字化成果存储目的、保管期限、经费情况、载体市场环境、载体生产厂商提供服务的能力等方面的因素。存储载体的选择可多样化。
15.2.2 可采用在线、近线、离线相结合的方式在磁盘、磁带、光盘等载体上实现多套存储,并按有关要求进行异地备份。
5.3 存储记录
数据存储后,应及时进行存储记录。同时,应在相应的存储载体上做好标签,并列出目录,以便查找和管理。
数字化成果管理
16.1 基本要求
16.1.1 应加强对纸质档案数字化成果的管理,记录数字化成果的管理和使用情况,及时获取和补充数据管理过程中的元数据,并采取有效的技术手段,确保数据不被非法改动,确保其安全、完整和长期可用。
16.1.2 应建立有效、可操作性强的存储载体与存储设备维护规范,对状态检测、预防性检查、常规性作业等提出具体要求。
16.2 环境要求
纸质档案数字化成果存储硬件设备和系统的机房环境应符合GB/T 2887的规定。不同类型存储载体保存与工作环境应符合下列规范要求:
a) 光盘保存和工作环境要求见DA/T 38;
b) 磁带保存和工作环境要求见DA/T 15;
c) 硬磁盘保存和工作环境要求见GB/T 12628;
d) 闪存盘保存和工作环境要求见GB/T 26225。
16.3 数字化成果检验及处理
16.3.1 应定期对数据内容进行检验。主要采用计算机自动检验的方式,对图像文件正常读取等进行检验,确保存储数据完整、可用。及时对出现问题的数据所在的载体及其同批次载体进行更新。
16.3.2 离线存储的载体每年至少联机检测一次。如发现载体或出现问题,及时对数据进行复制、迁移。每年使用专用机器对离线存储的磁性载体进行不少于2小时的稳压、稳频加电维护。
16.3.3 应综合运用介质更新、数据迁移等有效的技术手段,防止因载体老化等原因造成的数据损毁。
16.4 数字化成果管理系统运行维护
16.4.1 应针对纸质档案数字化成果管理系统进行运行维护工作,确保成果管理系统安全、持续、可靠的运行,以提高工作效率和质量,使其更好地服务于档案信息管理工作。
16.4.2 纸质档案数字化成果管理系统运行维护工作筹备、策划、实施、检查和改进等方面的要求见DA/T XX。
附录A
纸质档案数字化建议采集的元数据项
(资料性附录)
表A.1提出了纸质档案数字化过程中需采集的基本的元数据项,实际工作中,各单位可在此基础上根据需要进行扩充与完善。
表A.1纸质档案数字化建议采集的基本元数据项
序号
元数据项
元数据描述
1
数字化时间
记录纸质档案数字化的起止时间
2
数字化对象描述
记录需要特别说明的案卷物理特征等信息。
3
数字化授权信息
记录纸质档案数字化审批信息等
4
色彩空间
记录扫描图像所应用的色彩空间
5
扫描分辨率
记录扫描分辨率
6
扫描色彩模式
记录扫描色彩模式
7
存储格式名称
记录扫描数字图像存储格式的名称
8
格式版本
记录扫描数字图像存储格式的版本
9
存储路径
记录纸质档案数字副本的存储相对路径
10
扫描设备类型
记录纸质档案数字化所用扫描设备的类型
11
扫描设备制造商
记录纸质档案数字化所用扫描设备的制造商
12
扫描设备型号
记录纸质档案数字化所用扫描设备的型号
13
数字化软件名称
记录纸质档案数字化所用软件的名称
14
数字化软件版本
记录纸质档案数字化所用软件的版本
15
数字化软件生产商
记录纸质档案数字化所用软件的生产商
16
阅读所需软硬件条件
记录纸质档案数字副本阅读所需的软硬件条件
17
数字化成果移交接收信息
记录纸质档案数字化成果的移交接收信息