数据分级存储解决方案

数据分级存储解决方案

随着信息化的高度发展和广泛应用，企业对信息的依赖性越来越强的今天，信息已经成为企业的生命源泉——“企业财富”。数据信息的存储是企业面临的最大的挑战，面对成几何级增长的海量数据，传统的存储方式已经不能满足这种快速增长的数据存储需求。如何在竞争激烈的市场下突颖而出，取得更大的市场利益；如何在有效地控制成本的前提下，更有效地防范系统的突发事件，提高信息可靠性、可用性和客观理性已经成为每个企业信息化工作中的关键问题。从而一种兴新的分级存储技术就应运而生了，它能够满足企业存储无限存储的需要，而且部署的成本相对较低。这种存储技术比较适合中等企业的存储需求。

数据迁移分级存储管理

随着计算机技术和网络技术的飞速发展和在各个领域中广泛应用。近几年来其于计算机的数据信息成爆炸性的增长，几乎所有的企业均面临海量数据存储的需要。而在真正要部署一个能无限满足企业数据存储需要的存储解决方案是一项非常专业技术，因为这需要预算企业每天的存储增长的同时还要考虑到存储的可扩展性和可用性。数据迁移分级存储管理技术正是在这样情况下应运而生得。而分级存储管理技术的发展大致经历了两个历程。第一个历程也就是采用最传统人工手动方法进行数据的迁移和调度，具体方法如下：将不常用的数据按照一定的人工策略迁移至其它存储设备，如大容量的磁带库和磁带机中。这种方法对于专业化的网络数据管理来说，具有安全可靠的优点。然而，将数据从非在线设备（大容量磁带库）迁移回到在线设备（硬盘）时，需要有专业网管人士进行操作。第二个阶段就是现在的智能的分级存储管理技术。这种技术是实现计算机系统大容量存储数据的方法之一。它将高速、高容量的非在线存储设备（如大容量磁带库）作为硬盘的下一级设备，然后将硬盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上。当需要使用这些数据时，分级存储系统会自动将这些数据从后级存储设备调回到硬盘上。对于用户来说，上述数据迁移操作完全是透明的。用户可能会感到访问硬盘的速度稍慢一点，但会明显感觉其逻辑硬盘的容量大大提高。相对传统的数据管理模式，这种技术的解决方案所带来的优势是显而易见的。

分级存储的工作原理

对于用户来说，他们总是期望将所有数据都放在硬盘上以便随时待查和调用。然而，由于信息量总是以几何级数快速增长，硬盘容量的增长无法从根本上满足用户对数据容量增长的要求。同时往往有些数据存储的“生命期”较短，也就是说这些数据一旦被产生后，在短时间内就变成老化文件——不被经常地访问，但是它在某些时候又会被访问，只不过是此文件的“命中率”较低。但它被长时间地放置在磁盘上，其实已造成存储资源的大大浪费，特别是在数据成爆炸性增长的信息化时代。然而，分级存储管理技术的出现使得以上

的担忧均能迎刃而解。分级存储管理技术有如下优点：

能满足快速的成几何级增长数据存储需要

大大地降低单位存储成本，增强存储系统利用率

增强系统在灾难状态下的系统抗灾能力

提供磁带虚拟磁盘的存储技术

分级存储的工作原理是：将所有可移动的存储设备，逻辑捆绑在一起进行管理，它将某个逻辑硬盘与磁带库连在一起，并对该逻辑硬盘实行分级存储。

具体操作时，本方案可以提供各种数据迁移策略的选择，如自上次访问以来的最短时间、最短文件长度、文件类型、磁带设备容量与硬盘容量的比例等，条件可有复合的选择，在满足条件的前提下，然后，系统会自动进行迁移操作。转移后的文件被用很小的“占位”文件取代，由该占位文件指向原文件被转移后的新位置。因此该文件对于应用和用户仍是可见的。

一旦系统接收到对被转移文件的请求，它会从最快捷的途径进行检索，以透明的方式恢复该文件。部分文件高速缓存使应用可以立即访问文件中的某一部分；而同时系统则取回整个文件。

当用户需要访问被迁移文件时，系统会将磁带设备上的相应数据调回到硬盘供用户访问。本方案中，文件系统的备份只需写入被转移文件的占位文件即可。同时，您也可以对系统进行配置，使文件在转移时被写入备份系统。这样，您所有的数据都可以随时恢复，而且备份的速度大大提高。

分级存储系统的组成部分

1、数据迁移服务器

数据迁移服务器顾名思义就是负责整个存储网络中数据迁移的服务器。它主要担当整个存储网络中的数据管理员身份，当数据达到某一事先规定的标准时，此服务器便将数据从一级存储设备（磁盘阵列）向下一级存储设备（光盘库和磁带库）复制，并且释放出一级存储设备中的存储空间。同时，此服务器管理所有数据迁移策略的制定和磁带库设备驱动和管理。

2、存储系统

存储系统按照数据操作层次不同可分为：近线存储系统（系统盘、磁盘阵列）和离线存储系统（光盘库和磁带库）。所谓近线存储就是提供实时的数据存储的设备，它必须始终是在线的。而离线存储系统就是它并不需要提供实时的存储服务，只在某一时刻才涉及数据的存储，这种设备所保存的数据可进行离线管理。

3、客户端

其实就是在网络中的一台计算机系统。而这台计算机上有许多数据需要通过数据迁移服务器来完成数据从其本地磁盘复制到数据迁移服务器上，并释放其本地磁盘空间。 分级存储管理软件

保持关键应用系统的高可用性意味着时刻拥有足够的存储空间。应用系统的持续扩展使许多企业面临着新的挑战——IT 人员必须对异构平台间分布的大量存储进行备份、监控和维护。对于高端应用，Sun SAM-FS可以提供Sun 服务器平台上的高效稳固的数据迁移能力，而对于应用更广泛的中低端系统，Veritas Storage Migrator分级存储管理软件可以提供更高性能价格比的选择。

VERITAS Storage Migrator (HSM)可帮助用户保持关键数据的可用性，减少了必须管理和维护的在线存储量。Storage Migrator监控网络服务器上的磁盘容量，在必要时将很少使用的数据转移到二级存储器，如磁带或光盘库中。这样可以节省网络服务器上的磁盘空间，消除存储空间不足的现象。用户和应用可以在任何时候访问被移动的文件，而不用了解文件转移的过程。

产品特性

减少备份时间——可对storage Migrator和VERITAS NetBackup 或

Backup Exec 进行集成，减少备份时间并对关键的数据进行保护。

消除存储空间不足的现象——通过对网络服务器上磁盘空间的监控和磁盘

空间接近饱和时自动将不经常使用的文件转移到二级存储器中，Storage

Migrator 可以消除由于存储空间不足而导致停运的现象。

应用和用户的透明访问——应用和用户在访问某个文件时不必了解文件具

体存放位置，Storage Migrator会自动以透明方式检索被访问文件。

简单灵活的配置——通过对storage Migrator的配置，管理员们的独特要求

可以得到满足：禁止特定文件转移、提前安排检索或设计多层转移策略等。

Storage Migrator是一种简单、经济有效的方案，省去了不断购买新磁盘的必要。由于不必对应用作任何改变，您可以在安装Storage Migrator之后立即享受到自动化磁盘空间管理所带来的优势。该产品同时支持UNIX 和Windows NT服务器，因而可以从一个中央管理控制台方便地管理异构存储环境。Storage Migrator使关键应用可以透明地访问无限数量的存储空间，包括光盘，磁带或数据中心存储设备等。

VERITAS 数据迁移软件优势

无人值守的自动转移——Storage Migrator不断对关键网络服务器的磁盘存储空间进行监控。当磁盘空间达到预定的饱和度（“高水位”）时，storage Migrator开始将不常使用的文件转移到二级存储设备中。转移过程持续进行，直至磁盘的占用率达到预定的下限（“低水位”）为止。这时，磁盘空间已足够使用。如果管理员预计在特定时间内将有大

量新的数据进入，也可手工启动转移过程。转移后的文件被用很小的“占位”文件取代，由该占位文件指向原文件被转移后的新位置。

灵活的配置——Storage Migrator 管理员可以利用大量的参数来确定可转移的文件。例如，管理员可选择不对某种关键的文件类型进行转移。其它转移参数包括最短文件长度和自上次访问以来的最短时间等。

对被转移数据的透明访问——Storage Migrator会在主磁盘上留下一个占位文件。因此该文件对于应用和用户仍是可见的。一旦Storage Migrator接收到对被转移文件的请求，它会从最快捷的途径进行检索，以透明的方式恢复该文件。部分文件高速缓存（目前仅适用于UNIX 系统）使应用可以立即访问文件中的某一部分；而同时Storage Migrator则取回整个文件。

多层次转移——Storage Migrator支持多层次转移。例如，部门可以采用光学存储设备和磁带库来创建两层转移方案。文件首先被转移到光学存储系统中。经过一段时间，如果仍未被访问，或光学存储系统已经饱和，则将其转移到磁带库中进行长期存储。利用这种策略，最旧的、访问次数最少的文件仍可保留，且被存放于最经济有效的介质之中。

与基于大型机的存储进行集成——Storage Migrator系列中的Storage Migrator Remote产品使您可以利用大型机数据中心被集中维护的存储设备，存储从分布式应用中转移的数据。采用这种配置时，Storage Migrator服务器本身不需要任何二级存储设备。

与NetBackup 和Backup Exec集成，实现更快速的备份——不断增加的存储意味着每次备份工作所耗费的时间越来越长。通过减少每次备份时要写入的数据量，Storage Migrator可以帮助您减少备份的时间。如果与VERITAS 的NetBackup 和Backup Exec集成，任何文件系统的备份只需写入被转移文件的占位文件即可。同时，您也可以对Storage Migrator进行配置，使文件在转移时被写入备份系统。这样，您所有的数据都可以随时恢复，而且备份的速度大大提高。

Storage Migrator 系列产品可方便地与任何企业体系结构进行集成。Storage Migrator for UNIX 支持大部分流行的UNIX 平台。Storage Migrator支持多数光盘系统及磁带库，以及基于大型机的数据中心。Storage Migrator Remote for UNIX作为代理使用，可将数据转移到FTP 服务器中。