信息生命周期管理
信息生命周期管理(ILM )的实施方法探讨
摘要:信息生命周期管理(Information Lifecycle Management)对企业用户而言是一种信息技术战略、是一种理念,而
不仅仅是一个产品或方案。信息化建设中最关键的是数据,数据代表着信息,它可以构成企业的核心竞争力。信息从产生的那一刻起就自然地进入到了一个循环,经过收集、复制、访问、迁移、退出等多个步骤,最终完成一个生命周期,而这个过程必然需要良好管理的配合,如果不能进行很好地规划,结果就会是,要么是浪费了过多的资源;要么是资源不足降低了工作效率。
信息生命周期管理(ILM )的实施方法探讨
引言
信息生命周期管理(Information Lifecycle Management)对企业用户而言是一种信息技术战略、是一种理念,而不仅仅是一个产品或方案。信息化建设中最关键的是数据,数据代表着信息,它可以构成企业的核心竞争力。信息从产生的那一刻起就自然地进入到了一个循环,经过收集、复制、访问、迁移、退出等多个步骤,最终完成一个生命周期,而这个过程必然需要良好管理的配合,如果不能进行很好地规划,结果就会是,要么是浪费了过多的资源;要么是资源不足降低了工作效率。
上图表明了一般情况下,数据引用概率与数据寿命之间的关系,这是理解数据应当如何管理的关键所在。为信息在它的整个生命过程中规划存储和迁移的方案是ILM 的核心内容。
信息生命周期管理最初由StorageTek 首先提出来的,经过EMC 的发展和大力宣传,进入市场化阶段指曰可待。然而我们应当认识到,信息生命周期管理作为一项企业信息化战略,不可能一蹴而就,而是一项相对长期的工作。当代的企业或多或少都已经有自己的信息系统,信息生命周期管理不可避免地要利用和继承企业目前所拥有的技术和体系结构。
EMC 公司的三阶段论
EMC 公司建议客户分三个阶段实施信息生命周期管理:第一步,实施自动网络存储,优化存储基础设施;第二步,提高服务等级,优化信息管理;第三步,实施集成式生命周期管理环境。
第一个阶段,各机构应消除直连存储,逐步将存储完全网络化,然后实现存储环境自动化。以便经济有效地融合和控制存储资源,保证业务连续性。
第二个阶段,服务等级阶段的任务是:在存储网络中建立服务等级层次,然后部署初始信息管理工具,按照企业要求的变化,将信息转移到相应的服务等级层次中。利用这些工具,许多机构都能够按照相关法规的要求,优化其信息管理资源。
前两个阶段是最后实现价值的基础,一般情况下,需要若干年时间才能实现信息生命周期管理的自动化。在这种集成式环境中,客户将能够在整个混合IT 基础设施中贯彻企业战略精神,并在适当的时候从一个控制台为一定的服务等级提供相应的应用。
第三个阶段,借助信息生命周期管理,企业不但能经常自动制定决策,保证按照预定的业务准则和战略,以便在适当的时候,为适当的应用提供适当的信息,还能按照信息价值变化的敏感性实时地进行调整。
这三个阶段使IT 人员能够利用各项新技能和新方法了解自身的信息需求,并随着实际经验的积累提高自动化水平。 ILM 的实施方案--自动化ILM 体系
我们通过分析EMC 提出的自动化ILM 体系,来看看整个ILM 的实施方案。
一、总体结构
图1 自动化ILM 体系
如图1所示,自动化ILM 体系分为三个功能区域:
管理服务
通用服务
自动化模块
每个功能区域都包含很多的具体的服务模块。每个模块都清楚自己在整个自动化ILM 系统内的位置和作用。通过一个称为ILM 知识库的数据库来与其他服务共享基础数据。模块化的设计方式使得用户可以根据需要,自主决定ILM 解决方案的组成。下面我们来讨论这些组成部分以及它们对于整个体系的作用。
二、管理服务
自动化ILM 体系的管理服务提供系统的你知道我想做什么吗?作管理功能。如图2所示,管理服务由四部分组成:应用程序、信息组、存储网络和平台。每层中都包括一组管理服务,每个服务提供一项具体的ILM 流程功能。譬如,LEGATO
网络服务可向信息组层提供备份
/复位服务。
管理服务可以单独安装,也可以与其他的服务组合使用。自动化ILM 框架并不限制使用的具体产品,通过通用标准的使用,自动化ILM 为通用服务和自动化模块提供了公开的接口。这些开放性的接口允许任何的第三方管理服务、用户接口或是业务应用程序可以利用自动化ILM 系统内各部分的功能,并整合它们。为了得到支持,管理服务必须和通用服务层的衔接,并在自动化ILM 知识库中注册名称和服务类型。基础数据用来描述业务应用、信息组以及服务水平协议。举例来说,一个第三方复制产品必须在知识库中注册名称和服务类型,并为信息组提供一个复制
1、应用服务
应用服务负责业务应用程序及其运行的主机环境你知道我想做什么吗?作。该服务包括高度的资产可用性、自动化和监控服务。这些服务通过监控应用程序及其运行环境和自动化恢复与服务流程,从而改进信息存取的可其实我不想说的性。譬如,LEGATO 的自动化可用性管理工具就是一个提供资产可用度保证的服务。这一服务对受控程序提供故障处理和重新启动的功能,从而为用户提供近似连续的应用服务和信息服务。应用服务层通过ILM 知识库中的基础数据进行定义。包括全部自动化ILM 服务可识别的名称和服务水平协议。
2、信息组服务
信息组为某一个应用程序或业务流程相关的所有数据子集提供一个特殊命名的对象。该 名称和信息组的内容将为所有自动化ILM 服务知晓并共享。由于信息组是管理服务经常你知道我想做什么吗?作的对象,它就构成了自动化ILM 环境中
的基本管理单元。举例来说,一个名为OracleInfoSet 的信息组可能包括与Oracle 数据库有关的数据表文件。信息组的名
称和它的文件内容和属性也由自动化ILM 知识库中的基础数据进行定义,信息组提供了每个管理服务所需要的输入信息。举例来说,备份服务会向信息组服务请求获得它所要备份的文件列表。基于信息组的协议,它还决定备份的目的地、频率和保存期间长度。这种配置信息的能力为所有ILM 服务提供了标准化管理的可能。
3、存储网络服务
存储网络服务为物理存储设备与应用程序之间提供了一个管理接口。这些服务构成了一个抽象层,简化并提高了物理存储设备的分配和管理能力。存储网络服务可以对固定存储和移动存储设备进行你知道我想做什么吗?作,并对不同设备类型的细微差别进行调整适应。
图3 存储网络服务结构
固定存储管理
固定存储管理提供磁盘虚拟服务和卷管理服务。磁盘虚拟服务负责将不同类型的硬件设备集中化,形成一个统一的存储池。它通过将底层存储网络的复杂性隐藏起来,从而大大简化了存储管理工作。而卷管理服务则负责对不同存储设备的特征进行平滑处理,为应用程序和文件系统你知道我想做什么吗?作存储设备提供了一个抽象层面,它们使得物理上分散的多个磁盘看上去就象一个完整的存储系统。信息卷是自动化ILM 主要依赖的功能之一。信息卷与传统意义的卷十分相似,只不过它是专门为具体应用的信息组服务并以ILM 服务为最终目的。譬如备份和复制服务正是通过信息卷来完成的。
移动存储管理
移动存储有着自己独有的管理特点。它们包括设备虚拟、设备共享和介质跟踪。存储网络服务的设计就是针对这三项困难的。设备虚拟服务为移动存储设备提供一个通用的接口,该服务为不同的磁带、光盘驱动器以及它们的自动换片装置提供数据通道和控制功能。它也是一个隐藏了不同接口差异和管理的抽象层,从而为信息组服务提供了一套有效利用移动存储资源的管理方法。
由于移动存储设备比较昂贵,而且如果它们仅为特定目标服务(比如归档和备份)的话,就无法得到充分的利用,所以人们总是想方设法要共享这些设备,譬如磁带驱动器和自动换片装置。为了解决这个问题,存储网络层提供一个存储选择服务。这个服务功能负责控制设备的通道,并确定在出现两个以上服务同时请求使用一个共享装置的时候,只有其中一个得到控制权。这使得多个服务共享存储设备成为可能,尽管它们实际上是通过分时执行来实现的。多个服务共享设备做法可以节省大笔购买存储设备的费用并提供每个设备的利用效率。
IT 部门的人员经常为查找一个移动存储介质(磁带和光盘等信息介质)头痛不已,更不用说在该信息的生命周期各阶段实施有效的管理了。问题的关键就在于,当一个磁带或是光盘脱离了驱动器和自动换片装置以后,要继续跟踪它摆放的位置和决定它的保存期限就变得十分困难。正是由于及时找到这些介质很困难,将信息复制移动存储设备的方法很少得到充分使用。而这正是跟踪服务对于ILM 流程的重要性所在。它负责跟踪每个媒体的内容和位置(磁带或光盘) 并记录好每个介质位置移动的过程。这为快速查找和充分利用移动存储设备提供了坚实的基础。跟踪服务同时也为用户提供保存管理,让用户及时了解每个移动介质的可使用期限。期满的媒体能够得到及时处理和再循环利用。通过管理这些介质的合理数量,从而降低了存储成本和费用。同时建立应用程序与移动存储设备之间的索引,大大提高了系统执行的速度。
检测和分配服务
这项服务涉及整个存储网络层的平台你知道我想做什么吗?作,帮助管理整个系统的硬件和软件存储资源。分配服务对从信息卷增加或移走的存储设备提供动态控制,而检测服务则检查当前可用的存储资源,并为可供分配的资源编制目录。这二项服务一起为磁盘虚拟和卷管理提供支持功能。当信息卷需要增加存储空间的时候,分配服务搜寻可用资源并为它分派新的存储空间。而分配服务依赖检测服务为其提供存储网络硬件的信息,包括磁盘驱动器、存储阵列、SAN 、磁带驱动等等网络存储资源。检测到的存储资源由ILM 知识库共享给其余的ILM 服务,从而节省了系统冗余。
浅议DAS 、NAS 、SAN 三种模式
2005-3-21 14:49:00 文/ 出处:厂家技术资料
目前磁盘存储市场上,存储分类(如下表一)根据服务器类型分为:封闭系统的存储和开放系统的存储,封闭系统主要指大型机,AS400等服务器,开放系统指基于包括Windows 、UNIX 、Linux 等操作系统的服务器;开放系统的存储分为:内置存储和外挂存储;开放系统的外挂存储根据连接的方式分为:直连式存储(Direct-Attached Storage,简称DAS )和网络化存储(Fabric-Attached Storage,简称FAS );开放系统的网络化存储根据传输协议又分为:网络接入存储
(Network-Attached Storage,简称NAS )和存储区域网络(Storage Area Network,简称SAN )。由于目前绝大部分用户采用的是开放系统,其外挂存储占有目前磁盘存储市场的70%以上,因此本文主要针对开放系统的外挂存储进行论述说明。
表一:
今天的存储解决方案主要为:直连式存储(DAS )、存储区域网络(SAN )、网络接入存储(NAS )。如下表二:
开放系统的直连式存储(Direct-Attached Storage,简称DAS )已经有近四十年的使用历史,随着用户数据的不断增长,尤其是数百GB 以上时,其在备份、恢复、扩展、灾备等方面的问题变得日益困扰系统管理员。
主要问题和不足为:
直连式存储依赖服务器主机操作系统进行数据的IO 读写和存储维护管理,数据备份和恢复要求占用服务器主机资源(包括CPU 、系统IO 等),数据流需要回流主机再到服务器连接着的磁带机(库),数据备份通常占用服务器主机资源20-30%,因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行,以免影响正常业务系统的运行。直连式存储的数据量越大,备份和恢复的时间就越长,对服务器硬件的依赖性和影响就越大。
直连式存储与服务器主机之间的连接通道通常采用SCSI 连接,带宽为10MB/s、20MB/s、40MB/s、80MB/s等,随着服务器CPU 的处理能力越来越强,存储硬盘空间越来越大,阵列的硬盘数量越来越多,SCSI 通道将会成为IO 瓶颈;服务器主机SCSI ID资源有限,能够建立的SCSI 通道连接有限。
无论直连式存储还是服务器主机的扩展,从一台服务器扩展为多台服务器组成的群集(Cluster),或存储阵列容量的扩展,
都会造成业务系统的停机,从而给企业带来经济损失,对于银行、电信、传媒等行业7×24小时服务的关键业务系统,这是不可接受的。并且直连式存储或服务器主机的升级扩展,只能由原设备厂商提供,往往受原设备厂商限制。
存储区域网络(Storage Area Network,简称SAN )采用光纤通道(Fibre Channel)技术,通过光纤通道交换机连接存储阵列和服务器主机,建立专用于数据存储的区域网络。SAN 经过十多年历史的发展,已经相当成熟,成为业界的事实标准(但各个厂商的光纤交换技术不完全相同,其服务器和SAN 存储有兼容性的要求)。SAN 存储采用的带宽从100MB/s、200MB/s,发展到目前的1Gbps 、2Gbps 。
网络接入存储(Network-Attached Storage,简称NAS )采用网络(TCP/IP、ATM 、FDDI )技术,通过网络交换机连接存储系统和服务器主机,建立专用于数据存储的存储私网。随着IP 网络技术的发展,网络接入存储(NAS )技术发生质的飞跃。早期80年代末到90年代初的10Mbps 带宽,网络接入存储作为文件服务器存储,性能受带宽影响;后来快速以太网(100Mbps )、VLAN 虚网、Trunk(Ethernet Channel) 以太网通道的出现,网络接入存储的读写性能得到改善;1998年千兆以太网(1000Mbps )的出现和投入商用,为网络接入存储(NAS )带来质的变化和市场广泛认可。由于网络接入存储采用TCP/IP网络进行数据交换,TCP/IP是IT 业界的标准协议,不同厂商的产品(服务器、交换机、NAS 存储)只要满足协议标准就能够实现互连互通,无兼容性的要求;并且2002年万兆以太网(10000Mbps )的出现和投入商用,存储网络带宽将大大提高NAS 存储的性能。NAS 需求旺盛已经成为事实。首先NAS 几乎继承了磁盘列阵的所有优点,可以将设备通过标准的网络拓扑结构连接,摆脱了服务器和异构化构架的桎梏;其次,在企业数据量飞速膨胀中,SAN 、大型磁带库、磁盘柜等产品虽然都是很好的存储解决方案,但他们那高贵的身份和复杂的操作是资金和技术实力有限的中小企业无论如何也不能接受的。NAS 正是满足这种需求的产品,在解决足够的存储和扩展空间的同时,还提供极高的性价比。因此,无论是从适用性还是TCO 的角度来说,NAS 自然成为多数企业,尤其是大中小企业的最佳选择。
NAS 与SAN 的分析与比较
针对I/O是整个网络系统效率低下的瓶颈问题,专家们提出了许多种解决办法。其中抓住症结并经过实践检验为最有效
的办法是:将数据从通用的应用服务器中分离出来以简化存储管理。
问题:
图 1
由图1可知原来存在的问题:每个新的应用服务器都要有它自己的存储器。这样造成数据处理复杂,随着应用服务器的不断增加,网络系统效率会急剧下降。
解决办法:
图 2
从图2可看出:将存储器从应用服务器中分离出来,进行集中管理。这就是所说的存储网络(Storage Networks)。
使用存储网络的好处:
统一性:形散神不散,在逻辑上是完全一体的。
实现数据集中管理,因为它们才是企业真正的命脉。
容易扩充,即收缩性很强。
具有容错功能,整个网络无单点故障。
专家们针对这一办法又采取了两种不同的实现手段,即NAS (Network Attached Storage)网络接入存储和SAN(Storage Area Networks)存储区域网络。
NAS :用户通过TCP/IP协议访问数据,采用业界标准文件共享协议如:NFS 、HTTP 、CIFS 实现共享。
SAN :通过专用光纤通道交换机访问数据,采用SCSI 、FC-AL 接口。
什么是NAS 和SAN 的根本不同点?
NAS 和SAN 最本质的不同就是文件管理系统在哪里。如图:
图3
由图3可以看出,SAN 结构中,文件管理系统(FS )还是分别在每一个应用服务器上;而NAS 则是每个应用服务器通过网络共享协议(如:NFS 、CIFS )使用同一个文件管理系统。换句话说:NAS 和SAN 存储系统的区别是NAS 有自己的文件系统管理。
NAS 是将目光集中在应用、用户和文件以及它们共享的数据上。SAN 是将目光集中在磁盘、磁带以及联接它们的可靠的基础结构。将来从桌面系统到数据集中管理到存储设备的全面解决方案将是NAS 加SAN 。