_大数据_时代决策支持系统新发展 (1)
StrategiesDiscussed·策略探讨
“大数据”时代决策支持系统新发展
叶
明
1
谷晨霞
2
(1.国网能源研究院
【摘
北京100052;2北京交通大学经济管理学院北京100044)
分析“大数据”带来的变革及对决策支持系统要】本文在对决策支持系统发展现状及瓶颈进行总结的基础上,
的积极影响,从系统定位、决策模式、数据处理、信息检索、系统安全等五个方面对“大数据”时代决策支持系统发展趋势进行了展望。
决策支持系统;信息检索;非结构化数据【关键词】大数据;
TheNewDevelopingTrendsofDSSundertheBigDataEra
Ye Ming 1Gu Chen-xia 2
(1.State Grid Energy Research Institute Beijing 100052;
2.School of Economics and Management ,BeiJingJiaoTong, University Beijing 100044)
【Abstract】BasedonthesummaryofbottlenecksduringtheprocessofDSSdevelopment,thisresearchmainlyanalyzestherevolutionbroughtby“BigData”andthepositiveeffectithasmadeonDSS,andthenpredictsthefutureoftheDSSin“BigData”ageintheaspectsofsystemorientation,decisionmodel,dataprocessing,informationretrievalandsystemsecurity.
【Keywords】bigdata;decisionmakingsystem;informationretrieval;unstructureddata
1引言
继云计算、物联网成为引领信息化升级热点之后,“大数据”(Big Data )以及与“大数据”相关的研究、产品及应用渐渐步入了人们的视野。决策支持系统(Decision Support System, DSS )结构化、非结构化混合的基础数据特征与“大数据”特征高度吻合。“大数据”技术的深化研究和应用,必将为企业决策支持系统建设和应用带来新的发展动力和更为广阔的发展空间。
2.1数值计算语言与数据库语言存在异构障碍
目前, 计算机语言的支持能力还相当有限, 数值计算语言(如Fortran 、Pascal 、C 等) 不支持对数据库的操作, 数据库语言(如FoxPro 、Oracle 、Sybase 等) 的数值计算能力又很薄弱,而决策支持系统既要进行数值计算又要进行数据库操作。这个问题一直是决策支持系统发展的技术障碍, 成为决策支持系统发展缓慢的主要原因。
2.2多样化数据在转换与处理上存在困难
在运用决策支持系统的数据库、方法库、模型库、知识库进行辅助决策之前,首先需要对来自不同数据源的数据进行转换与清理(ETL )。面对决策支持系统多样化的数据来源,数据清理过程存在数据属性难以统一、规范,冗余数据、错误数据和异常数据难以快速辨识并消除等困难。
2决策支持系统及发展瓶颈
决策支持系统是指建立在数据库、模型库、知识库、方法库基础上,以人机交互方式辅助决策者进行半结构化决策的计算机应用系统。
决策支持系统概念自20世纪70年代提出到现在四十年来,虽然在零售、金融、医疗、军事等行业和领域均有一些单项应用案例,但在企业中并未大范围普及,主要原因是存在一些技术上的瓶颈。
·6·2013年8月·信息安全与技术
2.3传统数据库技术对存储能力及存储方式有限制
目前成熟的经典数据库技术结构化数据查询语言(SQL ),在设计的一开始是没有考虑非结构化数据的,
也就是说以前计算机人员讨论数据的时候,数据的范围限定在结构化数据范畴以内。除此之外,传统的数据库部署不能处理TB 级的数据,也不能很好地支持高级别的数据分析。
2.4缺乏数据专家和领域专家复合型人才
领域专家为决策支持系统提供知识和经验,数据专家则可进行基于数据逻辑与关联关系的分析与判断。兼具数据专家和领域专家技能的复合型人才的缺乏,使决策支持系统的效用大打折扣,也是决策支持系统的应用发展缓慢的一个重要原因。
3“大数据”
及其带来的主要变革目前,业界将“大数据”的特点归纳为四个“V ”:一是数据体量巨大(Volume );二是数据类型繁多(Variety );三是价值密度低(Value );四是实时处理要求高(Velocity )。
进入“大数据”时代,从数据特点、技术产品与应用等方面都面临着新的变革。
3.1数据呈现出体量大、
类型多、电子化的特点一是数据量级从TB 级到PB 级、ZB 级;二是数据类型从结构化数据,拓展到文本、音频、视频、图片、地理位置、Web 页面、微博、及时通讯等其他半结构化与非结构化的数据;三是电子数据占比迅速提高。根据中国互联网络信息中心(CNNIC )统计数据显示,截至2012年
12月中国网络购物用户规模达2.42亿人,网络购物使
用率提升至42.9%。
3.2数据行业新技术、新产品不断涌现
数据”存储、分析与管理开源软件Hadoop[1]得到持续应用和发展。多家“大数据”行业巨头,针对大数据的发展在2011年—2012年间亦推出了创新技术和产品,包括易安信公司的DCA 、IBM 的BigInsights 与
Streams 、甲骨文的Exadata 与Exalogic 等新产品。
3.3企业应用
“大数据”技术进行深层次价值挖掘从国际上看,亚马逊(Amazon )、谷歌(Google )和脸谱(Facebook )走到了“大数据”应用的前列,已开始使用“大数据”的分析结果进行客户管理和市场营销。在国内,马云利用阿里巴巴“大数据”中询盘指数和成交指数的强相关性成功预测2008年金融危机、利用及时更新的淘宝“CPI ”预测通货膨胀。
4“大数据”时代决策支持系统发展趋势
“大数据”时代的数据技术革为决策支持系统带来
策略探讨·StrategiesDiscussed
了发展机遇,决策支持系统在系统定位、决策模式、数据处理、信息检索、系统安全等方面形成了新的发展趋势。
4.1单项决策支持系统向企业级决策支持系统转变
企业级的决策支持系统,相较单项决策支持系统,对全局性事项预测的实时性与准确性要求更高。在“大数据”时代,可通过对全方位、结构化、非结构化实时数据和历史数据,特别是隐藏于表象数据之后行为特征数据的在线收集和即时分析,为决策者进行企业级、全局性决策提供支持。
4.2群体决策、社会化决策应用更普遍
在“大数据”时代,随着移动互联网络、社交网络的发展,决策支持系统将向群体决策、社会化决策的方向发展。主要表现在:一方面,决策者可以邀请异地不同业务领域专家登录系统参与复杂问题的决策过程;另一方面,针对某一特定事项的网络投票统计数据、电子商务网站统计数据、搜索引擎统计数据等多时空、群体性行为分析和结论,将成为定性决策的重要参考依据。
4.3数据质量受到更多关注,
数据分析功能更强大在“大数据”时代,决策支持系统基础数据不仅包括结构化数据,还包括图形、声音、图像、地理位置等非结构化数据。面对价值密度低的“大数据”,对于决策支持系统来说最大的挑战就是如何提高数据质量、创新分析方法,从“大数据”中挖掘出真正有价值的信息和知识。与“大数据”处理相关商业智能、数据挖掘、可视化分析平台的应用和内存分析技术的进步,都将助力这些问题的解决。
4.4信息检索工具功能更强大、
智能化程度更高在“大数据”时代,要从海量、纷繁复杂的数据中快速找到决策者关注的信息,必须借助功能强大、智能化的信息检索工具。搜索引擎技术、超文本全文检索技术、多媒体检索技术和人工智能技术将进一步整合,基于用户检索行为分析而提供的人性化信息检索服务与信息推送,将大幅提高信息检索的效率,提高信息检索的查全率和查准率。
4.5系统安全问题上升到战略高度
“大数据”时代决策支持系统存储、加工、处理和展示着全局性、全方位信息,系统数据一旦外泄被竞争对手利用,对企业的打击将是毁灭性的,这些都要求高度重视决策支持系统的安全问题。同时,“大数据”引发了计算机行业的重新整合,应用软件实现泛互联化,越靠近终端用户的公司,在产业链上拥有更大的发言权。这
信息安全与技术·2013年8月·7·
StrategiesDiscussed·策略探讨
也要求从国家安全、企业安全的战略高度出发,建立自有数据中心,培育和发展本土实施咨询及数据服务提供商,以避免在技术上受制于潜在竞争对手。
[5]李瑞丽,钱皓,黄以凯.Oracle 大数据的全文检索技术研究与
实现[J].微型电脑应用,2013年第1期.
[6]罗贺,杨善林,丁帅. 云计算环境下的智能决策研究综述[J].系
统工程学报,2013年第1期.
参考文献
[1]李国杰. 大数据研究的科学价值[J].中国计算机学会通讯,2012
年第9期.
[7]李美云,李剑,黄超. 基于同态加密的可信云存储平台[J].信息
网络安全,2012,(09):35-40.
[8]韩水玲,马敏,王涛等. 数字证书应用系统的设计与实现[J].信
息网络安全,2012,(09):43-45.
[2]吴新年,陈永平. 决策支持系统发展现状与趋势分析[J].信息
化与网络化建设,2007年第1期.
[3]牛禄清. 阿里巴巴:让数据做主[J],新经济导刊,2012年第12
期.
作者简介:
叶明(1970-),女,浙江兰溪人,目前任职于国网能源研究院,高级工程师,注册咨询工程师,1994年武汉大学计算机应用专业硕士研究生毕业;主要研究领域为企业管理信息化、财务管理信息化。
[4]袁国铭. 关于决策支持系统发展综述[J].综述与评论,2010年
第23期.
【上接第5页】
(SCC)特征4.3支持空间云计算
空间云计算严重依赖计算基础设施的状态,除了工程研究和计算基础设施特征的可用外,网络、CPU 、
与授权成为统一功能,这计划为三个步骤(FEDRAMP
2011) :a )安全需求底线;b )持续监控;c )潜在访问与授
权。
(注:本文译自《国际数字地球学报》International
RAM 、硬盘、软件许可和其他资源的使用/状态,对于优
化使用时空原则的云计算环境也是重要的。
在调研面向解决四种密集型地理空间问题的云计算特征工作中,需要进行扩展研究以更好地理解计算基础设施和应用的时空特性,应用和计算资源的优化调度也是关键的(MustafaRafique et al. 2011) 。
Journal on Digital Earth )
译者简介:
翟永(1969-),男,硕士,高级工程师;研究方向:计算机网络、服务器和空间数据库系统集成以及安全保密技术。
刘津(1989-),女,学士,助理工程师;研究方向:空间数据库管理和地理信息管理系统集成。
陈杰(1980-),男,学士,工程师;研究方向:计算机网络和
4.4安全
云计算公司通常会使用授权和认证技术来保护用户隐私,云服务提供商确保其基础设施安全并拥有可行的保护用户数据与应用的解决方案是必须的。美国联邦首席信息官(The US Federal CIO )正努力合并安全访问
Windows 主机系统集成。
刘磊(1981-),男,学士,工程师;研究方向:空间数据存储备份恢复、Unix 与Windows 主机集成以及相关安全保密技术。
·8·2013年8月·信息安全与技术